Configuration-Dependent Lower Bounds for Approximation by Shallow ReLU$^k$ Networks on the Sphere

في مشهد الحوسبة الحديثة، لم تنجح سوى أدوات قليلة في إعادة تشكيل عالمنا بنفس العمق الذي فعلته الشبكات العصبية الاصطناعية. هذه الشبكات هي أنظمة رياضية مستوحاة من الدماغ البشري، صُممت لتعلم الأنماط وتقديم التنبؤات من البيانات. ويكمن في جوهرها فكرة بسيطة ولكنها قوية: من خلال تكدیس طبقات من وحدات المعالجة الأساسية، يمكن للشبكة أن تقرب أي دالة معقدة تقريبًا. لعقود من الزمن، درس علماء الرياضيات مدى قدرة هذه الشبكات على محاكاة أشكال أو منحنيات محددة، وهو مجال يُعرف بنظرية التقريب. ويتمثل سؤال مركزي في هذا المجال في فهم حدود هذه المحاكاة. تمامًا كما للنحات حد في مدى دقة نحت الحجر باستخدام أداة معينة، فإن للشبكات العصبية حدًا في مدى دقة تمثيلها لدالة ما، اعتمادًا على نعومة الدالة وحجم الشبكة. وهذا الحد ليس مجرد مسألة امتلاك المزيد من البيانات أو المزيد من القوة الحوسبية؛ بل هو حد جوهري تمليه هندسة تصميم الشبكة.

يستخدم نوع معين من الشبكات، يُعرف بالشبكة العصبية الضحلة، طبقة مخفية واحدة لإجراء عمليات التقريب هذه. وعندما تستخدم هذه الشبكات دالة تنشيط معينة تسمى ReLUk، والتي تعمل مثل نسخة سلسة من مفتاح يعمل فقط للقيم الموجبة، فإنها تظهر قدرة رائعة على نمذجة البيانات المعقدة. لطالما عرف الباحثون أن هذه الشبكات يمكنها تحقيق دقة عالية جدًا، ولكن ظل هناك لغز عالق: هل هناك نقطة يتوقف عندها إضافة المزيد من الخلايا العصبية أو جعل الدالة أكثر نعومة عن تقديم المساعدة؟ بعبارة أخرى، هل تصطدم الشبكة بـ "سقف" حيث لا يمكنها أن تصبح أفضل مهما حاولت؟ هذا السؤال بالغ الأهمية لأنه إذا وجد مثل هذا السقف، فإنه يحدد الإمكانات القصوى لهذه الأدوات القوية.

تتناول دراسة حديثة أجراها تونغ ماو وجينتشاو شو هذا السؤال مباشرة، مع التركيز على كيفية سلوك هذه الشبكات عندما يُطلب منها تقريب دوال على سطح كرة. تخيل الشبكة وهي تحاول تعلم نمط مرسوم على كرة أرضية. اكتشف الباحثون أن أداء الشبكة لا يتعلق فقط بعدد الخلايا العصبية التي تمتلكها، بل أيضًا بكيفية ترتيب تلك الخلاوات في الفضاء. لقد أثبتوا أنه بالنسبة لفئة معينة من الدوال السلسة، هناك حد صارم لسرعة انخفاض الخطأ مع نمو الشبكة. هذا الحد هو ما يسميه الرياضيون نقطة "التشبع". وبمجرد وصول الشبكة إلى هذه النقطة، لا يمكنها تحسين دقتها أكثر من ذلك، ما لم تكن الدالة التي تحاول تعلمها حالة تافهة وغير مثيرة للاهتمام، مثل خط مستوٍ أو قيمة ثابتة.

تكشف الدراسة أن هذا الحد مرتبط بعمق بالترتيب المادي لمعلمات الشبكة الداخلية، والتي يمكن اعتبارها الاتجاهات التي تواجهها الخلايا العصبية على الكرة. وجد الباحثون أنه إذا كانت هذه الاتجاهات منتشرة بالتساوي، فإن الشبكة تصطدم بسرعة محددة للتعلم. ومع ذلك، إذا كانت الاتجاهات متكتلة أو مرتبة بشكل سيئ، فإن أداء الشبكة يكون أسوأ. النتيجة الرئيسية هي أنه بغض {ما كانت نعومة الدالة المستهدفة، لا يمكن للشبكة أن تتفوق على معدل التحسن المحدد هذا. وإذا كانت الدالة سلسة بما يكفي لتسمح نظريًا بتعلم أسرع، فستظل الشبكة عالقة عند نفس سرعة الحد، ما لم تكن الدالة بسيطة للغاية بحيث تكون صفرية فعليًا. وهذا يعني أن الميزة التي تتمتع بها هذه الشبكات العصبية على الأدوات الرياضية التقليدية القديمة هي ميزة حقيقية، لكنها ليست لانهائية.

وللوصول إلى هذا الاستنتاج، توجب على المؤلفين النظر بدقة في هندسة المشكلة. فقد حللوا كيف يؤثر "المسافة" بين اتجاهات الخلايا العصبية على قدرة الشبكة على التمييز بين أجزاء مختلفة من الدالة. وأظهروا أن خطأ الشبكة مرتبط مباشرة بمدى تباعد هذه الاتجاهات. فإذا كانت الاتجاهات قريبة جدًا من بعضها البعض أو قريبة جدًا من كونها أضدادًا دقيقة، تفقد الشبكة قدرتها على تحسين تقريبها. وقد أثبت الباحثون أنه بالنسبة لمجموعة مرتبة جيدًا من الاتجاهات، ينخفض الخطأ بمعدل دقيق تحدده أبعاد الفضاء ونعومة الدالة. هذا المعدل هو أفضل نتيجة ممكنة؛ فمحاولة الذهاب بشكل أسرع هي أمر مستحيل رياضيًا لأي دالة غير تافهة.

هذا العمل مهم لأنه يضع الشبكات العصبية بقوة ضمن الإطار الكلاسيكي للتقريب الرياضي. لفترة طويلة، كان هناك أمل في أن الشبكات العصبية قد تكون قادرة على كسر القواعد التي تحكم الأدوات الرياضية الأخرى، مثل كثيرات الحدود أو الدوال المنقسمة (splines). تُظهر هذه الدراسة أنه بينما تعد الشبكات العصبية قوية، إلا أنها ليست سحرية. فهي تخضع لنفس القوانين الأساسية للهندسة والنعومة. لقد أثبت الباحثون أن "السقف" لهذه الشبكات ليس قيدًا مؤقتًا للتكنولوجيا الحالية، بل هو سمة دائمة لهيكلها. وهذا يعني أنه لأي مستوى معطى من النعومة في دالة ما، هناك سرعة قصوى يمكن للشبكة العصبية الضحلة تعلمها، وهذه السرعة ثابتة بتصميم الشبكة.

إن تداعيات هذا الاكتشاف واضحة لأي شخص يعتمد على هذه النماذج. فهي تشير إلى أن مجرد إضافة المزيد من الخلايا العصبية أو جعل دالات التنشيط أكثر نعومة لن يحل كل المشكلات. بمجرد أن تصطدم الشبكة بنقطة التشبع هذه، فإن السبيل الوحيد للتحسين هو تغيير الهيكل الأساسي للشبكة أو قبول أن الدالة التي يتم تعلمها معقدة للغاية بالنسبة لهذا الهيكل المعماري المحدد. توفر الدراسة برهانًا رياضيًا صارمًا على وجود هذه الحدود وتحدد ماهيتها بالضبط. إنها تقدم حدودًا واضحة لما يمكن لهذه الأدوات تحقيقه، مما يساعد العلماء والمهندسين على وضع توقعات واقعية لما يمكن للشبكات العصبية القيام به.

في النهاية، ترسم الأبحاث صورة للشبكات العصبية كأدوات قوية ولكن محدودة. يمكنها القيام بأشياء لا تستطيع الطرق القديمة القيام بها، لكنها ليست بلا حدود. تؤكد الدراسة أن أداء هذه الشبكات محكوم بتوازن دقيق بين نعومة البيانات والترتيب الهندسي لمكونات الشبكة. ومن خلال تحديد النقطة الدقيقة التي يتوقف عندها التحسن، قدم الباحثون قطعة حاسمة من اللغز في فهم القدرات الحقيقية للذكاء الاصطناعي. تتيح لنا هذه المعرفة تقدير قوة هذه الأدوات مع احترام قيودها المتأصلة، مما يضمن استخدامها حيث تكون أكثر فعالية وفهم متى نصل إلى حافة إمكاناتها.