Benign interpolation and Occam's razor
تجادل هذه الورقة بأن المحاولات الأخيرة لتفسير نجاح التعميم في نماذج التعلم العميق الاستيفائية عبر الاستناد إلى مبدأ "نصل أوكام" تخلق فجوة تفسيرية من خلال الخلط بين الخصائص غير المثبتة للنماذج الفردية وبين الارتباط الصارم، المدعوم بالبراهين النظرية، بين بساطة فئة النموذج والتعميم الموجود في نظرية التعلم الكلاسيكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت التعرف على صور القطط والكلاب. تعرض عليه آلاف الصور، فيتعلم كيف يلحظ الفرق بينهما. في الأيام الخوالي لعلوم الحاسوب، كانت هناك قاعدة ذهبية تسمى "نصل أوكام" (Occam's Razor). كانت تقول ببساطة: "اجعل الأمر بسيطاً". إذا كان هناك نظريتان تفسران البيانات، فاختر الأبسط بينهما. لماذا؟ لأنه إذا أصبح النموذج معقداً للغاية، فإنه سيبدأ في حفظ صور التدريب مثل الببغاء بدلاً من تعلم شكل القطة فعلياً. وهذا ما يسمى "الفرط في التخصيص" (overfitting)، وهو أمر كارثي. إذا رأى الروبوت صورة جديدة، فسيفشل لأنه كان مشغولاً جداً بحفظ الصور القديمة.
لعقود من الزمن، استخدم العلماء هذه القاعدة لبناء ذكاء اصطناعي آمن وموثوق. كانوا يعتقدون أنه لجعل الروبوت ذكياً، يجب عليك الحد من قدراته الذهنية حتى لا يرتبك. ولكن بعد ذلك، حدث شيء غريب. بدأ الذكاء الاصطناعي الحديث، وتحديداً "التعلم العميق" (deep learning)، في كسر كل القواعد. هذه الروبوتات الجديدة تمتلك عقولاً ضخمة لدرجة أنها يمكنها حفظ كل صورة تدريب بدقة تامة، حتى لو قمت بخلط الملصقات وأخبرتها أن القطة هي محمصة خبز. وبحسب كل القواعد القديمة، ينبغي أن تكون سيئة جداً في تخمين الصور الجديدة. ومع ذلك، فهي مذهلة في ذلك. إنها تطابق البيانات الفوضوية تماماً ولكنها لا تزال تتوقع المستقبل بشكل صحيح. تُسمى هذه الظاهرة الغريبة "الاستكمال الخيّر" (benign interpolation)، وقد تركت العلماء في حيرة من أمرهم، يتساءلون كيف يمكن للروبوت أن يكون حافظاً مثالياً وموقعاً بارعاً في آن واحد.
هذه الورقة البحثية، التي كتبها توم ف. ستيركنبرغ، ودانيل أ. هيرمان، ويان-فليم روجين، تغوص في هذا الغموض لترى ما إذا كانت التفسيرات الجديدة لهذا الإعجاز تصمد أمام الاختبار. يعمل المؤلفون هنا كالمحققين، حيث يحققون في نظرية جديدة شائعة ظهرت لتفسير سبب عمل نماذج الذكاء الاصطناعي الضخمة هذه بشكل جيد.
تشير النظرية الجديدة إلى أنه على الرغم من أن نماذج الذكاء الاصطناعي هذه ضخمة ومعقدة، إلا أن الطريقة التي تتعلم بها (باستخدام طريقة تسمى "الانحدار الاشتقاقي العشوائي" - stochastic gradient descent) تدفعها سراً نحو الحل "الأبسط" الممكن من بين جميع الحلول المطابقة. يشبه الأمر متنزهاً لديه مليون مسار ليختار منها للوصول إلى القمة؛ وتدعي النظرية أن حذاء المتنزه يوجهه بشكل طبيعي إلى المسار الأكثر سلاسة ومباشرة، متجاهلاً المسارات الوعرة والمتعرجة. يطلق مؤيدو هذه الفكرة على هذا "انحياز البساطة" (simplicity bias) ويقولون إنه نسخة حديثة من "نصل أوكام" التي تنقذ الموقف. ويجادلون بأن الذكاء الاصطناعي يختار النموذج الأبسط الذي يناسب البيانات، وهذا هو سبب قدرته العالية على التعميم.
ومع ذلك، يرى مؤلفو هذه الورقة أن هذا التفسير يحتوي على ثغرة ضخمة. فقد أشاروا إلى أن "نصل أوكام" القديم كان قاعدة مثبتة رياضياً فيما يتعلق بـ "مجموعات" النماذج (model classes). لقد أثبتت أنه إذا اخترت مجموعة صغيرة وبسيطة من النماذج، فأنت تضمن تحقيق نتائج جيدة. لكن النظرية الجديدة تتحدث عن نماذج "فردية". إنها تقول: "هذا النموذج المحدد بسيط لأنه يمتلك 'معياراً' (norm) منخفضاً (مقياس رياضي للحجم) أو لأنه 'أملس'".
يوضح المؤلفون أن المشكلة تكمكم في عدم وجود دليل رياضي يربط بين بساطة نموذج فردي وقدرته على التنبؤ بالمستقبل. في الأيام الخوالي، ضمنت الرياضيات أن المجموعات البسيطة تعمل جيداً. أما في القصة الجديدة، فيزعم المؤلفون أن العلماء يكتفون فقط بـ "تسمية" هذه النماذج المحددة بأنها "بسيطة" ويأملون أن يقوم اسم "نصل أوكام" بالعمل الشاق نيابة عنهم. إنه يشبه قولك: "هذا الحجر هو حجر سحري لأنني أسميته حجراً سحرياً"، دون أي دليل على وجود الأحجار السحرية أصلاً.
تشير الورقة إلى أنه بينما تبدو هذه الأفكار الجديدة مثيرة للاهتمام، إلا أنها تترك فجوة. لم يثبتوا فعلياً "لماذا" يؤدي اختيار نموذج فردي "بسيط" إلى تنبؤات جيدة. يجادل المؤلفون بأن النظرية الجديدة تقوم في الأساس بوضع افتراض كبير غير مثبت: وهو أن العالم مليء بالأنماط البسيطة التي تصادف أن تجدها نماذج الذكاء الاصطناعي هذه. هم لا يقولون إن هذا الافتراض خاطئ، لكنهم يصرون على أن التفسيرات الحالية هي مجرد تخمينات. إنهم يستخدمون اسم مبدأ شهير (نصل أوكام) لجعل افتراض جريء يبدو وكأنه حقيقة علمية راسخة.
إذن، ما هي النتيجة؟ الورقة لا تقول إن الذكاء الاصطناعي الجديد معطل؛ بل تقول إننا لا نفهم تماماً "لماذا" يعمل بعد. يقترح المؤلفون أن الإجابة ربما لا تكون قاعدة عالمية حول البساطة، بل شيئاً أكثر تحديداً يتعلق بالبيانات التي نجمعها أو المهام المحددة التي نطلب من الذكاء الاصطناعي القيام بها. وإلى أن يتمكن شخص ما من إثبات العلاقة بين "النماذج الفردية البسيطة" و"التنبؤات الجيدة"، سيظل "الاستكمال الخيّر" لغزاً، وهو بالضبط ما هو عليه الآن. النظرية الجديدة هي دليل واعد، لكنها ليست الإجابة النهائية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.