A Defense of the Quadratic Model
تُثبت هذه الورقة أن النموذج التربيعي البسيط، عند تطبيقه عبر توسيع تايلور عند نقاط تدقيق متوسطة، يمكنه بشكل مفاجئ التنبؤ بديناميكيات التحسين في النماذج اللغوية الكبيرة بدقة، مما يكشف عن أطياف هسيان مهيكلة ويؤكد أن التدريب يحدث عادةً عند حافة استقرار عشوائية تعتمد على حجم الدفعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنقل عبر سلسلة جبال ضبابية هائلة في الليل. هذا الجبل هو "مشهد الخسارة" (loss landscape) لذكاء اصطناعي عملاق، وهو تضاريس معقدة حيث كل خطوة يتخذها الذكاء الاصطناعي هي محاولة للوصول إلى أدنى وادٍ (أفضل أداء ممكن). المشكلة هي أن الجبل ضخم وملتوٍ لدرجة أنه لا يمكن لأحد رؤية الخريطة بأكملها دفعة واحدة. لسنوات، حاول العلماء التنبؤ بكيفية تحرك الذكاء الاصطناعي باستخدام خرائط مسطحة بسيطة أو نماذج مثالية. أحياناً تنجح هذه الخرائط، لكنها غالباً ما تكون إما بسيطة جداً بحيث لا تكون مفيدة، أو معقدة جداً بحيث يصعب حسابها. السؤال الكبير هو: هل يمكننا استخدام خريطة مسطحة بسيطة للتنبؤ برحلة الذكاء الاصطناعي عبر هذا الجبل الفوضوي؟
لفهم هذا، تحتاج لمعرفة بعض الأشياء أولاً. أولاً، تتعلم نماذج الذكاء الاصطناعي عن طريق "التحسين" (optimizing)، وهو ما يعني ببساطة اتخاذ خطوات صغيرة لتقليل أخطائها. ثانياً، "هيسيان" (Hessian) هو وسيلة رياضية لوصف مدى انحدار أو انحناء الأرض في أي نقطة محددة. إذا كنت تعرف الانحناء، يمكنك التنبؤ ما إذا كانت الخطوة ستأخذك للأسفل نحو وادٍ أو للأعلى نحو منحدر. أخيراً، هناك مفهوم يُسمى "حافة الاستقرار" (edge of stability)، وهي تشبه المشي على حافة جرف حيث تكون الأرض شديدة الانحدار لدرجة أن خطوة واحدة خاطئة قد تجعلك تتردى، ومع ذلك يستمر الذكاء الاصطناعي في المشي دون السقوط. يسأل هذا البحث عما إذا كان بإمكاننا استخدام أبسط خريطة ممكنة—وهي تقريب تربيعي (quadratic) مسطح—للتنبؤ بكيفية سلوك الذكاء الاصطناعي في العالم الحقيقي.
قرر مؤلفو هذا البحث اختبار هذا "النموذج التربيعي" البسيط على نموذج لغوي كبير (LLM) يحتوي على 150 مليون معلمة (parameter)، تم تدريبه على 3 مليارات كلمة. أرادوا معرفة ما إذا كان بإمكانهم، بدلاً من محاولة فهم الجبل المجنون بأكمله، مجرد النظر إلى بقعة أرض مسطحة وصغيرة حول المكان الذي يتواجد فيه الذكاء الاصطناعي حالياً، واستخدام ذلك للتنبؤ بالخطوات القليلة القادمة.
لقد وجدوا شيئاً رائعاً بشكل مفاجئ: الخريطة البسيطة التي تشبه شكل الوعاء تعمل! فعندما أوقفوا التدريب كل 10% من المسار وأنشأوا نسخة تربيعية مسطحة للمشكلة عند تلك النقطة بالضبط، استطاع هذا النموذج البسيط التنبؤ بسلوك الذكاء الاصطناعي خلال الـ 10% التالية من التدريب. الأمر كما لو أنه، رغم كون الجبل عبارة عن فوضى متعرجة، فإن الذكاء الاصطناعي يقضي وقتاً طويلاً في أودية محددة "تشبه الأوعاء"، لذا فإن خريطة بسيطة لوادٍ تكفي لإخبارك أين سيذهب تالياً. بل إن دقة التنبؤ كانت أفضل بالقرب من نهاية التدريب مقارنة بالبداية.
بمجرد إثباتهم لنجاح الخريطة البطة، استخدموها لاستكشاف ما يدور داخل عملية تعلم الذكاء الاصطناعي. نظروا إلى "طيف الهيسيان" (Hessian spectrum)، وهو يشبه قائمة بكل المنحدرات والانحناءات المختلفة في التضاريس. واكتشفوا أن هذه القائمة ليست عشوائية؛ بل لها بنية محددة للغاية. الجزء العلوي من القائمة تهيمن عليه الجزئية التي تتعامل مع المفردات (طبقة الـ unembedding)، بينما يتبع الجزء الطويل الممتد "قانون قوة" (power law) عالمياً. وهذا يعني أن شكل "الذيل" متطابق سواء كان الذكاء الاصطناعي يستخدم مجموعة بيانات صغيرة أو ضخمة، ولا يهتم بالخدع المحددة (preconditioners) التي يستخدمها المحسن (optimizer) لتسريع الأمور. إنه نمط عالمي مخفي في قلب الفوضى.
أخيراً، بحثوا في "حافة الاستقرار". أرادوا معرفة ما إذا كان الذكاء الاصطناعي يمشي بحذر في وسط الوادي أم يرقص على حافة الجرف تماماً. ومن خلال تعديل معدل التعلم (learning rate) وحجم الدفعة (batch size - حجم قطع البيانات)، وجدوا أن الذكاء الاصطناعي يرقص بالفعل على الحافة. عندما يستخدم الذكاء الاصطناعي دفعات صغيرة، فإنه يرقص على "حافة استقرار عشوائية" (stochastic edge of stability)، مما يعني أنه يتأرجح بسبب الضجيج العشوائي في البيانات. وعندما يستخدم دفعات ضخمة، فإنه يتأرجح على "حافة حتمية" (deterministic edge)، حيث يكون عدم الاستقرار ناتجاً عن رياضيات الخطوات نفسها. في كلتا الحالتين، يعمل الذكاء الاصطناعي عند الحد الأقصى للاستقرار، مما يشير إلى أن هذا التوازن الهش هو في الواقع الطريقة التي يتعلم بها هذه النماذج بشكل أفضل.
يخلص البحث إلى أنه على الرغم من أن عالم الذكاء الاصطناعي معقد للغاية، إلا أنه يمكننا فهمه من خلال التعامل معه كسلسلة من المشكلات التربيعية المحلية البسيطة. فبدلاً من الحاجة إلى نظرية واحدة مستحيلة للجبل بأكمله، يمكننا فقط النظر إلى "الوعاء" المحلي الذي يقف فيه الذكاء الاصطناعي. هذا النموذج البسيط ليس مجرد لعبة؛ بل هو نموذج دقيق بشكل مدهش لكيفية عمل التدريب المسبق للذكاء الاصطناعي في العالم الحقيقي، مما يمنحنا طريقة جديدة وميسرة لفهم وتحسين هذه الأنظمة الضخمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.