Universal One-third Time Scaling in Learning Peaked Distributions
تُثبت هذه الورقة أن التقارب ذو قانون القوة البطيء والمكلف حاسبياً، والملاحظ في تدريب النماذج اللغوية الكبيرة، هو نتيجة جوهرية لاستخدام "softmax" و"cross-entropy" لتعلم التوزيعات المرتفعة، مما يؤدي عالمياً إلى أس زمن قياسي قدره 1/3.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يكمل جملك. تعطيه ملايين الكتب، فيبدأ في تعلم أنماط اللغة البشرية. لكن هناك عقبة: كلما كبر حجم الروبوت وزادت البيانات التي تغذيه بها، لا يصبح مثاليًا بشكل فوري. بدلاً من ذلك، يتحسن بطريقة محددة وبطيئة للغاية. الأمر يشبه مراقبة سيارة تصعد تلة حيث كلما زاد انحدارها، زادت بطئها، متبعةً منحنى يمكن التنبؤ به. يسمي العلماء هذا "التحجيم العصبي" (neural scaling)، ولفترة طويلة، اعتقدوا أن هذا المنحنى البطيء يحدث لأن البيانات نفسها فوضوية أو معقدة، مثل مكتبة توجد فيها كتب نادرة وأخرى منتشرة في كل مكان. افترضوا أن الروبوت يعاني فقط في العثور على الكتب النادرة. ولكن ماذا لو لم يكن الروبوت يعاني بسبب المكتبة، بل بسبب طريقة "تفكيره"؟ تغوص هذه الورقة البحثية في هذا الغموض، وتنظر إلى "التروس" الرياضية داخل عقل الروبوت لترى لماذا يتباطأ التعلم وهل يمكننا التنبؤ بدقة بمدى هذا البطء.
قرر مؤلفو هذه الدراسة، إيزو يو ليو، وزيمينغ ليو، وسينجيز بيلهيفان، وجيف غور، التوقف عن التخمين بشأن المكتبة الفوضوية والنظر بدلاً من ذلك إلى المحرك الداخلي للروبوت. لقد بنوا نسخة مصغرة ومبسطة من نموذج لغوي — "نموذج لعبة" (toy model) — ليروا ما يحدث عندما يحاول تعلم نوع محدد جدًا من الأنماط: "توزيع ذروي" (peaked distribution). تخيل توقعات الطقس التي تقول إن هناك احتمال 99% لهطول الأمطار واحتمال 1% لسطوع الشمس. هذا هو التوزيع الذروي؛ الإجابة شبه مؤكدة، لكن يجب أن يكون النموذج دقيقًا جدًا ليصيبها.
عندما قاموا بتدريب نموذجهم المصغر للتنبؤ بهذه النتائج الحادة والمؤكدة، اكتشفوا شيئًا مفاجئًا. لم يكن منحنى التعلم ذو القوة (power-law) البطيء بسبب صعوبة البيانات؛ بل كان بسبب أداتين محددتين يستخدمهما النموذج: softmax و cross-entropy. يمكنك التفكير في softmax كـ "آلة تصويت" تحول الأرقام الخام إلى احتمالات (لتضمن أنها تبلغ 100%)، وفي cross-entropy كـ "لوحة تسجيل" تخبر النموذج بمدى خطئه. تظهر الورقة أنه عندما تجمع بين هاتين الأداتين لتعلم إجابة حادة ومؤكدة، فإن الرياضيات تجبر سرعة التعلم على التباطؤ بطريقة محددة للغاية. بغض النظر عن كيفية تعديلك للبيانات أو حجم النموذج، فإن الخسارة (الخطأ) تنخفض بمعدل يتبع قاعدة عالمية: فهي تتناسب مع الزمن مرفوعًا للقوة 1/3.
لوضع ذلك في تشبيه مرح: تخيل أنك تحاول موازنة قلم رصاص على سنه. في البداية، يكون من السهل إجراء تعديلات صغيرة. ولكن مع اقتراب القلم من الاستقامة المثالية (الحالة الذروية)، تصبح أدنى اهتزازة أكثر أهمية فأكثر. تشير الورقة إلى أن الطريقة التي يحسب بها النموذج أخطاءه تجعله يشعر وكأنه يمشي عبر عسل كثيف كلما اقترب من الإجابة المثالية. "العسل" ليس هو البيانات؛ بل هو رياضيات آلة التصويت ولوحة التسجيل. وجد المؤلفون أنه في هذا "العسل"، لا ينخفض الخطأ بسرعة؛ بل ينخفض بوتيرة ثابتة يمكن التنبؤ بها، حيث إذا ضاعفت الوقت الذي تقضيه في التدريب، فإن الخطأ ينخفض بجزء محدد فقط، وليس بالنصف. هذا الجزء هو بالضبط الجذر التكعيبي للزمن، أو 1/3.
لم يتوقف الباحثون عند نموذجهم الصغير فحسب. أرادوا معرفة ما إذا كان تأثير "العسل" هذا حقيقيًا في النماذج اللغوية الضخمة التي نستخدمها اليوم، مثل نماذج Pythia و Olmo. نظروا في بيانات التدريب لهذه النماذج الضخمة ووجدوا أنه، بالفعل، كانت النماذج تعمل في نظام "درجة الحرارة المنخفضة" (أي النظام الحاد والمؤكد جدًا). وعندما رسموا معدلات الخطأ لهذه النماذج العملاقة مقابل الوقت الذي قضته في التدريب، تطابقت البيانات تمامًا مع توقعاتهم. كان الخطأ ينخفض بأس قوة قدره 1/3. وهذا يشير إلى أن التعلم البطيء الذي نراه في الذكاء الاصطناي الكبير ليس خللًا أو علامة على بيانات فوضوية؛ بل هو ميزة أساسية لكيفية بناء هذه النماذج.
استكشفت الورقة أيضًا ما يحدث إذا حاولت تسريع العملية. وجدوا أنه إذا جعلت معدل التعلم (حجم الخطوة التي يتخذها النموذج) كبيرًا جدًا، فسوف يرتبك النموذج ولن يتمكن من اتباع المسار عبر العسل. ولكن إذا حافظت على خطوات صغيرة وثابتة، فسيتبع النموذج قاعدة الـ 1/3 بدقة. ومن المثير للاهتمام، وجدوا أيضًا أنه حتى لو لم يكن النموذج متوافقًا تمامًا مع المعلم في البداية، فإنه سينتهي به المطاف بالدخول في هذا الإيقاع. الحالة الوحيدة التي تكسر هذه القاعدة هي إذا كانت البيانات "مسطحة" جدًا أو غير مؤكدة (مثل توقعات طقس بنسبة 50% أمطار و50% شمس)، وفي هذه الحالة يكون التعلم سريعًا وأسيًا (exponential)، وليس بنمط القوة (power-law).
إذًا، ماذا يعني هذا للمستقبل؟ يقترح المؤلفون أنه إذا أردنا تدريب الذكاء الاصطناعي بشكل أسرع، فقد نحتاج إلى إعادة التفكير في "آلة التصويت" و"لوحة التسجيل" التي نستخدمها. ربجة، قد نحتاج إلى أدوات جديدة لا تتعثر في "العسل" عندما تكون الإجابة مؤكدة للغاية. كما أشاروا إلى أن هذا الاكتشاف يفسر سبب رؤية التجارب السابقة لأس قوة قدره 1/3 (أو قريبًا منه، مثل 0.28 أو 0.30) دون إدراك السبب. لم يكن ذلك مصادفة؛ بل كان رياضيات النموذج نفسه.
باختصاف، تكشف هذه الورقة أن التحسن البطيء والثابت للنماذج اللغوية الكبيرة هو ميزة مدمجة في تصميمها، وليس عيبًا في البيانات. إنه يشبه قانونًا من قوانين الفيزياء لتعلم الذكاء الاصطناعي: عندما تحاول تعلم إجابة مؤكدة جدًا باستخدام هذه الأدوات المحددة، فأنت مقدر أن تتحرك بسرعة 1/3. ويؤكد المؤلفون بحذر أن هذا يعتمد على عمليات المحاكاة والتحليل لنماذج موجودة، مما يفتح اتجاهًا جديدًا لجعل تدريب الذكاء الاصطناًا أكثر كفاءة، لكنهم لا يدعون إلى حل مشكلة سرعة التدريب بالكامل. بدلاً من ذلك، لقد قدموا لنا خريطة توضح بالضبط أين توجد مطبات السرعة ولماذا توجد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.