ملخص تقني: قوانين التدرج العصبي (NEUNEU)

بيان المشكلة

تتنبأ قوانين التدرج التقليدية للنماذج اللغوية (LM) بكيفية تحسن أداء النموذج مع زيادة الحوسبة، والبيانات، والمعلمات، وعادة ما تقوم بنمذجة العلاقة بين خسارة التدريب والأداء اللاحق باستخدام أشكال بارامترية بسيطة (مثل قوانين القوة أو الدوال اللوجستية). ومع ذلك، يحدد المؤلفون قصورين حرجين في النهج الحالي:

1. حجب الإشارة: تعمل المقاييس التجميعية مثل متوسط خسارة التحقق من طمس توزيعات الخسارة الغنية على مستوى الرمز (token)، مما يحجب الإشارات التي قد تكون تنبؤية بالقدرات اللاحقة.
2. الجمود الوظيفي: تُظهر المهام اللاحقة الفردية سلوكيات تدرج متنوعة (تحسن رتيب، أو استقرار، أو تدرج عكسي) لا يمكن استيعابها بواسطة عائلة بارامترية واحدة.

وبناءً على ذلك، فإن التنبؤ بالأداء اللاحق باستخدام قيم خسارة التحقق عبر أشكال وظيفية ثابتة يعاني من انحياز عالٍ وضعف في التعميم على بنيات النماذج، أو أعداد المعلمات، أو المهام غير المرئية.

المنهجية: NEUNEU

يقترح المؤلفون قوانين التدرج العصبي (NEUNEU)، وهو نهج يعتمد على الشبكات العصبية يؤطر التنبؤ بقانون التدرج كمسألة استقراء للسلاسل الزمنية. وبخلاف الطرق البارامترية، يتعلم NEUNEU التنبؤ بالأداء المستقبلي دون افتراض شكل وظيفي محدد.

البنية وتمثيل المدخلات

يجمع NEUNEU بين السياق الزمني لمسارات الدقة الملحوظة ومعلومات الخسارة على مستوى الرمز.

• تمثيل الخسارة: للحفاظ على المعلومات التوزيعية والتعامل مع خسائر الإنتروبيا المتقاطعة غير المحدودة، يقوم النموذج بتحويل خسائر الرموز ($\ell$) إلى احتمالات لكل رمز ($p = e^{-\ell}$).
• تسلسل المدخلات: يعالج النموذج تسلسلاً من الدقة اللاحقة التاريخية ($y_{1:t}$) وفجوات الحوسبة ($g_{1:t}$)، جنباً إلى جنب مع متجه احتمالات الرموز ($p_t$) من مجموعة التحقق.
  • الفجوات: يتم تجريد الفترات الزمنية للحوسبة بين خطوات التقييم لضمان الثبات عبر مختلف مقاييس النماذج.
  • احتمالات الرموز: يستقبل النموذج متجهًا من احتمالات الرموز $N=256,000$ (ما يعادل حجم دفعة واحدة تقريباً)، بدلاً من قيمة متوسط خسارة واحدة.
• مكونات النموذج:
  1. مشفر الخسارة (Loss Encoder): يقوم شبكة عصبية تلاففية أحادية الأبعاد (1D CNN) هرمية (4 طبقات) بمعالجة متجه احتمالات الرموز لإنتاج تمثيل (embedding) $e$.
  2. العمود الفقري للمحول (Transformer Backbone): يقوم محول قياسي من نوع BERT (6 طبقات، انتباه ثنائي الاتجاه، RoPE) بمعالجة تسلسل يحتوي على رمز [CLS]، وتمثيل الخسارة $e$، ورموز سياقية تتشكل من دمج الدقة المسقطة والفجوات.
  3. رأس التنبؤ (Prediction Head): يتم إسقاط المخرج من رمز [CLS] للتنبؤ بتوزيع الدقة المستقبلية باستخدام انحدار المئينات (quantile regression). يُنتج النموذج 5 مئينات ($\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}$).

استراتيجية التدريب

• البيانات: يتم تدريب النموذج بالكامل على مسارات تدريب النماذج اللغوية مفتوحة المصدر من HuggingFace، وتحديداً مجموعة نماذج DataDecide. يتضمن ذلك 144 مسار تدريب فريد عبر 6 أحجام نماذج (من 90 مليون إلى 1 مليار معلمة) و24 مجموعة بيانات.
• الهدف: يتم تدريب النموذج باستخدام خسارة بينبول (pinball loss) المجمعة عبر المئينات الخمسة لإنتاج تقديرات عدم يقين مُعايرة.
• التعزيز (Augmentation): لضمان المتانة تجاه البيانات المفقودة، تقوم عملية التدريب بإسقاط أزواج (tuples) عشوائية من تسلسل الدقة، مع دمج الفجوة في الزوج السابق.

المساهمات الرئيسية

1. التنبؤ الخالي من البارامترات: يعد NEUNEU أول نموذج يتنبأ بأداء التدرج اللاحق دون افتراضات بارامترية أو معرفة مسبقة بأشكال وظيفية محددة.
2. دقة فائقة: في 66 مهمة لاحقة، حقق NEU NE متوسط خطأ مطلق (MAE) قدره 1.99%، مما يمثل انخفاضاً بنسبة 44% في الخطأ مقارنة بالقوانين اللوجستية واسعة الاستخدام (3.56% MAE).
3. معايرة عدم اليقين: من خلال استخدام انحدار المئينات، يوفر NEU NE تقديرات معايرة لعدم اليقين. حيث يغطي الفاصل المئيني المتوقع (10%-90%) الذي يتنبأ به النموذج 77.6% من البيانات الحقيقية، وهو ما يطابق التوقع بنسبة 80%.
4. التعميم الصفري (Zero-Shot Generalization): يعمم النموذج بشكل صفري على:
   • البذور العشوائية غير المرئية.
   • مجموعات البيانات التدريبية غير المرئية (مثل C4).
   • عائلات ونماذج وهياكل معمارية غير مرئية، بما في ذلك النماذج غير المحولة (مثل OLMo-Hybrid-7B) وأعداد معلمات أكبر (تصل إلى 12 مليار) لم تُشاهد أثناء التدريب.
   • المهام اللاحية غير المرئية (المهام المستبعدة أثناء التدريب الميتا-إحصائي).

النتائج والتقييم

قيم المؤلفون NEU NE مقابل عدة خطوط أساس:

• قوانين التدرج اللوجستية: ملاءمات بارامترية لكل مهمة.
• BNSL (قوانين التدرج العصبية المكسورة): نماذج بارامترية تسمح بكسور في الأنظمة.
• LC-PFN: محول متعلم ميتا (meta-learned) لاستقراء منحنى التعلم داخل السياق.
• الدراسات الاستبعادية (Ablations): متغيرات من NEU NE تستخدم فقط متوسط الخسارة (AVERAGE) أو بدون معلومات الخسة (NOLOSS).

النتائج الرئيسية:

• التعميم: يتفوق NEU NE بشكل كبير على جميع خطوط الأساس في تقييمات خارج التوزيع (OOD)، خاصة في الهياكل الجديدة (Pythia, OLMo-Hybrid) حيث تفشل قوانين التدرج البارامترية كارثياً (بخطأ أعلى بنحو 4 أضعاف).
• الاستقلالية عن المهمة: على عكس القوانين اللوجستية التي تتطلب ملاءمة نموذج منفصل لكل مهمة، يتنبأ نموذج واحد من NEU NE بالدقة لأي مهمة، بما في ذلك المهام التي لم تُشاهد أبداً أثناء التدريب الميتا-إحصائي، وغالباً ما يتفوق على القوانيد اللوجستية الملازمة لتلك المهام تحديداً.
• فائدة اتخاذ القرار: يقوم NEU NE بترتيب الأداء النهائي لتكوينات النماذ المتنافسة بشكل صحيح بدقة 76.6%، وهو تحسن بنسبة 12.9% عن القوانين اللوجستية. يشير هذا إلى أن NEU NE يمكنه توجيه تخصيص الموارد واختيار المعلمات الفائقة بفعالية.
• قيمة المعلومات: تؤدي الدراسات الاستبعادية AVERAGE و NOLOSS إلى أداء أسوأ من NEU NE الكامل، مما يؤكد أن توزيعات الخسارة على مستوى الرمز تحتوي على إشارات تنبؤية يتخلص منها المتوسط.

الأهمية والادعاءات

يجادل البحث بأن القيود المفروضة على قوانين التدرج الحالية ليست جوهرية لمشكلة التنبؤ، بل هي نتاج لفئات فرضية مقيدة (أي افتراض أشكال وظيفية محددة). ومن خلال استبدال الانحياز البارامتري بمرونة الشبكة العصبية المدربة على مسارات متنوعة مفتوحة المصدر، يثبت NEU NE أن التنبؤ بالتدرج اللاحق مباشرة من البيانات يتفوق على البدائل البارامترية.

يضع المؤلفون NEU NE كخطوة نحو "نماذج التأسيس لديناميكيات التدريب". فبدلاً من معاملة النماذج اللغوية كصناديق سوداء، يعمل NEU NE كنموذج ناشئ لديناميكيات التدريب، قادراً على محاكاة الحالات المستقبلية بناءً على الأداء الحالي وإجراءات الحوسبة. هذه القدرة قد تسمح للممارسين باستكشاف مساحات المعلمات الفائقة وخيارات الهياكل المعمارية دون التكلفة الباهظة لعمليات التدريب الحقيقية. ويتماشى هذا العمل مع مبدأ أن الطرق التي تتدرج مع الحوسبة والبيانات تميل إلى التفوق على تلك التي تعتمد على هياكل من تصميم البشر.