ملخص تقني: "الكذب مجرد مرحلة: التحول الخفي في محاذاة النماذج اللغوية أثناء التوسع"

1. بيان المشكلة

تتنبأ قوانين التوسع الحالية بخسارة النموذج (loss) بدقة عالية كدالة لعدد العمليات الحسابية وعدد المعلمات، ومع ذلك فإنها تفشل في وصف كيفية تفاعل القدرات المتميزة. الافتراض السائد في هذا المجال هو أن الاختبارات المعيارية (مثل الاستنتاج، والصدق، واتباع التعليمات) تتوسع كمسارات مستقلة. تتحدى هذه الورقة هذا الافتراض، وتفترض أن القدرات مترابطة وأن تفاعلها يخضع لانتقال حاد في النظام (regime transition) لا يمكن رؤيته عبر منحنيات الخسارة القياسية.

تحديداً، يبحث المؤلفون في العلاقة بين الاستنتاج (المقاس بواسطة HellaSwag) والصدق (المقاس بواسطة TruthfulQA). وبينما تنخفض الخسارة بشكل رتيب مع التوسع، فإن الارتباط بين هاتين القدرتين ليس ثابتاً. تحدد الورقة "انتقال طوري" حيث يؤدي توسيع الاستنتاج إلى تدهور الصدق فعلياً في النماذج الصغيرة (نظام "ضريبة المحاذاة")، قبل أن ينقلب إلى نظام تعاوني حيث يحسن التوسع كليهما في آن واحد في النماذج الأكبر.

2. المنهجية

يقدم المؤلفون إطار عمل تحليل اقتران القدرات لظهور الأطوار (CAPE) لقياس التفاعل بين القدرات عبر 63 نموذجاً أساسياً من 16 عائلة.

• مقاييس الاقتران:
  • الاقتران المحلي ($\gamma_{12}$): يُعرف بأنه المشتق $\Delta TQA / \Delta HS$ بين أحجام النماذج المتتالية داخل العائلة الواحدة. يقيس هذا مدى تغير الصدق لكل وحدة تحسن في الاستنتاج.
  • اقتران المجتمع ($r$): معامل ارتباط بيرسون عبر لوحة من النماذج.
• نطاق البيانات: يغطي التحليل 63 نموذجاً يتراوح من 70 مليون إلى 70 مليار معلمة، ضمن عائلات تشمل Pythia، وOPT، وBLOOM، وLlama، وFalcon، وQwen، وGemma، وPhi.
• النمذجة الديناميكية: يستخدم المؤلفون الانحدار المتناثر (PySINDy) لاكتشاف المعادلات التفاضلية العادية (ODE) الحاكمة لمسارات الاختبارات المعيارية بناءً فقط على بيانات Pythia، ثم يختبرون قدرتها على التنبؤ المتقاطع لعائلات أخرى (Llama-2).
• تحليل التدخل: تعزل الدراسة ثلاث روافع هندسية لاختبار تأثيرها على الانتقال:
  1. تطبيع العرض (Width Normalization): قسمة الدرجات على عرض النموذج ($d_{model}$).
  2. تنقية البيانات (Data Curation): مقارنة النماذج المدربة على بيانات منقحة/اصطناعية (Phi، Qwen3) مقابل بيانات واسعة النطاق من الويب.
  3. البنية (Architecture): مقارنة عائلات النماذج المختلفة والبنى الداخلية (مثل بنية PLE في Gemma-4).
• فحص الآلية الداخلية: يحلل المؤلفون رؤوس الانتباه والحالات الخفية باستخدام TransformerLens لتحديد ما إذا كان "الضريبة" ناتجة عن صراعات التمثيل الداخلي أو اختناقات المخرجات.

3. النتائج الرئيسية

الانتقال الطوري

النتيجة التجريبية المركزية هي انقلاب الإشارة في الاقتران بين الاستنتاج والصدق عند مقياس حرج يعتمد على العائلة ($N_c$).

• أقل من $N_c$ (نظام الضريبة): القدرات تظهر ارتباطاً عكسياً. يؤدي توسيع الاستنتاج إلى انخفاض الصدق. بالنسبة لعائلة Pythia، فإن $r = -0.989$.
• أعلى من $N_c$ (نظام المكافأة): القدرات تتعاون. التوسع يحسن كليهما. بالنسبة للنماذج الكبيرة عبر العائلات، $r > +0.78$.
• المقياس الحرج ($N_c$): تختلف نقطة الانتقال باختلاف البنية ووصفة التدريب.
  • Pythia: $N_c \approx 3.5B$ معلمة [2.9B, 13.4B].
  • OPT: $N_c \approx 0.12B$.
  • Falcon: $N_c \approx 7B$.
  • النماذج المنقحة (Phi, Qwen3): تم إزاحة $N_c$ فعلياً إلى ما دون أصغر نموذج تم اختباره، مما يعني أنها تظهر اقتراناً تعاونياً في جميع المقاييس المختبرة.

منحنيات الخسارة تغفل الانتقال

لا تُظهر منحنيات الخسارة القياسية أي انتقال مرئي؛ فهي تتبع قانون قوة سلس ($R^2 = 0.9994$ لـ Pythia). تغيير النظام موجود بالكامل في الاقتران (المشتق المتقاطع للقدرات)، وليس في الخسارة أو درجات الاختبارات المعيارية الفردية. يمكن لنموذجين بخصائص خسارة متطابقة أن يوجد في أطوار قدرة مختلفة.

الآلية: اختناق إسقاط المخرجات (Output-Projection Bottleneck)

• التعاون الداخلي: في 38 من أصل 40 نموذجاً تم اختبارها، لا يوجد أي من رؤوس الانتباه التي تظهر تمثيلات متنافسة للاستنتاج والصدق. الرؤوس متعاونة عالمياً (متوسط تشابه جيب التمام +0.52).
• الاختناق: ينشأ الارتباط العكسي ليس من صراع داخلي، بل من ضغط أبعادي عند إسقاط المخرجات. عند المقياس الحرج ($N_c$)، تكون طبقة المخرجات ضيقة جداً بحيث لا يمكنها التعبير في آن واحد عن التمثيلات الداخلية التعاونية المدمجة حديثاً.
• الأدلة:
  • تطبيع العرض: عندما يتم تطبيع درجات الاختبارات المعيارية بعرض النموذج، ينقلب الارتباط العكسي إلى موجب لجميع العائلات المختبرة.
  • تحليل الطبقات: في نموذج Pythia-1B (عند $N_c$)، ينخفض الاقتران من الطبقات الخفية إلى طبقة المخرجات (0.725 $\to$ 0.639)، بينما في الأحجام الأخرى، يزدود.
  • التدخل: استبدال إسقاط المخرجات بخريطة أوسع يستعيد الاقتران دون الحاجة لإعادة التدريب.

القوة التنبؤية

• اكتشاف ODE: اكتشف ODE المعتمد على الانحدار المتناثر لبيانات Pythia قدرة على التنبؤ المتقاطع لمعايير Llama-2 بمتوسط خطأ مطلق (MAE) قدره 5.6%، وهو ما يزيد عن ضعف دقة النماذج القائمة على كثيرات الحدود.
• التحقق المستقل: نموذج OLMo (AI2)، الذي تم تدريبه بشكل مستقل دون معرفة بهذا الإطار، يقع تماماً عند حدود الانتقال ($\gamma_{12} = 0.000$) عند 1 مليار معلمة، مما يؤكد مقياس الانتقال المتوقع.

الروافع الهندسية

يتبين أن "ضريبة المحاذاة" هي اختناق يمكن هندسته، وليست قانوناً طبيعياً.

1. تنقية البيانات: تلغي Qwen3 انخفاض الاقتران تماماً مقارنة بـ Qwen2.5 عند نفس المقياس. نموذج Phi (1B) يطابق اقتران نماذج الـ 10B المدربة على بيانات الويب من خلال تنقية البيانات وحدها.
2. البنية: يحقق Gemma-4 (4B) خصائص اقتران تماثل نماذج الـ 13B+ القياسية من خلال الابتكار المعماري (PLE) والتقطير.
3. العرض: زيادة عرض النموذج عند عدد ثابت من المعلمات يقلل أو يلغي الضريبة.

4. الأهمية والادعاءات

تجادل الورقة بأن "ضريبة المحاذاة" (المقايضة بين الاستنتاج والصدق في النماذج الصغيرة) هي خاصية هيكلية لوصفة التدريب والبنية، وليست قيداً متأصلاً في الذكاء.

• تحول في النموذج الفكري: الانتقال ليس تدريجياً بل هو تغيير حاد في النظام. تحت $N_c$، يكون التوسع وحده غير كافٍ وقد يكون ضاراً بالمحاذاة؛ فوق $N_c$، يصبح التوسع مفيداً.
• الآثار العملية: بالنسبة للمؤسسات التي تنشر نماذج أقل من 7 مليارات معلمة (مثل الأجهزة المدمجة)، فإن التوسع في عدد المعلمات ليس هو الاستراتيجية المثلى. بدلاً من ذلك، توفر تنقية البيانات، وعرض البنية، ووصفات التدريب المحددة رافعات أكثر مباشرة لتحقيق محاذاة تعاونية.
• الفائدة التشخيصية: يمكن تشخيص طور الاقتران باستخدام درجات الاختبارات المعيارية العامة فقط عبر عائلة نموذج واحدة، مما لا يتطلب الوصول إلى بواطن النماذج.
• توسيع الحدود: يمتد النظام التعاوني إلى النماذج الرائدة (34 نموذجاً، 34 مختبراً)، حيث تُظهر القدرات المتقدمة (مثل SWE-bench، GPQA) أيضاً اقتراناً موجباً ($r = +0.72$).

يطلق المؤلفون أداة مفتوحة المصدر (cape-steer.py) لتوجيه التنشيط عند طبقة الاختناق المحددة، ولوحة تحكم تفاعلية (zehenlabs.com/cape) لتشخيص أطوار الاقتران واقتراح التدخلات.

5. النطاق والقيود

تقتصر الادعاءات على اقتران القدرة تحت أزواج الاختبارات المعيارية المختبرة. يعتمد الإطار على درجات الاختبارات المعيارية العامة ولا يتطلب أوزان النموذج. يشير المؤلفون إلى أنه بينما يتم القضاء على "الضريبة" في النماذج المنقحة، فإن الآلية المحددة لـ "تنقية البيانات" مقابل تغييرات الوصفة الأخرى في Qwen3 تم تحديدها كشرط كافٍ وليس كدراسة ضبط مقارنة. تنص الورقة صراحة على أن الانتقال هو معلم تصميمي وليس ثابتاً فيزيائياً، وأن "الضريبة" ليست خاصية للنماذج الصغيرة بحد ذاتها، بل هي خاصية للنماذج عند مقياس معين بالنسبة لبنيتها وبيانات تدريبها.