ملخص تقني: آلام النمو للنماذج الرائدة

بيان المشكلة

تعتمد تقييمات النماذج الرائدة حاليًا على لوحات متصدرين مستقلة تصنف النماذج بناءً على محاور محددة (مثل SWE-bench للبرمجة، وGPQA Diamond للاستنتاج)، لكنها تفشل في الكشف عن كيفية تفاعل القدرات عبر الإصدارات المتتالية. عادة ما يتساءل المجتمع عما إذا كان النموذج يبرع في البرمجة أم في الاستنتاج، لكنه نادرًا ما يبحث فيما إذا كان تحسين قدرة واحدة يعزز القدرة الأخرى أو يقوضها. عند حدود التقدم التقني، حيث تُصدر المختبرات المختلفة نماذجها في تتابع سريع، يوفر هذا التفاعل — أي الاقتران بين القدرات — إشارة أكثر معلوماتية من الدرجات المنعزلة. تعالج هذه الورقة الحاجة إلى تشخيص ما إذا كانت القدرات تتعاون أم تتبادل الأدوار (مقايضة)، وكيف يختلف هذا الاقتران حسب المختبر وعبر الزمن، وكيفية تحديد متى تتشبع محاور الاختبار وتتطلب تدويرًا.

المنهجية

يقترح المؤلفون إطارًا تشخيصيًا يعتمد على درجات الاختبار المزدوجة من بطاقات النماذج العامة ولوحات المتصدرين الموثقة. تعتمد المنهجية على ثلاث كميات أساسية مشتقة من العلاقة بين محورين: SWE-bench Verified (البرمجة الذاتية) و GPQA Diamond (الاستنتاج العلمي بمستوى الدراسات العليا).

1. الاقتران السكاني ($r$): معامل ارتباط بيرسون المحسوب عبر مجموعة من النماذج. يشير $r$ الإيجابي إلى تعزيز تعاوني بين القدرات، بينما يشير $r$ السلبي إلى مقايضة تضادية.
2. حقل $h$ (المتبقي النسبي للمختبر): بالنسبة لنموذج معين $i$، فإن حقل $h$ هو المتبقي الموقّع من خط الانحدار السكاني ($\hat{B}_2 = \beta_1 B_1 + \beta_0$).
   • $h_i = B_{2,i} - (\beta_1 B_{1,i} + \beta_0)$
   • يشير $h$ الإيجابي إلى أداء غني بالاستنتاج مقارنة باتجاه (البرمجة-الاستنتاج)؛ بينما يشير $h$ السلبي إلى أداء غني بالبرمجة.
   • يلخص متوسط $h$ لكل مختبر ($\bar{h}_{lab}$) الانحراف المميز للمختبر عن الاتجاه السكاني العام.
3. تصنيف الطور: تُصنف النماذج إلى ثلاثة أنظمة بناءً على قيمة حقل $h$ الخاص بها بالنسبة لخط الانحدار:
   • تعاوني (Cooperative): $|h| \le 10$ نقاط مئوية (pp).
   • انحراف متخصص في البرمجة (Coding-specialist excursion): $h < -10$ pp.
   • متخصص في الاستنتاج (Reasoning-specialist): $h > +10$ pp.
4. نسبة التشبع ($\sigma$): تُعرف بأنها نسبة الانتشار (الفرق بين الأقصى والأدنى) لمحور اختبار قديم إلى محور مرشح جديد بين أفضل النماذج. تشير النسبة $\sigma < 0.2$ إلى أن المحور القديم قد فقد قدرته التمييزية، مما يستدب تدويرًا إلى محور جديد.

تتكون مجموعة البيانات من 34 نموذجًا رائدًا من 10 مختبرات (بما في ذلك Anthropic، وOpenAI، وGoogle، وDeepSeek، إلخ) تمتد من يونيو 2024 إلى مارس 2026. يستخدم التحليل مجموعة فرعية موثقة أساسية ($n=23$) ومجموعة ممتدة ($n=34$)، مع تطبيق التحقق المتبادل بنظام استبعاد مختبر واحد لاختبار القدرة على التعميم.

النتائج الرئيسية

1. الاقتران التعاوني عند الحدود

عبر اللوحة الكاملة المكونة من 34 نموذجًا، أظهرت SWE-bench وGPQA Diamond اقترانًا إيجابيًا قويًا ($r = +0.72, p < 10^{-6}$). يستمر هذا الهيكل التعاوني عبر جميع المجموعات المختبرة وهو قوي تجاه التباين في البنيات ومسارات التدريب. لا يمكن قياس هذه الإشارة إلا عندما تمتلك كلتا المجموعتين نطاقًا ديناميكيًا كافيًا (درجات SWE $\ge 40$)، وهو ما أصبح متاحًا في إصدارات عام 2025.

2. التشخيصات والمسارات لكل مختبر

بينما تتعاون القدرات عالميًا، فإن نمط التعاون يختلف بشكل كبير حسب المختبر، ويُقاس عبر حقل $h$ ومنحدرات الاقتران:

• Google: تحافظ على تركيز ثابت غني بالاستنتاج ($\bar{h} \approx +5.5$) مع منحدر اقتران مرتفع (1.15)، مما يشير إلى كفاءة عالية في تحويل مكاسب البرمجة إلى استنتاج.
• DeepSeek: تظهر تحولًا دراماتيكيًا، حيث انتقلت من كونها غنية بالاستنتاج ($h = +11.2$) إلى التركيز على البرمجة أولاً ($h = -4.7$) عبر أربعة إصدارات، وهو تحول قدره 15.9 نقطة مئوية.
• Anthropic: تظهر تذبذبًا بين انحرافات البرمجة (مثل Sonnet 4.6، حيث $h = -13.1$) والعودة إلى حالات غنية بالاستنتاج (مثل Opus 4.6، حيث $h = +3.5$).
• كفاءة الاقتران: تتباين منحدرات الاقتران لكل مختبر بعامل قدره 5 (Google 1.15 مقابل DeepSeek 0.23)، مما يحدد مدى كفاءة "الوصفات" المختلفة في تحويل تحسينات البرمية إلى مكاسب استنتاجية.

3. تسلسلات القدرة والتشبع

تحدد الورقة أن التعاون ليس ثابتًا بل يحدث عبر تسلسلات حيث تترابط المحاور القديمة معًا وتظهر محاور جديدة:

• التشبع غير المتماثل: بين أفضل 5 نماذج برمجة، تقترب درجات SWE-bench من التعادل (انتشار 1.3 pp)، بينما تحتفظ درجات GPQA بتباين كبير (9.1 pp). هذا الانضغاط يشير إلى أن SWE بدأت تتشبع.
• تدوير المحور: مع تشبع SWE، تنشط HLE (اختبار البشرية الأخير) و IFEval كمحاور مستقلة جديدة. تظهر مصفوفة الاقتران أن SWE وGPQA يتعاونان ($r \approx +0.85$)، وGPQA وHLE يتعاونان ($r \approx +0.72$)، لكن SWE وHLE منفصلان ($r \approx -0.25$).
• انتقال $N_{c2}$: تؤكد ست بنيات ذات أوزان مفتوحة وجود انتقال ثانٍ للقدرات عند 30-72 مليار معلمة حيث ينهار الاقتران (ينخفض بنسبة ~59%) قبل أن يتعافى جزئيًا، مما يشير إلى حد في عدد التفاعلات التي يمكن للحالات الخفية تمثيلها بشكل تعاوني في هذا النطاق.

4. التحقق التنبؤي

تم التحقق من صحة الإطار مقابل خمسة نماذج صدرت بعد تاريخ قطع البيانات في مارس 2026 (أبريل 2026). أكدت هذه النماذج الخارجة عن العينة التشخيص، حيث ارتفع الارتباط السكاني من $+0.72$ إلى $+0.75$ عند إعادة الضبط. نجح حقل $h$ في التنبؤ بمسار تحول DeepSeek وتعافي Anthropic.

الأهمية والمساهمات

تدعي الورقة أنها تقدم أول قياس واسع النطاق وعابر للمختبرات للاقتران التعاوني في النماذج الرائدة، متجاوزة سؤال "من هو المتصدر" إلى "ما نوع هذا التقدم". وتتمثل مساهماتها الأساسية في:

1. إطار تشخيصي: دليل مكون من ثلاثة مستويات (تحديد الموقع، التشخيص، التدوير) يسمح للممارسين بتصنيف إصدارات النماذج، وتحديد إعادة تخصيص القدرات (عبر تحولات حقل $h > 10$ pp)، واكتشاف متى تفقد معايير الاختبار قدرتها التمييزية (عبر $\sigma < 0.2$).
2. تكميم استراتيجيات المختبرات: يوفر حقل $h$ ومنحدرات الاقتران ملخصًا برقم واحد لتركيز المختبر المميز (غني بالاستنتاج مقابل غني بالبرمجة) وكفاءة وصفة التدريب الخاصة به.
3. تنبؤات قابلة للتفنيد: تقدم الورقة سبعة تنبؤات مؤرخة للـ 12 شهرًا القادمة، بما في ذلك تشبع SWE-bench بحلول ديسمبر 2026، وتنشيط IFEval، وتعمق الانفصال بين SWE وHLE.
4. المنفعة التشغيلية: يتطلب الإطار درجتين فقط من اختبارات عامة لتوليد رؤى قابلة للتنفيذ، مما يجعله متاحًا دون الحاجة للوصو لبيانات التدريب الخاصة أو البنيات الداخلية للنماذج.

يؤكد المؤلفون أن حقل $h$ وصفي وليس سببيًا؛ فهو يحدد ما الذي تغير في تسلسل الإصدار ولكنه لا يشرح لماذا (مثل تغييرات تنسيق البيانات أو البنيات المحددة). ومع ذلك، من خلال جعل هذه التحولات مرئية، يتيح الإطار للمختبرات مراقبة مقايضات القدرة وتوقع التدوير التالي الضروري لمقاييس التقييم.