Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هيمنة قدرة النموذج: دروس من تحسين وقت الاستدلال من AIMO 3" للكاتب ناتابونج نيتاراش.

1. بيان المشكلة

تتناول الورقة البحثية تحدي تحسين أداء النماذج اللغوية الكبيرة (LLMs) في الرياضيات على مستوى المسابقات (تحديداً أولمبياد الذكاء الاصطناعي للرياضيات، AIMO 3) باستخدام تحسين وقت الاستدلال دون تدريب إضافي.

• السياق: النهج القياسي للاستدلال الرياضي هو التصويت بالأغلبية (الاتساق الذاتي - Self-Consistency)، حيث يتم توليد $N$ من محاولات الاستدلال، ويتم اختيار الإجابة الأكثر تكراراً. يعتمد هذا على نظرية لجنة كوندورسي (Condorcet Jury Theorem)، بافتراض أن الأخطاء مستقلة.
• العقبة: في الممارسة العملية، تكون الأخطاء مترابطة بشكل كبير ($\rho > 0$). فالنموذج الذي يستخدم نفس المطالبة (Prompt) يرتكب نفس الأخطاء المنهجية بغض النظر عن البذور العشوائية (Random Seeds)، مما يقلل بشكل كبير من حجم العينة الفعال ($N_{eff}$).
• الفرضية: افترض المؤلفون أن تخصيص استراتيجيات استدلال مختلفة هيكلياً (مثل "العمل العكسي"، أو "الحالات الصغيرة أولاً") لمصوتين مختلفين من شأنه أن يفك الارتباط بين الأخطاء، وبالتالي يزيد من $N_{eff}$ ويحسن النتيجة النهائية. وقد أطلقوا على هذا النهج اسم خلاط المطالبات المتنوعة (Diverse Prompt Mixer).

2. المنهجية

أُجريت الدراسة تحت قيود صارمة للأجهزة والوقت: وحدة معالجة رسومية واحدة من نوع NVIDIA H100 80 GB مع حد زمني قدره 5 ساعات زمن حقيقي لحل 50 مسألة بمستوى أولمبياد الرياضيات الدولي (IMO).

بنية النظام

• النموذج: gpt-oss-120b (إجمالي المعلمات 116.8 مليار، 5.1 مليار معلمة نشطة عبر تقنية MoE)، يتم تشغيله محلياً عبر vLLM باستخدام تكميم FP8.
• خط الإنتاج (Pipeline):
  1. تخصيست الميزانية: يتم تقسيم الوقت بالتساوي بين المسائل المتبقية لضمان الإكمال.
  2. الاستدلال المتوازي: $N=8$ خيوط معالجة (Threads) متزامنة لكل مسألة.
  3. تكامل الأدوات: يمكن لكل محاولة توليد وتنفيذ كود Python (باستخدام sympy و numpy و mpmath) في نواة Jupyter مستمرة.
  4. التصويت: تصويت أغلبية مرجح بالإنتروبيا (الإجابات الواثقة ذات الإنتروبيا المنخفضة تحصل على وزن أعلى).
• التصميم التجريبي:
  • الأساس (Baseline): 8 محاولات باستخدام مطالبة "خطوة بخطوة" قياسية عند درجة حرارة $T=1.0$.
  • خلاط المطالبات المتنوعة: تركيبات من أربع مطالبات نظام متميزة:
    1. الأصلية: سلسلة أفكية (CoT) قياسية.
    2. الحالات الصغيرة أولاً: تعداد $n=1,2,3...$ لإيجاد الأنماط.
    3. العمل العكسي: سرد القيود وبناء الحل.
    4. التصنيف ثم الحل: تحديد نوع المسألة وتطبيق التقنيات المعيارية.
  • التحقق عبر النماذج: تم الاختبار على Qwen3.5-35B-A3B و Nemotron-Super-120B لاستبعاد الآثار المرتبطة بنموذج معين.
  • دراسة الاستئصال (Ablation): أكثر من 23 تجربة تعدل درجة الحرارة، تنوع المطالبات، عدد المحاولات ($N$)، واستراتيجيات الاستدلال.

3. المساهمات والنتائج الرئيسية

أ. فشل خلاط المطالبات المتنوعة

على عكس الفرضية، أدى إدخال تنوع المطالبات إلى تدهور الأداء.

• النتيجة: "الخليط المتساوي" (اثنان من كل استراتيجية) سجل 38/50، بينما سجل "الأساس" (جميع المطالبات الأصلية) 39.7/50.
• الملاحظة: كل استراتيجية متنوعة فردية (مثل "الحالات الصغيرة") كان أداؤها أسوأ من المطالبة الأصلية عند استخدامها حصرياً. كانت العلاقة طردية: المزيد من التنوع = نتيجة أقل.
• السبب: بينما هدفت المطالبات المتنوعة إلى تقليل ارتباط الأخطاء ($\rho$)، إلا أنها قللت في الوقت نفسه من دقة كل محاولة ($p$). فقد طغت الخسارة في الدقة على أي مكاسب من فك الارتباط.

ب. أخذ العينات بدرجة حرارة عالية كافٍ

وجد المؤلفون أنه عند $T=1.0$، يستكشف النموذج بالفعل مسارات استدلال متنوعة بما يكفي حتى مع وجود مطالبات متطابقة.

• الدليل: تم قياس ارتباط الخطأ الزوجي ($\rho$) وكان سالباً (متوسط $\hat{\rho} \approx -0.11$ إلى $-0.26$) عبر النماذج.
• الاستنتاج: الأخطاء مفككة الارتباط بالفعل (أو حتى متضادة الارتباط) بسبب أخذ العينات العشوائي (Stochastic Sampling). إضافة تنوع المطالبات هو أمر زائد عن الحاجة، ولأن المطالبات المتنوعة أقل متانة تجاه توزيع تدريب النموذج، فإنها تصبح ضارة.

ج. قدرة النموذج هي المهيمنة

النتيجة الأكثر أهمية هي أن قدرة النموذج ($p$) تهيمن على حيل وقت الاستدلال بفارق رتبة مقدارية.

• الفجوة: كانت هناك فجوة 17 نقطة بين أفضل نموذج (gpt-oss-120b بنتيجة ~39.7) والنموذج التالي الأفضل (Nemotron/Qwen بنتيجة ~23).
• المقارنة: جميع تحسينات وقت الاستدلال المختبرة (خلط المطالبات، ضبط درجة الحرارة، استراتيجيات "الكود أولاً") أحدثت تغييرات قدرها $\pm 2$ نقطة فقط.
• الخلاصة: لا يمكن لأي قدر من هندسة المطالبات أو استراتيجية التصويت أن يسد فجوة القدرة الجوهرية. النموذج الأقوى مع خط أساس بسيط يتفوق على النموذج الأضعف مع تحسين معقد.

د. الطبيعة "اليانصيبية" للتقديم

مع متوسط خط أساس يبلغ 39.7 وانحراف معياري قدره 1.7، فإن احتمال الوصول إلى درجة رفيعة المستوى (مثلاً $\ge 44$) في تشغيل واحد منخفض (~0.6%).

• الاستراتيجية: الاستراتيجية المثلى للمسابقات ليست تحسين المطالبة، بل معاملة عمليات التقديم كـ تذاكر يانصيب. تقديم النسخة الأصلية (Baseline) غير المعدلة بشكل متكرر يزيد من احتمالية إصابة الرقم المرتفع (Outlier).

4. الأهمية والآثار المترتبة

1. دحض مبدأ "التنوع من أجل التنوع فقط": تتحدى الورقة البحثية الحدس القائل بأن استراتيجيات الاستدلال المتنوعة مفيدة دائماً. بالنسبة للنماذج القريبة من حدود قدرتها، تكون متانة المطالبة (Prompt Robustness) منخفضة؛ فتغيير تنسيق التعليمات ينقل النموذج بعيداً عن توزيع تدريبه، مما يسبب انخفاضاً في الدقة يفوق فوائد فك الارتباط.
2. التحول في نموذج التحسين: ينتقل المجال من التركيز على $N$ العالية (التصويت بالقوة الغاشمة بعدد كبير من المحاولات، كما في AIMO-1) إلى التركيز على $p$ العالية (استخدام نماذج أكثر قدرة بعدد أقل من المحاولات). تحجيم وقت الاستدلال يعطي عوائد متناقصة بمجرد ضبط النظام الأساسي بشكل معقول.
3. التدريب مقابل الاستدلال: تشير الورقة إلى أنه لكي تستفيد النماذج حقاً من المطالبات المتنوعة، يجب تدريبها على بيانات "مزيج التنسيقات" (Mixture of Formats - MOF) لتعلم متانة المطالبات. هذا تدخل في وقت التدريب، وليس في وقت الاستدلال.
4. إرشادات عملية: للبيئات ذات الموارد المحدودة:
   • استخدم أكبر نموذج يتسع له الذاكرة.
   • حافظ على درجة حرارة عالية ($T \approx 1.0$) للاستفادة من التنوع العشوائي الطبيعي.
   • تجنب خلط المطالبات المعقد؛ التزم بتنسيق المطالبة الأقوى والأكثر ألفة.
   • خصص الميزانية لمحاولات تقديم متعددة (تذاكر يانصيب) بدلاً من التحسين المعقد لكل محاولة.

جدول نتائج الملخص (gpt-oss-120b)

الخلاصة النهائية: في مجال الاستدلال الرياضي عالي الصعوبة، قدرة النموذج هي المحرك الرئيسي للنجاح. تحسينات وقت الاستدلال مثل تنوع المطالبات تقدم عوائد ضئيلة أو سلبية عندما يكون النموذج الأساسي يعمل بالفعل بالقرب من حدوده القصوى.