🤖 AI

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

تتحدى هذه الورقة البحثية افتراض استقرار تصنيفات النماذج اللغوية الكبيرة من خلال إثبات أن تغيير ميزانيات رموز الاستدلال (inference tokens) يغير بشكل كبير الأداء والترتيب، مما يكشف عن سلوكيات غير رتيبة، وانعكاسات في التصنيف، وتكاملًا بين النماذج يستلزم بروتوكولات تقييم مشروطة بالميزانية.

المؤلفون الأصليون: Rodrigo Guedes de Souza, Alison R. Panisson

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Rodrigo Guedes de Souza, Alison R. Panisson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك في مكتبة ضخمة حيث الكتب مكتوبة بواسطة روبوتات ذكية للغاية تُسمى نماذج اللغات الكبيرة (LLMs). يمكن لهذه الروبوتات قراءة كل شيء تقريبًا والإجابة على الأسئلة في الرياضيات والعلوم والتاريخ. لفترة طويلة، كان الأشخاص الذين يحاولون اختيار الروبوت "الأفضل" يكتفون بطرح سؤال عليهم ورؤية من يحصل على الإجابة الصحيحة أولاً. افترضوا أنه إذا كان الروبوت (أ) أفضل من الروبوت (ب) في اختبار واحد، فسيظل دائمًا أفضل، بغض النظر عن الظروف. كان الأمر يشبه الحكم على سباق من خلال النظر فقط إلى من عبر خط النهاية أولاً، دون الاهتمام بمقدار الوقت الذي سُمح لهم به للركض.

لكن هنا تكمن المفاجأة: هذه الروبوتات لا "تفكر" بشكل لحظي. بل تكتب إجاباتها كلمة بكلمة، مثل سلسلة طويلة من الأفك never. إن عدد الكلمات التي يُسمح لها بكتابتها يزيد من قدرتها على "التفكير" قبل إعطاء الإجابة. هذا الحد في عدد الكلمات التي يمكنها كتابتها يسمى "ميزانية الرموز" (token budget). فكر في الأمر كإعطاء طالب كميات مختلفة من الوقت لأداء اختبار ما. بعض الطلاب قد يحتاجون إلى الكثير من الوقت لحل لغز صعب، بينما قد يرتبك البعض الآخر إذا أُعطوا الكثير من الوقت ويبدأون في المبالغة في التفكير. السؤال الكبير للعلماء هو: هل يظل الروبوت "الأفضل" هو الأفضل إذا غيرنا حد الوقت؟ وهل يتغير الفائز بناءً على مقدار الوقت الذي نتركه له للتفكير؟ هذا بالضبط ما أراد الباحثون اكتشافه.

مشكلة "المبالغة في التفكير": لماذا لا يكون الوقت الأطول أفضل دائمًا

في هذه الدراسة، أجرى الباحثون تجربة ضخمة لمعرفة كيفية أداء أربعة نماذج مختلفة من الذكاء الاصطناعي في ثلاثة اختبارات صعبة: رياضيات المرحلة الابتدائية، ورياضيات المستوى التنافسي، وأسئلة العلوم بمستوى الدراسات العليا. لم يكتفوا بترك النماذج تعمل فحسب، بل أجبروها على التوقف بعد كميات محددة من "التفكير" (التي تُقاس بالرموز/tokens). لقد اختبروا سبعة حدود مختلفة، تتراوح من 64 رمزًا ضئيلًا (وقت تفكير قليل جدًا) وصولًا إلى 4,096 رمزًا ضخمًا (وقت تفكير طويل جدًا).

ما اكتشفوه هو أن فكرة وجود نموذج واحد "أفضل" هي مجرد أسطورة. فقد تغيرت ترتيبات النماذج وانقلبت تمامًا اعتمادًا كليًا على مقدار الوقت الممنوح لها.

مفاجأة "المبالغة في التفكير"
قد تعتقد أن إعطاء الروبوت مزيدًا من الوقت للتفكير سيساعده دائمًا في الحصول على الإجابة الصحيحة. لكن الباحثين وجدوا شيئًا غريبًا: أحيانًا، جعل إعطاء النموذج المزيد من الرموز يؤدي به إلى الإجابة بشكل خاطئ. أطلقوا على هذا اسم "المبالغة في التفكير" (overthinking).

تخيل طالبًا يعرف الإجابة على مسألة رياضية. إذا أعطيته 10 دقائق، فسيكتبها بشكل صحيح. ولكن إذا أعطيته 30 دقيقة، فقد يبدأ في الشك في نفسه، ويغير إجابته، وينتهي به الأمر بإجابة خاطئة. وجدت الدراسة أن هذا حدث في حوالي 3% إلى 19% من الأسئلة. والأسوأ من ذلك، أن هذه لم تكن مشكلة في الأسئلة نفسها؛ بل كانت خاصة بكل روبوت على حدة. فالسؤال الذي جعل أحد النماذج "يبالغ في التفكير" ويفشل، قد يكون مثاليًا لنموذج آخر. إنه يشبه كيف يمكن لشخص أن يشعر بالتوتر إذا أُعطي وقتًا طويلاً جدًا للتحضير لخطاب، بينما يزدهر شخص آخر بهذا الوقت.

عمليات تبادل التصنيف الكبرى
بسبب هذا، كان "الفائز" في السباق يتغير باستمرار.

في اختبار الرياضيات الأسهل (GSM8K)، كان النموذج الضخم (LLaMA-3.3 70B) هو البطل عندما مُنح وقتًا متوسطًا (256 رمزًا). ولكن بمجرد منح النماذج مزيدًا من الوقت (حتى 4,096 رمزًا)، تولى النموذج الأصغر (GPT-OSS 20B) الصدارة واستمر في ذلك.
في اختبار العلوم الأصعب (GPQA)، كان أصغر نموذج (LLaMA-3 8B) هو الأفضل فعليًا عندما كان الوقت ضيقًا (256-512 رمزًا). ولكن مع زيادة الوقت، لحقت به النماذج الأكبر وتساوت معه في النهاية على المركز الأول.

هذا يعني أنه إذا نظرت إلى لوحة صدارة اليوم تقول "النموذج X هو الأفضل"، فإن هذا البيان صحيح فقط لفترة زمنية محددة. إذا غيرت حد الوقت، فقد يصبح النموذج X فجأة هو الأسوأ.

فجوة "الأوراكل" (الخبير): لماذا نحتاج إلى مفتاح ذكي؟
سأل الباحثون أيضًا: "إذا كان بإمكاننا اختيار النموذج المثالي لكل سؤال بشكل سحري، فكم ستتحسن نتائجنا؟" قاموا ببناء "أوراكل" (Oracle) نظري (مُحدد مثالي) يختار أفضل نموذج لكل سؤال وحدًا من حدود الوقت.

كانت النتائج صادمة. في اختبار العلوم الصعب، استطاع هذا المحدد المثالي الحصول على إجابات صحيحة أكثر بنسبة 27.8 نقطة مئوية من أفضل نموذج يعمل بمفرده. وحتى في اختبارات الرياضيات الأسهل، كانت الفجوة كبيرة (تصل إلى 16.9 نقطة). هذا يثبت أنه لا يوجد روبوت واحد جيد في كل شيء. أحيانًا يكون الروبوت الصغير هو الأفضل، وأحيانًا يكون الكبير هو الأفضل، وأحيانًا يكون الجميع مخطئين.

هل يمكننا بناء مفتاح ذكي؟
حاول الفريق بناء "موجه" (router) — وهو نظام ذكي ينظر إلى السؤال وحد الوقت، ثم يقرر أي روبوت يجب أن يجيب.

داخل نفس نوع الاختبار: عندما دربوا الموجه على مسائل الرياضيات واختبروه على مسائل الرياضيات، عمل بشكل رائع. ساعدهم استخدام "حد الوقت" كدليل في اختيار الروبوت الصحيح، مما حسن الدقة بنسبة 1.6 إلى 5.7 نقطة.
عبر اختبارات مختلفة: ولكن عندما حاولوا استخدام نفس الموجه للانتقال من الرياضيات إلى أسئلة العلوم، أصابه الارتباك. "دلائل حد الوقت" التي نجحت في الرياضيات لم تنجح في العلوم. في الواقع، استخدام تلك الدلائل جعل الموجه يؤدي بشكل أسوأ بنسبة 1.2 نقطة عند الانتقال بين المجالات. وهذا يشير إلى أن العلاقة بين "مقدار الوقت الذي تملكه" و"الحصول على الإجابة الصحيحة" تختلف باختلاف كل موضوع.

الخلاصة

الدرس الرئيسي من هذه الورقة البحثية بسيط ولكنه قوي: لا يوجد نموذج ذكاء اصطناعي واحد "أفضل". الإجابة على سؤال "أي نموذج هو الأفضل؟" تعتمد كليًا على "كم من الوقت تتركه ليفكر".

إذا كنت تبني تطبيقًا للهاتف حيث يمكنك إعطاء الذكاء الاصطناعي وقتًا ضئيلاً جدًا، فقد يكون النموذج الصغير والسريع هو بطلُك. أما إذا كنت تشغل خادمًا حيث يمكنك منح الذكاء الاصطناعي ساعات للتفكير، فقد يفوز نموذج آخر أكبر وأبطأ. الطريقة القديمة لتصنيف النماذج — أي اختيار فائز واحد للجميع — هي طريقة معطلة. بدلاً من ذلك، نحتاج أن نقول: "النموذج (أ) هو الأفضل للإجابات القصيرة، والنموذج (ب) هو الأفضل للإجابات الطويلة، وفي بعض الأحيان، إذا أعطيتهم وقتًا طويلاً جدًا، فقد يفسدون الأمر فحسب".

يقترح الباحثون أنه في المستقبل، يجب أن نتوقف عن طلب درجة واحدة ونبدأ في الإبلاغ عن كيفية أداء النماذج عند حدود زمنية مختلفة. وإذا أردنا استخدام هذه النماذج بفعالية، فنحن بحاجة إلى أنظمة ذكية تعرف متى تستدعي المفكر السريع الصغير ومتى تستدعي المفكر الكبير البطيء — لأن الفائز يتغير في اللحظة التي يبدأ فيها العداد بالتحرك.

ملخص تقني: التصنيفات المعتمدة على الميزانية في تقييم النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

يفترض التقييم القياسي للنماذج اللغوية الكبيرة (LLM) أن تصنيفات النماذج مستقرة وغير متغيرة بتغير ظروف وقت الاستدلال. وتحديداً، يفترض أن النموذج الذي يُعلن أنه "الأحدث والأفضل" (state-of-the-art) في اختبار مرجعي ما (مثل GSM8K أو GPQA) يحافظ على تفوقه بغض النظر عن ميزانية الرموز (tokens)—وهي الحد الأقصى من الرموز المسموح للنموذج بإنتاجها قبل القطع (truncation).

تتحدى هذه الورقة هذا الافتراض، حيث تفترض أن مشهد التقييم يعتمد بشكل أساسي على الميزانية. تشير الأدبيات الحديثة حول توسيع نطاق الحوسبة في وقت الاختبار (test-time compute scaling) إلى أن زيادة حصص الرموز يمكن أن تحسن الأداء، بينما تشير أدبيات "الإفراط في التفكير" (overthinking) إلى أن الرموز الإضافية قد تؤدي إلى تدهور الدقة. ومع ذلك، فإن التفاعل بين هذه التأثيرات عبر مختلف النماذج والمهام لا يزال غير مقاس كمياً. تكمن المشكلة الجوهرية في ما إذا كانت تصنيفات النماذج، وصعوبة العناصر، والتكامل بين النماذج هي خصائص ثابتة أم أنها دوال تعتمد على ميزانية الرموز.

المنهجية

أجرى المؤلفون استقصاءً منهجياً شمل أربعة نماذج استدلال مفتوحة المصدر وثلاثة معايير مرجعية للاستدلال عبر سبع ميزانيات مختلفة للرموز.

النماذج: أربعة نماذج تمتد عبر رتبة مقدار من عدد المعلمات (parameters): LLaMA-3 8B، وQwen-3 32B، وLLaMA-3.3 70B، وGPT-OSS 20B.
المعايير المرجعية: ثلاثة مجموعات بيانات متزايدة الصعوبة:
- GSM8K (1,319 مسألة رياضيات للمرحلة الابتدائية).
- MATH-500 (500 مسألة تنافسية المستوى).
- GPQA-Diamond (198 سؤالاً علمياً بمستوى الدراسات العليا).
ميزانيات الرموز: سبعة مستويات تتراوح من 64 إلى 4,096 رمزاً ( $b \in \{64, 128, 256, 512, 1024, 2048, 4096\}$ ).
الإعداد التجريبي: تم توليد إجمالي 56,476 عملية استدلال فردية عند درجة حرارة $T=0$ لضمان الحتمية (determinism).
بروتوكول التقييم:
- التعامل مع القطع (Truncation Handling): تستخدم الدراسة تحليلاً ثلاثي المستويات للفصل بين إخفاقات الاستدلال الحقيقية وبين آثار القطع:
  1. جميع العناصر (All items): تسجيل النقاط القياسي حيث تُعتبر المخرجات المقطوعة خاطئة.
  2. التوقف فقط (Stop-only): قصر التحليل على العناصر التي أكمل فيها نموذج معين عملية التوليد.
  3. العناصر المشتركة غير المقطوعة (Common non-truncated): القصر على العناصر التي أكملت فيها جميع النماذج الأربعة عملية التوليد، مما يسمح بالمقارنات الثنائية.
- المقاييس: الصحة الثنائية (المطابقة التامة)، اختبار مكينار (McNemar's test) لدلالة التصنيف، تشابه جاکارد (Jaccard similarity) لاتفاق النماذج، وتحليل فجوة الأوراكل (Oracle gap analysis) (الفرق بين مجموعة أوراكل لكل عنصر وأفضل نموذج منفرد).

المساهمات والنتائج الرئيسية

1. التصنيف السلوكي على مستوى العنصر

يصنف المؤلفون مسارات النموذج-العنصر إلى أربع فئات: صحيح دائماً، متزايد رتيب، غير رتيب، وخاطئ دائماً.

السلوك غير الرتيب: خلافاً للافتراض بأن المزيد من الرموز يساعد دائماً، تظهر 3.6–25.8% من العناصر سلوكاً غير رتيب (تنخفض الدقة مع زيادة الميزانية)، مما يمثل "الإفراط في التفكير".
خصوصية النموذج: هذه الظاهرة مرتبطة بالنموذج بشكل كبير. فالتداخل بين النماذج في العناصر غير الرتيبة منخفض (6–14%)، مما يعني أن العنصر الذي يحفز الإفراط في التفكير في نموذج ما نادراً ما يفعل ذلك في نموذج آخر. وهذا يعني أنه لا يمكن ببساال حذف العناصر "المشكلة" من المعايير المرجعية لإصلاح القضية.
التحقق: حتى بعد تصفية آثار القطع (باستخدام مسارات التوقف فقط)، تظل معدلات عدم الرتابة كبيرة (على سبيل المثال، 19.1% لنموذج LLaMA-3 8B في GPQA)، مما يؤكد أن الإفراط في التفكير هو فشل حقيقي في الاستدلال.

2. انقلابات التصنيف ذات الدلالة الإحصائية

تصنيفات النماذج ليست مستقرة؛ فالنموذج "الأفضل" يتغير اعتماداً على الميزانية.

GSM8K: يتصدر LLaMA-3.3 70B عند $b=256$ (62.4%)، لكن GPT-OSS 20B يتجاوزه عند $b=512$ ويحافظ على تقدم كبير عند $b=4096$ (94.9% مقابل 91.7%).
GPQA: أصغر نموذج (LLaMA-3 8B) يحتل المرتبة الأولى في الميزانيات المنخفضة ( $b=256, 512$ )، ثم يتجاوزه LLaMA-3.3 70B عند $b=1024$ ، ويتساوى معه في النهاية GPT-OSS 20B عند $b=4096$ .
الدلالة: هذه الانقلابات ذات دلالة إحصائية ( $p < 0.01$ عبر اختبار مكينار) عبر جميع المعايوهات المرجعية، حتى عند التحكم في القطع في المجموعات المشتركة غير المقطوعة.

3. ديناميكيات فجوة الأوراكل

تكشف مجموعة الأوراكل (التي تختار النموذج الصحيح لكل عنصر) عن إمكانات كبيرة للتحسين عبر اختيار النماذج.

الحجم: تتراوح فجوة الأوراكل (دقة الأوراكل ناقص أفضل نموذج منفرد) بين +3.5 نقطة مئوية و+27.8 نقطة مئوية.
الاعتماد على الميزانية:
- في GSM8K، الفجوة غير رتيبة، حيث تصل ذروتها عند $b=256$ (+16.9 نقطة مئوية) مع حل النماذج لعناصر مختلفة، ثم تنخفض مع تقاربها نحو العناصر الأسهل عند الميزانيات الأعلى.
- في المعايير المرجعية الأكثر صعوبة (MATH-500, GPQA)، تنمو الفجوة بشكل رتيب، لتصل إلى +12.8 و+27.8 نقطة مئوية على التوالي عند $b=4096$ .
التكامل: حتى في الميزانيات العالية، تحل النماذج مجموعات فرعية مختلفة بشكل ملموس من العناصر (تشابه جاکارد $\approx 0.74$ عند $b=4096$ )، مما يشير إلى وجود تكامل مستمر.

4. إثبات مفهوم التوجيه الواعي بالميزانية (Budget-Aware Routing)

درب المؤلفون مصنفات XGBoost لتوجيه العناصر إلى أفضل نموذج بناءً على سمات النص وميزانية الرموز.

الأداء عبر المجالات: عند التدريب على GSM8K+MATH-500 والاختبار على GPQA، حقق الموجه (router) زيادة قدرها +2.67 نقطة مئوية فوق خط الأساس "الأفضل لكل ميزانية"، مستحوذاً على 14.1% من فجوة الأوراكل.
أهمية السمات: يظهر تحليل SHAP أن ميزانية الرموز هي السمة المهيمنة (أكثر أهمية بـ 6.1 مرة من السمات النصية مثل وجود LaTeX).
خصوصية المجال: بينما تعمل ميزات الميزانية على تحسين الأداء داخل المجال نفسه (+1.6 إلى +5.7 نقطة مئوية)، إلا أنها تضر بنقل الأداء بين المجالات (−1.2 نقطة مئوية). يشير هذا إلى أن العلاقة بين الميزانية والدقة هي علاقة خاصة بالمجال ولا تنتقل مباشرة من الرياضيات إلى العلوم.

الأهمية والآثار المترتبة

تجادل الورقة بأن السؤال "أي نموذج هو الأفضل؟" ليس له إجابة واحدة؛ فهو يعتمد على ميزانية توليد الرموز. يقترح المؤلفون ثلاث آثار عملية:

بروتوكولات التقييم: يجب أن تتبنى المعايوهات المرجعية تقييماً مشروطاً بالميزانية، بحيث تذكر التصنيفات عند مستويات ميزانية متعددة بدلاً من درجة ثابتة واحدة. هذا أمر بالغ الأهمية لسيناريوهات النشر المقيدة (مثل الهواتف المحمولة، أو الأجهزة الطرفية/Edge) حيث تكون الميزانيات السخية غير ممكنة.
أنظمة التوجيه: يجب أن تعامل أنظمة اختيار النماذج والتوجيه ميزانية الرموز كإشارة من الدرجة الأولى. ومع ذلك، نظرًا لأن خرائط (الميزانية-الدقة) خاصة بكل مجال، يجب أن تجمع أنظمة التوجيه بين إشارات الميزانية والسمات غير المرتبطة بالمجال أو تقنيات التكيف.
فرص التجميع (Ensemble): تمثل فجوات الأوراكل الكبيرة الموثقة فرصة ملموسة لطرق التجميع والتوجيه لاستغلال التكامل بين النماذج، مما قد يؤدي إلى مكاسب كبيرة في الأداء مقارنة بنشر نموذج منفرد.

تخلص الدراسة إلى أن مشهد تقييم النماذج اللغوية الكبيرة يعتمد بشكل أساسي على الميزانية، حيث تختلف تصنيفات النماذج، وصعوبة العناصر، والتكامل، جميعها كدالة لحد ميزانية الرموز في وقت الاستدلال.