💬 NLP

EAGer: Entropy-Aware GEneRation for Adaptive Inference-Time Scaling

تُعد EAGer طريقةً لتوسيع نطاق الاستدلال أثناء وقت الاستنتاج، وهي خالية من التدريب ومعتمدة على الإنتروبيا، حيث تقوم بتخصيص الموارد الحسابية ديناميكيًا عبر تفرع مسارات الاستدلال فقط عند الرموز ذات عدم اليقين العالي، مما يقلل من استخدام الرموز بنسبة تصل إلى 64% مع تحسين أداء Pass@k بشكل كبير في اختبارات الاستدلال المعقدة.

المؤلفون الأصليون: Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يقدم اختبار رياضيات لفصل من طلاب الذكاء الاصطناي. الهدف هو الحصول على الإجابة الصحيحة.

تقليديًا، لضمان حصول الذكاء الاصطناعي على الإجابة الصحيحة، تقول له: "لا تعطني إجابة واحدة فقط. اكتب 32 حلاً مختلفاً لكل سؤال، بغض النظر عن سهولة أو صعوبة السؤال". ثم تنظر إلى جميع الإجابات الـ 32 وتختار الأفضل بينها.

هذا ما يسمى أخذ العينات المتوازي الكامل (Full Parallel Sampling). وهو يعمل، لكنه يهدر الموارد بشكل هائل.

المشكلة: إذا كان السؤال بسيطاً (مثل "2+2=?")، فمن المرجح أن يكتب الذكاء الاصطناعي نفس الإجابة تماماً 32 مرة. لقد أهدرت 31 مجموعة من القدرات الذهنية في سؤال لم يكن يحتاج إلا لإجابة واحدة.
التكلفة: هذا يستهلك كمية هائلة من الكهرباء ووقت الكمبيوتر، خاصة عندما يعلق الذكاء الاصطناعي في مسألة صعبة حقاً ويحتاج لتجربة مسارات عديدة للوصول إلى الحل.

مرحباً بـ EAGER: المعلم الذكي والمتكيف

تقدم الورقة البحثية EAGER (الإنتاج القائم على مراقبة الاعتلال - Entropy-Aware GEneRation). فكر في EAGER كمعلم ذكي يراقب "مقياس الثقة" لدى الذكاء الاصطناعي أثناء تفكيره.

إليك كيف يعمل EAGER، باستخدام تشبيه بسيط:

1. مقياس الثقة (الاعتلال - Entropy)

تخيل أن الذكاء الاصطناعي يسير في متاهة.

اعتلال منخفض (ثقة عالية): الذكاء الاصطناعي يسير في ممر مستقيم ومضاء جيداً. إنه يعرف بالضبط أي طريق يسلك. إنه يقول: "أنا متأكد من أن هذا هو المسار".
اعتلال مرتفع (ثقة منخفضة): يصطدم الذكاء الاصطناعي بتفرع في الطريق يغطيه الضباب. إنه غير متأكد من أي اتجاه يسلك. إنه يقول: "هممم، يمكنني الذهاب يساراً، أو ربما يميناً؟ لست متأكداً".

2. الاستراتيجية: التفرع فقط عند التعثر

بدلاً من كتابة 32 إجابة بشكل أعمى، يخبر EAGER الذكاء الاصطناعي بما يلي:

عندما يكون الذكاء الاصطناعي واثقاً (اعتلال منخفض): "استمر في السير بخط مستقيم. لا تضيع الوقت في تجربة مسارات جديدة. فقط أكمل هذه الجملة".
عندما يكون الذكاء الاصطناعي مرتبكاً (اعتلال مرتفع): "توقف! هذه نقطة صعبة. دعنا نتفرع. أنشئ عدة نسخ جديدة من الإجابة هنا لاستكشاف الاحتمالات المختلفة".

هذا يشبه محققاً يحل جريمة. إذا كانت الأدلة واضحة، فهو لا يحتاج للتحقيق في كل زقاق. ولكن عندما يصطدم بدليل مربك، ينقسم فجأة ويرسل عدة محققين في شوارع مختلفة ليروا ما سيجدونه.

3. خدعة "الميزانية"

تذكر الورقة البحثية وجود "ميزانية" لقدرة الكمبيوتر.

الطريقة القديمة: إنفاق الميزانية كاملة على كل سؤال، حتى السهلة منها.
طريقة EAGER: لأن EAGER يتخطى العمل غير الضروري في الأسئلة الساسية، فإنه يوفر جزءاً ضخماً من ميزانيته.
إعادة التخصيص: يأخذ EAGER تلك الطاقة الموفرة ويعطيها للأسئلة الصعبة. إذا كان السؤال صعباً حقاً، يستخدم EAGER الطاقة "الموفرة" ليتيح للذكاء الاصطناعي تجربة مسارات أكثر من المعتاد، وتحديداً في الأماكن التي من المرجح أن يتعثر فيها.

ماذا وجدوا؟

اختبر الباحثون ذلك على مسائل صعبة في الرياضيات والعلوم والبرمجة باستخدام نماذج ذكاء اصطناعي متنوعة. إليك النتائج بلغة بسيطة:

أسرع وأرخص: استهلك EAGER كلمات (tokens) أقل بنسبة تصل إلى 64% لإنتاج الإجابات مقارنة بالطريقة القديمة. وهذا يعني أنه يوفر كمية هائلة من طاقة الكمبيوتر.
أكثر ذكاءً: على الرغم من استخدامه طاقة أقل، إلا أنه حقق في الواقع إجابات صحيحة أكثر.
- في حالة تمكن فيها الذكاء الاصطناعي من مراجعة عمله (مثل اختبار رياضيات مع نموذج إجابة)، فقد حسّن معدل النجاح بنسبة 37%.
- حتى بدون نموذج إجابة (مجرد تخمين)، ظل معدل النجاح يتحسن بنسبة 12%.
يعمل في كل مكان: عمل بشكل جيد مع نماذج الذكاء الاصطناعي الصغيرة والكبيرة، وفي مهام الرياضيات والعلوم والبرمجة.

الخلاصة

Eager هي طريقة "خالية من إعادة التدريب" (training-free)، مما يعني أنك لا تحتاج لإعادة تعليم الذكاء الاصطناي كيفية التفكير. أنت فقط تعطيه مجموعة جديدة من القواعد لـ متى يحاول تجربة مسارات متعددة.

ملخص التشبيه:
إذا كانت الطريقة القديمة تشبه إرسال 32 نسخة متطابقة من المستنسخين لحل كل لغز، فإن EAGER يشبه إرسال مستكشف ذكي واحد ينقسم فقط إلى عدة نسخ عندما يصبح الطريق ضبابياً ومربكاً. هذا يوفر الطاقة في الأجزاء السهلة ويركز كل تلك الطاقة الإضافية على الأجزاء الصعبة، مما يؤدي إلى نتائج أفضل مع هدر أقل.

ملخص تقني: EAGER – التوليد المدرك للإنتروبيا من أجل التوسع التكيفي أثناء الاستدلال

1. بيان المشكلة

أدى صعود نماذج اللغة القائمة على الاستدلال (LLMs) وطرق التوسع في وقت الاختبار (test-time scaling) إلى ترسيخ نموذج جديد حيث يؤدي توليد عدة تسلسلات مرشحة من مطالبة واحدة (prompt) إلى تحسين الأداء عبر استكشاف مسارات استدلال متنوعة. ومع ذلك، فإن الأساليب القياسية مثل العينات المتوازية الكاملة (FULL PARALLEL sampling) تخصص ميزانية حوسبة ثابتة (عدد ثابت من التسلسلات، $M$ ) لكل مطالبة، بغض النظر عن درجة صعوبتها.

هذا التخصيص الموحد يؤدي إلى عدم كفاءة متأصلة:

الحوسبة الزائدة عن الحاجة: بالنسبة للمطالبات البسيطة، غالبًا ما تتقارب تسلسلات الاستدلال نحو حلول متطابقة أو شبه متطابقة. إن إعادة توليد البادئات (prefixes) المتطابقة عبر مسارات متوازية متعددة يهدر موارد الحوسبة.
الاستكشاف غير الكافي: بالنسبة للمطالبات المعقدة، قد تكون الميزانية الثابتة غير كافية لاكتشاف الحل الصحيح، حيث يتطلب النموذج استكشافًا أكثر توسعًا لمسارات الاستدلال البديلة.
عدم الكفاءة في سلاسل التفكير الطويلة (Long CoT): تسلسلات الاستدلال طويلة، ويشكل جزء كبير من الرموز (tokens) المولدة استمرارًا يمكن التنبؤ به بدلاً من كونها نقاط قرار حقيقية.

تتمثل المشكلة الجوهرية في غياب آلية تكيفية لتخصيص موارد الحوسبة بناءً على عدم اليقين وصعوبة كل مطالبة أثناء عملية التوليد.

2. المنهجية: EAGER

يقترح المؤلفون EAGER (التوليد المدرك للإنتروبيا)، وهي طريقة توليد خالية من التدريب تستفيد من عدم يقين النموذج، والذي يُقاس عبر إنتروبيا الرموز (token-wise entropy)، لتوجيه تخصيص الموارد ديناميكيًا. تعمل هذه الطريقة عبر مرحلتين:

2.1. قياس عدم اليقين عبر إنتروبيا الرموز

يستخدم EAGER إنتروبيا الـ $K$ الأفضل (top- $K$ token entropy) كوكيل لعدم يقين النموذج. عند كل خطوة توليد $t$ ، يتم حساب الإنتروبيا $H^{(K)}_t$ عبر أكثر $K$ رمز احتمالاً (حيث $K=20$ ).

الإنتروبيا العالية: تشير إلى عدم يقين عالٍ ونقطة قرار محتملة حيث تكون مسارات الاستدلال المتعددة معقولة.
الإنتروبيا المنخفضة: تشير إلى ثقة عالية واستمرارية يمكن التنبؤ بها.
الارتباط: يكشف التحليل التجريبي (الشكل 2) عن وجود ارتباط سلبي كبير ( $\rho \approx -0.55$ ) بين ذروة إنتروبيا الرموز أثناء التوليد ومعدل النجاح (Pass Rate) النهائي. ترتبط ذروات الإنتروبيا العالية بانخفاض الأداء، مما يشير إلى أن هذه لحظات حرجة تتطلب استكشافًا إضافيًا.

2.2. المرحلة الأولى: EAGER-init (توفير الحوسبة)

تقوم EAGER-init بتعديل عملية التوليد لتجنب الحوسبة الزائدة عن الحاجة:

التفرع الديناميكي: بدلاً من توليد $M$ من التسلسلات المستقلة من البداية، تبدأ EAGER-init بتسلسل واحد.
منطق العتبة: عند كل خطوة رمز، إذا تجاوزت الإنتروبيا $H^{(K)}_t$ عتبة محددة مسبقًا $\theta$ ، يتفرع التسلسل الحالي إلى مرشحين جديدين. يعيد النموذج استخدام توزيع الرموز ولكن يختار أكثر رمزين احتمالية لضمان التباين.
إعادة استخدام البادئة: إذا كانت الإنتروبيا أقل من $\theta$ ، يستمر التوليد بشكل خطي. ومن الأهمية بمكان أن الرموز المولدة قبل نقطة التفرع يتم مشاركتها عبر جميع الفروع اللاحقة، مما يلغي الحاجة إلى إعادة توليد البادئات المتطابقة.
الإنهاء: يستمر التفرع حتى يصل إجمالي التسلسلات النشطة إلى الحد الأقصى $M$ . بالنسبة للمطالبات السهلة، قد تنتهي العملية بعدد أقل بكثير من $M$ من التسلسلات، مما يوفر حوسبة كبيرة.

2.3. المرحلة الثانية: EAGER-adapt و Full EAGER (إعادة تخصيص الميزانية)

يتم إعادة تخصيص ميزحة الحوسبة التي وفرتها EAGER-init (الفرق بين الحد الأقصى النظري $M \times |D|$ والتسلسلات الفعلية المولدة) لتحسين الأداء في المطالبات الصعبة. تم تحديد استراتيجيتين بناءً على توفر الملصقات (labels):

EAGER-adapt (وقت الاختبار، بدون ملصقات): في حالة عدم وجود حقيقة أرضية (ground truth)، تحدد الطريقة "المطالبات المشبعة" (saturating prompts)—وهي المطالبات التي تصل إلى سقف $M$ تسلسل أثناء EAGER-init. تُعتبر هذه المطالبات صعبة. يتم إعادة تخصيص الميزانية الموفرة لهذه المطالبات للسماح بمزيد من الاستكشاف.
Full EAGER (التدريب/RLVR، مع ملصقات): عندما تتوفر الملصقات المستهدفة (على سبيل المثال، في خطوط أنابيب التعلم المعزز بالمكافآت القابلة للتحقق - RLVR)، تحدد الطريقة المطالبات التي فشلت فيها EAGER-init في إنتاج حل صحيح (Pass@k = 0). يتم إعادة تخصيص الميزانية الموفرة لهذه المطالبات الفاشلة تحديدًا.
- للمطالبات غير المستغلة بشكل كافٍ، يتم خفض عتبة الإنتروبيا $\theta$ لتشجيع التفرع المبكر.
- للمطالبات المشبعة، يتم تمديد حد التوليد إلى $M + b_i$ (حيث $b_i$ هي الميزانية المخصصة).

3. المساهمات الرئيسية

التحقق التجريبي من الإنتروبيا كوكيل: تثبت الورقة أن ذروات إنتروبيا الرموز تعمل كمؤشر آني فعال لصعوبة المطالبة والحاجة إلى الاستكشاف، حيث تظهر ارتباطًا سلبيًا قويًا مع معدل نجاح النموذج (Pass Rate).
فك ترميز تكيفي خالٍ من التدريب: تقدم EAGER طريقة فك ترميز مبتكرة تقلل تكاليف الحوسبة ديناميكيًا (بنسبة تصل إلى 65% من الرموز) مع الحفاظ على فوائد التوسع في وقت الاستدلال أو تحسينها.
تخصيص الميزانية التكيفي: يوضح العمل أن إعادة تخصيص الحوسبة الموفرة من المطالبات السهلة إلى المطالبات الصعبة يعظم فائدة التوسع في وقت الاستد، مما يحقق مكاسب في الأداء دون زيادة إجمالي ميزانية الحوسبة.

4. النتائج التجريبية

قيم المؤلفون EAGER عبر نماذج متعددة مفتوحة المصدر (من 3 مليار إلى 20 مليار معلمة) وبمجموعات بيانات متنوعة (الرياضيات: AIME 2024/2025، HMMT 2025؛ العلوم: GPQA-Diamond؛ البرمجة: HumanEval Plus).

الكفاءة: قللت EAGER-init استهلاك الرموز باستمرار بنسبة 40% إلى 80% مقارنة بالعينة المتوازية الكاملة. في كثير من الحالات، كان إجمالي عدد الرموز أقل من نصف الخط المرجعي.
الأداء (مع الملصقات): في الإعدادات التي تتوفر فيها الملصقات المستهدفة (محاكاة خطوط أنابيب RLVR)، حققت Full EAGER تحسنًا يصل إلى +37% في Pass@k على AIME 2025 مع استخدام 59% أقل من الرموز.
الأداء (وقت الاختبار): في إعدادات وقت الاختبار بدون ملصقات، حققت EAGER-adapt تحسنًا بنسبة +12% في Pass@k و 64% أقل من الرموز مقارنة بالخط المرجعي.
المتانة: أظهرت الطريقة تحسينات متسقة عبر أحجام النماذج والمجالات المختلفة. وُجد أن عتبة الإنتروبيا $\theta$ متينة، حيث تتطلب فقط مجموعة معايرة صغيرة (10 أمثلة) للتعميم عبر المهام خارج التوزيع (out-of-distribution).
جبهة باريتو (Pareto Frontier): أظهر توسيع حد التسلسل الأقصى $M$ أن EAGER ينقل جبهة الكفاءة والأداء (Pareto frontier)، محققًا دقة أعلى بتكاليف رموز أقل مقارنة بأخذ العينات ذات الميزانية الثابتة.

5. الأهمية والادعاءات

تدعي الورقة أن EAGER تعالج عدم كفاءة جوهري في نماذج التوسع الحالية في وقت الاختبار: التخصيص "الذي يناسب الجميع". من خلال ربط استراتيجية التوليد بعدم يقين النموذج، تقوم EAGER بـ:

تقليل التكرار: تتجنب إعادة توليد البادئات ذات الإنتروبيا المنخفضة والمتوقعة، والتي تشكل جزءًا كبيرًا من سلاسل التفكير الطويلة (CoT).
تعزيز الاستكشاف: توجه موارد الحوسبة نحو مناطق عدم اليقين العالية حيث من المحتمل أن يفشل النموذج أو حيث تكون مسارات الاستدلال المتنوعة ضرورية.
خفض الحواجز: من خلال تقليل التكلفة الحوسبية لتوليد آثار استدلال عالية الجودة بشكل كبير، تجعل EAGER قدرات الاستدلال المتقدمة أكثر سهولة في الوصول للباحثين والممارسين ذوي ميزانيات الحوسبة المحدودة.
كفاءة الطاقة: يترجم تقليل توليد الرموز مباشرة إلى انخفاض في تكاليف الطاقة والبنية التحتية المرتبطة بأعباء عمل التوسع في وقت الاستدلال.

يضع المؤلفون EAGER ليس كتغيير في بنية النموذج، بل كطبقة توليد عامة وخالية من التدريب يمكن تطبيقها على نماذج الاستدلال الحالية لتحسين كفاءتها وفعاليتها.