ملخص تقني: ECHO – التحسين الهجين للإنتروبيا والثقة لتعلم التعزيز في وقت الاختبار

1. بيان المشكلة

يهدف تعلم التعزيز في وقت الاختبار (TTRL) إلى تحسين قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs) من خلال التحسين بناءً على إشارات التغذية الراجعة الذاتية المتولدة أثناء الاستدلال، دون الحاجة إلى تسميات خارجية بشرية. يتضمن نموذج شائع لـ TTRL توليد حلول متعددة مرشحة، وبناء تسمات زائف (pseudo-labels) عبر التصويت بالأغلبية، وإجراء تحديثات السياسة عبر الإنترنت (online policy updates).

بينما قدمت التطورات الأخيرة أساليب تعتمد على التدفقات الشجرية (مثل ETMR) لتحسين كفاءة أخذ العينات عبر مشاركة مقدمات الاستدلال والتفرع عند عقد رئيسية، يحدد هذا البحث نمطين حرجين للفشل في النهج الحالي:

1. انهيار التدفق (Rollout Collapse) بسبب التفرع عالي الإنتروبيا: في عمليات البحث القائمة على الإنتروبيا، غالبًا ما تُستهلك ميزانية التفرع بشكل غير متناسب من قبل مسارات قليلة تحتوي على مقاطع متتالية ذات إنتروبيا عالية. يؤدي هذا إلى "انهيار التدفق"، حيث تتدهور شجرة البحث إلى هيكل يشبه السلسلة بمسارات تفرع فعالة محدودة، مما يقلل من تغطية الاستكشاف ويجعل إشارات التعلم متجانسة بشكل مفرط.
2. الإفراط في التخصيص المعزز ذاتيًا بسبب انحياز التسمية الزائفة المبكر: في المراحل الأولى من التدريب، تكون المكافآت الزائفة المستمدة من التصويت بالأغلبية مشوشة ومنحازة. يمكن أن يتسبب ذلك في تقارب السياسة مبكرًا نحو حلول "عالية الدرجات" ولكنها خاطئة محليًا. تؤدي حلقة التغذية الراجعة الناتجة إلى تشديد توزيع المخرجات (انخفاض الإنتروبيا)، وتثبيط الاستكشاف، مما يؤدي في النهاية إلى الإفراط في التخصيص (overfitting)، وهو ما يقيد التعميم والأداء في المراحل اللاحقة.

2. المنهجية: ECHO

يقترح المؤلفون تحسين مجموعة السياسة النسبي الهجين للإنتروبيا والثقة (ECHO)، وهو إطار عمل مصمم لتنظيم عدم اليقين والثقة بشكل مشترك خلال مرحلتي التدفق وتحديث السياسة.

2.1 التدفق الشجري الموجه بالإنتروبيا والثقة

يستبدل ECHO التفرع القائم على الإنتروبيا فقط بآلية جدولة هجينة تتحكم تكيفيًا في عرض التفرع ($B_t$) بناءً على إشارتين:

• إنتروبيا الرمز المحلية ($H_t$): تقيس عدم اليقين في توزيع الرمز الحالي.
• الثقة على مستوى المجموعة ($C^G_t$): تجمع درجات الثقة عبر عمليات تدفق متعددة لنفس المطالبة (prompt).

يتم حساب عرض التفرع كدالة للإنتروبيا والثقة المعيرة:
$$B_t = \text{clip}\left(\text{round}\left(B_{\min} + \alpha_B \frac{H_t - H_{\text{low}}}{H_{\text{high}} - H_{\text{low}}} - \beta_B \frac{C^G_t - s_{\text{branch}}}{|s_{\text{branch}}|}\right), B_{\min}, B_{\max}\right)$$

• التوازن التكيفي: يؤدي الجمع بين الإنتروبيا العالية والثقة المنخفضة إلى تحفيز التفرع الأوسع لتشجيع الاستكشاف. وعلى العكس من ذلك، فإن الإنتروبيا العالية مع الثقة العالية تثبط التفرع المفرط لتجنب "فخاخ الإنتروبيا العالية".
• التقليم عبر الإنترنت (Online Pruning): لمنع البحث من العلوق في مناطق غير يقينية باستمرار، يستخدم ECHO ثلاثة معايير للتقليم بناءً على نافذة منزلقة من تغيرات الثقة والإنتروبيا:
  1. تقليم الثقة المنخفضة: ينهي الفروع التي تنخفض فيها الحد الأدنى للثقة الجماعية عن عتبة تكيفية.
  2. تقليم تراجع الذيل: يقطع الفروع التي تظهر انخفاضًا مستمرًا في ثقة الذيل (tail confidence).
  3. تقليم طفرة الإنتروبيا: يزيل الفروع التي تظهر طفرات متتالية في زيادات الإنتروبيا.

2.2 التقطيع المتكيف مع الثقة (Confidence-Adaptive Clipping)

للتخفيف من تأثير التسميات الزائفة المشوشة أثناء تحديثات السياسة، يقدم ECHO منطقة ثقة تكيفية. بدلاً من نصف قطر التقطيع الثابت ($\epsilon$)، يتم تعديل نصف القطر ديناميكيًا بناءً على ثقة الذيل للمسار ($C^{\text{tail}}(o_i)$):
$$\epsilon(o_i) = \epsilon_{\min} + (\epsilon_{\max} - \epsilon_{\min}) \sigma(\kappa(1 - C^{\text{tail}}(o_i)))$$

• الآلية: المسارات عالية الثقة تتلقى منطقة ثقة أضيق ($\epsilon \approx \epsilon_{\min}$)، مما يمنع هيمنة التحديثات ذات المكافآت العالية الزائفة. أما المسارات منخفضة الثقة فتتلقى منطقة أوسع ($\epsilon \approx \epsilon_{\max}$)، مما يسمح بتحديثات أكثر استكشافًا ويمنع انهيار الإنتروبيا المبكر.

2.3 تشكيل الميزة الهجين للإنتروبيا والثقة

يعدل ECHO ميزة "تحسين مجموعة السياسة النسبي" (GRPO) القياسية عبر تشكيلها على مستوى الرمز للتركيز على الخطوات غير اليقينية ولكنها حاسمة في اتخاذ القرار.

• الميزة الهجين ($A^{\text{hyb}}_{i,t}$): يتم قياس ميزة المسار المعيرة للمجموعة ($A^{\text{grp}}_{g,i}$) بواسطة إشارة تشكيل ($S_{i,t}$) تجمع بين إنتروبيا الرمز وانعكاس الثقة:
  $$A^{\text{hyb}}_{i,t} = A^{\text{grp}}_{g,i} (1 + a S_{i,t}), \quad \text{حيث } S_{i,t} = \alpha H_{i,t} + \beta (1 - C_{i,t})$$
• الأثر: يعيد هذا التوزيع كتلة التدرج (gradient mass) نحو الرموز المعلوماتية ولكن غير اليقينية، مما يشجع النموذج على حل الغموض بدلاً من الإفراط في التخصيض للمسارات الواثقة ولكنها قد تكون خاطئة.

3. المساهمات الرئيسية

1. إطار عمل ECHO: اقتراح إطار عمل موحد ينظم بشكل مشترك الإنتروبيا المحلية والثقة على مستوى المجموعة أثناء التدفق عبر الوزن التكيفي، مقترنًا بالتقليم عبر الإنترنت بناءً على نافذة منزلقة لعتبات الكميات (quantile thresholds).
2. آلية تحديث مبتكرة: تقديم التقطيع المتكيف مع الثقة وتشكيل الميزة المشترك للإنتروبيا والثقة. يقلل هذا التصميم من تأثير التسميات الزائفة المشوشة، ويعزز التعلم من الرموز في المسارات الفعالة ولكن منخفضة الثقة، ويخفف من الإفراط في التخصيص الناجم عن الانحياز المبكر.
3. التحقق التجريبي: تجارب واسعة النطاق تظهر مكاسب متسقة عبر اختبارات الاستدلال اللغوي والطبيعي والمتعدد الوسائط، مما يظهر قوة الطريقة تحت ميزانيات تدفق محدودة وتوزيعات تدريب متنوعة.

4. النتائج التجريبية

يقيم البحث ECHO على مجموعة من اختبارات الاستدلال اللغوي والمتعدد الوسائط، بما في ذلك AIME2024/2025، AMC، MATH-500، GPQA، وبيانات متعددة الوسائط مثل MathVision، MathVerse، وLogicVista.

• مكاسب الأداء: يتفوق ECHO باستمرار على النماذج المرجعية القوية (TTRL, ETMR, EVOL-RL, INTUITOR) عبر نماذج خلفية مختلفة (Qwen2.5-7B, Qwen3-8B, LLaMA-3-8B).
  • في اختبارات اللغة الطبيعية، يحقق ECHO مكاسب متوسطة تتراوح بين 0.63%–12.36% في دقة pass@16.
  • في الاختبارات متعددة الوسائط، يحسن pass@1 بنسبة تتراوح بين 2.6%–4.1% في المتوسط، مع مكاسب نسبية تصل إلى 12.8% في المهام الصعبة مثل LogicVista.
• القوة (Robustness): تظهر الطريقة فعاليتها حتى في ظروف IID الصارمة (التدريب والاختبار على نفس مجموعة البيانات)، مما يزيد متوسط الدقة بنسبة 4.01%–8.88%.
• دراسات الاستئصال (Ablation Studies): يؤدي إزالة أي من المكونات الثلاثة الأساسية (EC-Tree, CA-Clip, E-SC Adv) إلى تدهور الأداء. ومن الجدير بالذكر أن إزالة التقطيع المتكيف مع الثقة (CA-Clip) تسبب انخفاضًا حادًا في الاختبارات الصعبة (على سبيل المثال، تنخفض دقة AIME2025 pass@16 من 54.3 إلى 30.1)، مما يبرز دوره في كبح الانحياز المبكر.
• تحليل التنوع: تظهر رؤية مسارات التدفق أن ECHO يخفف من "انهيار الإنتروبيا العالية" الذي تظهره الطرق القائمة على الإنتروبيا فقط، مما ينتج عنه تخصيص أكثر توازنًا لميزانية التفرع عبر مسارات متنوعة.

5. الأهمية والادعاءات

يدعي البحث أن ECHO يعالج المقايضة الأساسية بين الاستكشاف والاستغلال في تعلم التعزيز في وقت الاختبار دون إشراف خارجي. من خلال نمذجة الإنتروبيا والثقة معًا، يقوم النهج بـ:

• منع تدهور البحث: يتجنب انهيار عمليات البحث الشجرية إلى تدفقات شبيهة بالسلاسل عبر تقليم الفروع غير المنتجة عالية الإنتروبيا ديناميكيًا.
• استقرار التعلم: يخفف من الإفراط في التخصي المعزز ذاتيًا الناتج عن التسميات الزائفة المشوشة مبكرًا من خلال مناطق الثقة التكيفية وتشكيل الميزة.
• التعميم بفعالية: يقدم النهج تحسينات قوية عبر مهام الاستدلال النصية والمتعددة الوسائط، مما يشير إلى أن موازنة عدم اليقين والثقة عامل حاسم لنماذج الاستدلال ذاتية التحسين.

يخلص المؤلفون إلى أن ECHO يوفر إطار عمل قويًا لموازنة الاستكشاف والاستقرار، مما يمكّن النماذج من تحسين قدراتها الاستدلالية بفعالية حتى عندما يتغير توزيع بيانات التدريب أو عندما لا تتوفر تسميات خارجية.