ملخص تقني: TRE: تشجيع الاستكشاف في منطقة الثقة

بيان المشكلة

بينما تُعد تنظيمات الإنتروبيا (Entropy Regularization) تقنية قياسية في التعلم المعزز (RL) لمنع التقارب المبكر وتشجيعه على الاستكشاف، يحدد البحث أن تطبيقها المباشر على النماذج اللغوية الكبيرة (LLMs) غالبًا ما يؤدي إلى فوائد ضئيلة أو يؤدي فعليًا إلى تدهور الأداء. ويعزو المؤلفون هذا الفشل إلى مخاطر الذيل التراكمية (Cumulative Tail Risk) المتأصلة في النماذج اللغبية الكبيرة، والتي تتميز بقواميس لغوية ضخمة وآفاق توليد طويلة.

في بيئات التعلم المعزز التقليدية (مثل الروبوتات)، تكون الإجراءات الصالحة كثيفة، وغالبًا ما يظل الاستكشاف العشوائي ضمن فضاء حالة صالح. وعلى العكس من ذلك، في توليد النصوص عبر النماذج اللغبية الكبيرة، تشكل الرموز (Tokens) الصالحة منطوًى (Manifold) نادر الوجود ضمن قاموس هائل (حوالي 150,000 رمز). إن تعظيم الإنتروبيا العالمي القياسي يعمل بشكل غير مدروس على تسطيح توزيع الاحتمالات، مما ينقل الكتلة الاحتمالية من المرشحات المنطقية إلى "الذيل الثقيل" للرموز غير الصالحة نحويًا أو منطقيًا. وبينما يكون الضجيج الناتج عند خطوة واحدة ضئيلًا، إلا أنه يتراكم بشكل أسي عبر تسلسلات التوليد الطويلة. هذا التراكم يعطل تماسك استدلال "سلسلة الأفكام" (Chain-of-Thought - CoT)، مما يجعل الحفاظ على مسار استدلال صالح أمرًا مستحيلاً إحصائيًا مع امتداد أفق التوليد.

المنهجية: إنتروبيا منطقة الثقة (TRE)

لمعالجة عدم التطابق في الأبعاد بين تعظيم الإنتروبيا العالمي والطبيعة النادرة لتوليد اللغة، يقترح المؤلفون إنتروبيا منطقة الثقة (Trust Region Entropy - TRE). تهدف هذه الطريقة إلى قصر الاستكشاف حصريًا على "منطقة ثقة" — وهي مجموعة الرموز التي يعتبرها النموذج المدرب مسبقًا منطقية بالفعل.

الآلية الجوهرية

بدلاً من تعظيم الإنتروبيا على كامل القاموس $A$، تعمل TRE على تعظيم الإنتروبيا محليًا داخل منطقة ثقة $\mathcal{A}_{TR}(s_t) \subset A$. يضمن ذلك حدوث الاستكشاف فقط بين المرشحين ذوي الثقة العالية، مما يمنع تسرب الاحتمالات إلى الرموز غير الصالحة.

يتم تعريف منطقة الثقة عبر استراتيجيتين رئيسيتتين:

1. TRE-K (القائمة على الحجم): تتكون منطقة الثقة من أعلى $K$ رموز تمتلك أعلى قيم (Logits) عند الخطوة $t$. وهذا يفرض حجم منطقة ثابت.
2. TRE-P (القائمة على النواة/Nucleus): هي أصغر مجموعة من الرموز التي تصل كتلتها الاحتمالية التراكمية إلى عتبة $P$ (على سبيل المثال، 0.99). وهذا يخلق حجم منطقة ديناميكي يتكيف مع ثقة النموذج.

صياغة الخسارة (Loss Formulation)

يتم حساب خسارة $L_{TRE,t}$ عبر:

1. استخراج الـ (Logits) للرموز الموجودة في منطقة الثقة.
2. حساب التوزيع الاحتمالي المحلي $\pi_{local}$ عبر دالة (Softmax) فوق هذه الرموز فقط.
3. حساب الإنتروبيا المحلية $H(\pi_{local})$.
4. تطبيق عامل قياس $\gamma = \frac{\log |A|}{\log |\mathcal{A}_{TR}|}$ لمواءمة حجم التنظيم مع مقياس إنتروبيا القاموس الكامل.

تجمع دالة الهدف النهائية بين الخسارة البديلة القياسية (مثل PPO) مع خسارة TRE الموزونة:
$$L_{total,t}(\theta) = L_{surr,t}(\theta) + \alpha L_{TRE,t}(\theta)$$

المساهمات الرئيسية

1. التحليل التجريبي لأنماط الفشل: يقدم البحث تحليلًا مفصلاً يوضح أن تنظيم الإنتروبيا القياسي يضر بالاستدلال في التوليد طويل الأمد. وتظهر التجارب أنه بينما قد يساعد التنظيم الطفيف في السياقات القصيرة، فإنه يسبب انهيارًا في الأداء مع امتداد ميزانية التوليد، وذلك بسبب تراكم مخاطر الذيل.
2. اقتراح إنتروبيا منطقة الثقة (TRE): إطار عمل تنظيمي مبتكر يشجع الاستكشاف حصريًا داخل منطقة ثقة عالية الثقة، مما يحافظ على تماسك الاستدلال مع الحفاظ على التنوع.
3. التقييم الشامل: أظهرت التجارب المكثفة عبر مهام الاستدلال الرياضي (MATH)، والبحث التوافقي (Countdown)، ومحاذاة التفضيلات (HH) أن TRE يتفوق باستمرار على PPO التقليدي، وتنظيم الإنتروبيا القياسي، وغيرها من قواعد الاستكشاف المتطورة (مثل Forking-Tokens و KL-Cov).

النتائج التجريبية

قيم المؤلفون TRE باستخدام نماذج Qwen2.5-1.5B-Instruct و Qwen2.5-7B-Instruct.

• مكاسب الأداء: حققت TRE (تحديدًا نسخة TRE-P) أفضل النتائج في 5 من أصل 6 فئات تقييم.
  • MATH (1.5B): حققت TRE-P نسبة Pass@1 بلغت 58.28%، متفوقة على Vanilla PPO (57.04%) وعلى قاعدة KL-Cov القوية (58.23%).
  • Countdown (1.5B): وصلت TRE-P إلى 66.96% في Pass@1، بزيادة قدرها +2.84% عن Vanilla، متفوقة بشكل ملحوظ على KL-Cov (+2.38%).
  • HH (1.5B): أظهرت TRE-P مكسبًا في المكافأة قدره +0.6364، وهو ما يعادل تقريبًا 4.1 ضعف المكسب الذي حققته KL-Cov (+0.1531).
• القابلية للتوسع: كانت التحسينات متسقة عبر مقياس نموذج 7B، حيث أظهرت TRE-P مكاسب أكبر بمقدار مرتين إلى 3 مرات من KL-Cov في مهام المحاذاة والبحث.
• ديناميكيات السياسة (Policy Dynamics): كشف تحليل متوسط ذروة الاحتمالية ($\bar{P}_{max}$) أن PPO القياسي يتشبع بسرعة (يصبح مفرط الثقة)، بينما تحافظ TRE على مستوى ثقة أقل وأكثر تنوعًا. هذا يمنع "الانهيار" نحو المسارات الحتمية، لا سيما في مهام الاستدلال.
• الحساسية للمعلمات الفائقة (Hyperparameter Sensitivity):
  • TRE-K: لوحظ الأداء الأمثل عند $K=2$. القيم الأكبر لـ $K$ أعادت إدخال الضجيج، مما أدى لتدهور الأداء.
  • TRE-P: كانت العتبة $P=0.99$ هي المثلى. كانت $P=0.9$ مقيدة للغاية، بينما $P=0.999$ تضمنت رموز الذيل غير الصالحة، مما قلل الدرجات.

الأهمية والادعاءات

يدعي البحث أن فشل تنظيم الإنتروبيا القياسي في النماذج اللغبية الكبيرة ليس خللًا في مفهوم الاستكشاف، بل هو عدم تطابق في نطاق ذلك الاستكشاف. ومن خلال حصر الاستكشاف داخل منطقة ثقة من الرموز المنطقية، تخفف TRE بفعالية من مخاطر الذيل التراكمية التي تعطل الاستدلال طويل الأمد.

يضع المؤلفون TRE كحل قوي وقابل للتوسع لمحاذاة النماذج اللغبية الكبيرة، خاصة للمهام التي تتطلب استدلالًا معقدًا وتوليدًا طويل السياق. ويشيرون إلى أنه بينما تتوسع TRE بفعالية حتى 7 مليار معلمة، فإن سلوكها على النماذج الضخمة والآفاق فائقة الطول (مثل 128k+ رمز) يظل مجالًا للبحث المستقبلي. يشير العمل إلى أن الاستكشاف المحلي المهيكل يتفوق على التوحيد العالمي في الحفاظ على سلامة سلاسل الاستدلال التوليدي.