Breaking the Capability Ceiling of LLM Post-Training by Reintroducing Markov States

إليك ملخص تقني مفصل لورقة البحث بعنوان: "كسر سقف القدرات في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة عبر إعادة إدخال حالات ماركوف".

1. بيان المشكلة

تتناول الورقة البحثية "سقف القدرات" المستمر الملحوظ في التعلم التعزيزي (RL) لمرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs). فبينما تعمل أنظمة التعلم التعزيزي الكلاسيكية (مثل AlphaZero) كمحركات اكتشاف قادرة على إيجاد استراتيجيات جديدة، فإن التعلم التعزيزي للنماذج اللغوية الكبيرة يعمل غالباً كمجرد محسن للأنماط الموجودة بالفعل في الأوزان المدربة مسبقاً، ويفشل في توسيع مساحة الحلول بشكل كبير.

يحدد المؤلفون السبب الجذري في وجود عنق زجاجة هيكلي في صياغات النماذج اللغوية الكبيرة الحالية:

• النموذج الحالي (التاريخ كحالة): يتم التعامل مع النماذج اللغوية الكبيرة عادةً كوكلاء حيث تُعرف "الحالة" بأنها دمج لجميع الإجراءات السابقة (الرموز/Tokens). يؤدي هذا إلى تسلسل تاريخي متوسع باستمرار ومليء بالضجيج.
• المحدودية النظرية: هذه الصياغة تجبر الوكيل على التعلم عبر مساحة إجراءات-تاريخ هائلة. تشير التحليلات النظرية (بالإشارة إلى Foster et al., 2025) إلى أن اكتشاف قدرات جديدة في هذه المساحة يتطلب تعقيداً في العينات ينمو أسياً مع الأفق الزمني، مما يجعل الأمر غير قابل للتطبيق حسابياً في مهام الاستدلال المعقدة.
• المكون المفقود: تفتقر مرحلة ما بعد التدريب الحالية للنماذج اللغوية الكبيرة إلى حالات ماركوف صريحة — وهي تمثيلات موجزة تلخص جميع المعلومات الضرورية لاتخاذ القرار الأمثل في المستقبل، مع استبعاد التاريخ غير ذي الصلة.

2. المنهجية

تقترح الورقة البحثية إعادة إدخال حالات ماركوف صريحة في خط معالجة ما بعد التدريب للنماذج اللغوية الكبيرة، والتحول من "التاريخ كحالة" إلى تمثيل ماركوفي مهيكل.

المفهوم الجوهري: تقدير حالة ماركوف

بدلاً من تغذية كامل تاريخ الإجراءات $(a_1, \dots, a_{h-1})$ في النموذج، تقترح الطريقة المقترحة الحفاظ على حالة $s_h$ تلخص التكوين الحالي للبيئة.

• انتقال الحالة: يتم إنشاء حالة جديدة $s_{h+1}$ عبر دمج الحالة الحالية $s_h$ والإجراء $a_h$ من خلال دالة انتقال $P(s_h, a_h)$.
• التنفيذ: يمكن تحقيق دالة الانتقال $P$ عبر:
  1. بيئة خارجية ذات ديناميكيات حقيقية (تُستخدم في التدريب).
  2. آلية قائمة على القواعد.
  3. نموذج تنبؤ بالحالة ($\hat{P}$) يتم تعلمه عبر الضبط الدقيق الخاضع للإشراف (SFT) للتنبؤ بالحالة التالية من الحالة الحالية والإجراء.

الإعداد التجريبي

• المهام: قيم المؤلفون النهج على ثلاث مهام استدلال منطقي اصطناعية ذات هياكل ماركوف محددة جيداً: Sudoku، و Sokoban، و Futoshiki.
• النماذج: استخدموا Qwen3-4B و Qwen2.5-3B-Instruct.
• الخوارزميات:
  • الأساس (تسلسل الإجراءات): تعلم تعزيزي قياسي حيث يكون المدخل هو التسلسل الكامل للرموز.
  • المقترح (ماركوف): تعلم تعزيزي حيث يكون المدخل هو الحالة الصريحة $s_h$ (التي يتم تحديثها بواسطة $\hat{P}$).
  • الأساس الوسيط (تسلسل الحالة-الإجراء): نموذج مشروط بكامل تاريخ الحالات والإجراءات لعزل فائدة خاصية ماركوف مقابل مجرد الوصول إلى الحالة.
• التدريب: خضعت النماذج لتدريب تمهيدي عبر SFT متبوعاً بتعلم تعزيزي باستخدام GRPO (تحسين السياسة النسبي للمجموعات).

կ. المساهمات الرئيسية

1. كسر سقف القدرات:

   • تثبت الورقة أن النماذج التي تستخدم حالات ماركوف صريحة تتفوق باستمرار على حدود الأداء للتعلم التقليدي المعتمد على التاريخ.
   • في المهام الصعبة (مثل Sokoban و Futoshiki)، غالباً ما تستقر نماذج تسلسل الإجراءات عند دقة تقترب من الصفر، بينما تحقق نماذج ماركوف معدلات نجاح عالية.

2. التعميم القوي (خارج التوزيع - OOD):

   • تظهر نماذج ماركوف تعميماً متفوقاً خارج التوزيع (OOD). فهي تنجح في حل الألغاز ذات التعقيد الهيكلي الأعلى وأعماق البحث الأكبر مما واجهته أثناء التدريب، بينما تفشل النماذج القائمة على التاريخ في التعميم خارج توزيع تدريبها.

3. ضمانات كفاءة العينات:

   • الإثبات النظري: يقدم المؤلفون حدوداً نظرية صارمة تظهر أن التعلم الماركوفي يحقق تعقيد عينات أقل بكثير.
   • الآلية: في تعلم تسلسل الإجراءات، تنمو مساحة الحالة أسياً ($O(|A|^H)$)، مما يتطلب تغطية أسية. في التعلم الماركوفي، تنمو مساحة الحالة خطياً ($O(H)$)، مما يقلل من متطلبات التغطية والتباين أسياً.
   • المقايضة: تقر الورقة بوجود حد انحياز متعدد الحدود ($O(H^3 \epsilon_P)$) ناتج عن انتقالات الحالة التقريبية، لكنها تجادل بأن هذه مقايضة مفضلة مقارنة بالتكلفة الأسية للاستكشاف القائم على التاريخ.

4. النتائج

• مقاييس الأداء: تم التقييم باستخدام Avg@128 (متوسط معدل النجاح) و Pass@128 (احتمالية وجود حل واحد صحيح على الأقل في 128 عينة).
• المكاسب الكمية:
  • Sudoku: وصلت نماذج ماركوف إلى ~97.1% في Pass@128 مقابل 92.3% لتسلسل الإجراءات.
  • Sokoban: حققت نماذج ماركوف 76.1% مقابل 2.5% لتسلسل الإجراءات (اختراق هائل).
  • Futoshiki: حققت نماذج ماركوف 75.0% مقابل 0.2% لتسلسل الإجراءات.
• ديناميكيات التدريب: تقاربت نماذج ماركوف بشكل أسرع، محققة مكافآت أعلى في خطوات تدريب أقل (تعقيد عينات أقل).
• دراسات الاستئصال (Ablation Studies):
  • تسلسل الحالة-الإجراء مقابل ماركوف: حتى عند منحهم الوصول إلى كامل تاريخ الحالات، فإن النماذج التي لا تفرض بنية سياسة ماركوفية (أي أنها لا تزال تنظر إلى التاريخ الكامل) تؤدي بشكل أسوأ من نماذج ماركوف النقية. يشير هذا إلى أن السياق التاريخي الإضافي غالباً ما يكون ضجيجاً زائداً يعيق التعلم.
  • SFT مقابل RL: تظهر فوائد حالات ماركوف بشكل أوضح في مرحلة RL. في SFT النقي، تتقلص الفجوة، مما يشير إلى أن خاصية ماركوف حاسمة لجوانب الاستكشاف و تخصيص الائتمان في التعلم التعزيزي.

5. الأهمية والآثار

• تحول في النموذج: تتحدى الورقة الافتراض السائد لـ "التاريخ كحالة" في محاذاة النماذج اللغوية الكبيرة. وتجادل بأنه من أجل الاستكشاف مفتوح النهايات والاستدلال المعقد، يجب على النماذج اللغوية الكبيرة الابتعاد عن معامل تسلسل التوليد التاريخي بالكامل كحالة.
• الطريق نحو الذكاء الاصطني العالمي (AGI): تشير النتائج إلى أن فتح آفاق قدرات استدلال جديدة حقيقية ونمو مفتوح النهايات في الذكاء الاصطناعي التوليدي يتطلب مواءمة تمثيل الوكيل مع المنطق الأساسي للمهمة (البنية الماركوفية) بدلاً من الاعتماد على تسلسلات الرموز الخام.
• القابلية للتطبيق العملي: هذا النهج قابل للتطبيق في مجالات العالم الحقيقي مثل البرمجة (حيث الحالة هي لقطة من الكود المصدري)، و الاستدلال الرياضي (الحالة هي مجموعة المسلمات)، و التحسين التكراري (الحالة هي المسودة الحالية)، مما يوفر مخططاً لبناء أنظمة وكيلة أكثر قدرة وكفاءة.

في الختام، توفر الورقة البحثية تبريراً نظرياً وأدلة تجريبية على أن إعادة إدخال حالات ماركوف الصريحة أمر ضروري لتجاوز القيود الحالية للتعلم التعزيزي في النماذج اللغوية الكبيرة، مما يمكّن النماذج من اكتشاف استراتيجيات جديدة بدلاً من مجرد تحسين الاستراتيجيات الموجودة.