Markovian Transformers for Informative Language Modeling

إليك ملخص تقني مفصل لورقة البحث بعنوان "المحولات الماركوفية للنمذجة اللغوية المعلوماتية" (Markovian Transformers for Informative Language Modeling).

1. بيان المشكلة

غالبًا ما تعاني تقنية "سلسلة الأفكار" (Chain-of-Thought - CoT) الحالية في النماذج اللغوية الكبيرة (LLMs) من نقص في الأمانة (Faithfulness). فبينما تولد النماذج خطوات استدلال متماسكة، قد لا تكون هذه الخطوات هي المحرك الفعلي للوصول إلى الإجابة النهائية. بدلاً من ذلك، قد يقوم النموذج بـ "تجاوز" سلسلة الأفكار، مستخدمًا حالات داخلية خفية أو وصولاً مباشرًا إلى السؤال الأصلي لحساب الإجابة، مما يجعل سلسلة الأفكار مجرد سرد سطحي وليس ضرورة سببية.

• المشكلة الجوهرية: يسمح تدريب "سلسلة الأفكاء" القياسي للنموذج بالوصول إلى السؤال الأصلي ($A$) عند توليد الإجابة ($C$)، حتى في وجود سلسلة استدلال ($B$). وهذا يخلق "مخرجًا هيكليًا" (Architectural Escape Hatch) حيث لا تكون سلسلة الأفكار ضرورية تمامًا للتنبؤ.
• الهدف: يهدف المؤلفون إلى فرض "المعلوماتية" (Informativeness) بدلاً من الأمانة الداخلية الكاملة. إنهم يتطلبون أن تكون سلسلة الأفكار وحدها كافية لاستخلاص الإجابة الصحيحة، مما يجعل عملية الاستدلال "حاملة للحمل" (Load-bearing) من الناحية السببية.

2. المنهجية: إطار العمل الماركوفي

قدم المؤلفون قيدًا هيكليًا يسمى إطار عمل النموذج اللغوي الماركوفي (Markovian Language Model - MLM)، والذي يجبر كل المعلومات من السؤال إلى الإجابة على التدفق عبر "عنق زجاجة" (Bottleneck) ذي طول محدود لسلسلة الأفكار.

أ. القيد الهيكلي (عنق الزجاجة)

يعمل إطار العمل على نمذجة عملية التوليد كسلسلة من الحالات والملاحظات:

1. الملاحظة ($O$): المدخل (مثل السؤال) والمخرج (الإجابة).
2. الحالة ($S$): نص سلسلة الأفكار (CoT).
3. الانتقال:
   • تحديث الحالة ($u_\theta$): توليد سلسلة الأفكار ($B$) من السؤال ($A$) ومطالبة أولية (Prompt).
   • السياسة ($\pi_\theta$): التنبؤ بالإجابة ($C$) فقط من خلال سلسلة الأفكار ($B$).
   • القيد: لا يمكن لمُتنبئ الإجابة $\pi_\theta$ الانتباه إلى السؤال الأصلي $A$. هو يرى فقط سلسلة الأفكار. هذا يخلق عنق زجاجة في عرض النطاق الترددي (Bandwidth) يشبه الطبقة الكامنة في المشفّر التلقائي (Autoencoder).

ب. هدف التدريب والمكافأة

يستخدم التدريب نهج التعلم التعزيزي (RL) مع دالة مكافأة محددة مصممة لتعظيم معلوماتية سلسلة الأفكار بالنسبة لخط أساس (Baseline).

• دالة المكافأة ($R_\theta$):
  $$R_\theta(\tau) = \ln \pi_\theta(\text{ans} \mid \text{CoT}) - \ln \pi'(\text{ans} \mid \text{CoT}')$$
  حيث $\pi_\theta$ هو الممثل (Actor) المدرب و $\pi'$ هو خط الأساس المجمد (النموذج غير المدرب). تقيس المكافأة مدى احتمالية الإجابة الصحيحة تحت سلسلة الأفكار المدربة مقارنة بسلسلة الأفكار المرجعية.
• عقوبة KL: يتم إضافة حد عقوبة ($\beta_{KL}$) لمنع النموذج من تعلم "التشفير الإخفائي" (Steganographic encoding) - أي إخفاء الإجابة في تسلسلات رموز غير طبيعية - وذلك من خلال إبقاء توزيع سلسلة الأفكار قريبًا من التوزيع المسبق المدرب مسبقًا.

ج. خوارزمية التحسين (على طراز GRPO)

اقترح المؤلفون خوارزمية تدرج السياسة (Policy Gradient) مبتكرة لتحسين عنق زجاجة النص المنفصل هذا:

1. أخذ العينات المتوازي: لكل سؤال، يولد النموذج عينات متنوعة من سلاسل الأفكار $B$.
2. خط الأساس المجمد: يتم توليد سلسلة أفكار مرجعية واحدة بواسطة النموذج المجمد لكل دفعة (Batch).
3. تدرجات الممثل-المكافأة (الابتكار الرئيسي): على عكس تدرجات السياسة القياسية حيث تنفصل المكافأة عن السياسة، يقوم المؤلفون صراحةً بنشر التدرج (Backpropagate) عبر حد المكافأة نفسه. بما أن نفس الأوزان $\theta$ تُعرف كلاً من توليد سلسلة الأفكار ($u_\theta$) والتنبؤ بالإجابة ($\pi_\theta$)، فإن التدرج يتضمن:
   • حد تدرج السياسة القياسي ($R \cdot \nabla \ln P$).
   • تدرج المكافأة المباشر ($\nabla R$)، باستخدام قاعدة السلسلة (Chain Rule).
4. التقييس داخل الدفعة: يتم تقييس المزايا (Advantages) داخل كل دفعة (متوسط صفر، تباين وحدة) لاستقرار التدريب دون الاعتماد على المتوسطات المتحركة التاريخية.

3. المساهمات الرئيسية

1. الفرض الهيكلي: تقديم إطار ماركوفي يفرض هيكليًا أن تكون سلسلة الأفكار ضرورية سببيًا للتنبؤ، مما يزيل قدرة النموذج على "الغش" عبر النظر إلى المطالبة الأصلية أثناء توليد الإجابة.
2. وصفة تدريب مبتكرة: تطوير خوارزمية تدريب على طراز GRPO تتميز بـ تدرجات الممثل-المكافأة (الانتشار العكسي عبر المكافأة) وخطوط الأساس المجمدة لتحسين عنق زجاجة النص المنفصل.
3. الأداء التجريبي: أثبتت التدريبات الماركوفية استعادة معظم مكاسب الأداء للنماذج غير الماركوفية (التي لا تزال تستطيع رؤية السؤال)، مع فرض الاعتماد على سلسلة الأفكار.
   • GSM8K: تحسن من 19.6% (الأساس) إلى 57.1% (ماركوفي)، مقارنة بـ 63.3% للنموذج غير الماركوفي.
   • ARC-Challenge: تحسن من 36.1% إلى 79.9%، مقتربًا جدًا من النسخة غير الماركوفية (78.6%).
4. أدلة الاعتماد السببي:
   • تحليل الاضطراب: أظهرت النماذج الماركوفية حساسية أكبر بكثير لفساد سلسلة الأفكار (مثل حذف الحروف أو الاقتطاع) مقارنة بالنماذج غير الماركوفية، مما يثبت أن سلسلة الأفكار هي المحرك الأساسي.
   • التعميم عبر النماذج: كانت سلاسل الأفكار التي ولدتها نماذج Llama 3.1 فعالة عند استخدامها من قبل نماذج أخرى (Mistral, Phi, GPT-2). وبما أن GPT-2 لا يستطيع فك تشفير التشفير الإخفائي المعقد، فإن هذا يؤكد أن سلاسل الأفكار تشفر الاستدلال بلغة طبيعية وليس عبر سمات خاصة بالنموذج.

4. ملخص النتائج

• الأداء: حققت النماذج الماركوفية مكاسب مطلقة كبيرة فوق النماذج الأساسية في المهام الحسابية، GSM8K، MMLU، SVAMP، وARC-Challenge. وظلت ضمن نطاق 3-4 نقاط مئوية من متغيرات GRPO غير الماركوفية، رغم عنق الزجاجة المعلوماتي الصارم.
• المتانة مقابل الهشاشة:
  • في مهام تكملة ويكيبيديا ومعظم مهام الأسئلة والأجوبة، كانت النماذج الماركوفية أكثر هشاشة تجاه اضطرابات سلسلة الأفكار (انخفاض أكبر في احتمالية اللوغاريتم)، مما يؤكد أن سلسلة الأفكار هي "حاملة للحمل".
  • في العمليات الحسابية، كان كلا النموذجين حساسين للغاية للاضطرابات لأن كل خطوة تعتبر حرجة، وإن كان النموذج غير الماركوفي أكثر متانة قليًا (ربًا لأنه يستطيع مطابقة الأرقام الأصلية).
• القابلية للتفسير: نموذج "المشفّر التلقائي" (Autoencoder) ينطبق هنا؛ حيث يتعلم النموذج ضغط الاستدلال الضروري داخل سلسلة الأفكار للتنبؤ بالإجابة، مع التخلص من التفاصيل غير ذات الصلة من المطالبة الأصلية.

5. الأهمية والآثار المترتبة

• الاستدلال الأمين: يوفر هذا العمل طريقة عملية لضمان أن تفسيرات سلسلة الأفكار ليست مجرد تبريرات لاحقة (Post-hoc rationalizations)، بل هي بالفعل الآلية التي يحل بها النموذج المشكلة.
• التفسير بدون أمانة كاملة: يجادل المؤلفون بضرورة اعتبار "المعلوماتية" كبديل عملي للتفسير. حتى لو لم تعكس سلسلة الأفكار كل تنشيط داخلي، فإذا كانت الإجابة تعتمد عليها، فإن سلسلة الأفكار تعد تفسيرًا صالحًا للمخرج.
• مقاومة التشفير الإخفائي: إن الجمع بين عقوبات KL وانحيازات التدرج ينفر النموذج طبيعيًا من استخدام سلسلة الأفكار ككود مخفي، ويفضل الاستدلال باللغة الطبيعية.
• التعميم: تشير نتائج الانتقال عبر النماذج إلى أن خطوات الاستدلال المتعلمة هي عالمية وقابلة للنقل، وليست مرتبطة بالهيكل الذي ولدها.

في الختام، تقدم الورقة إطار عمل قوي لتدريب النماذج اللغوية الكبيرة لإنتاج سلاسل استدلال ضرورية سببيًا، مما يسد الفجوة بين الأداء العالي والقابلية للتفسير من خلال جعل عملية الاستدلال ضرورة هيكلية لمخرجات النموذج.