Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "كسر القصور الذاتي السياقي: التعلم التعزيزي باستخدام ركائز الدور الواحد لاستقرار التفاعل متعدد الأدوار."

1. تعريف المشكلة: القصور الذاتي السياقي (Contextual Inertia)

تحدد الورقة ثغرة حرجة في النماذج اللغوية الكبيرة (LLMs) تُعرف باسم "القصور الذاتي السياقي". فبينما تُظهر النماذج اللغوية قدرات استدلال قوية في إعدادات الدور الواحد (حيث تُقدم جميع المعلومات دفعة واحدة)، فإن أداءها يتدهور بشكل كبير في التفاعلات متعددة الأدوار.

• الظاهرة: في الحوارات متعددة الأدوار، تميل النماذج إلى الالتزام بصرامة بمسارات الاستدلال السابقة، حتى عندما تتعارض مدخلات المستخدم اللاحقة أو تصحح أو تُحدّث تلك المسارات صراحةً.
• النتيجة: بدلاً من إعادة المعايرة بناءً على المعلومات الجديدة، يقوم النموذج بنشر الأخطاء أو السياق المضلل من الأدوار السابقة، مما يؤدي إلى "انهيار" في الأداء مقارنة بالنماذج المرجعية ذات الدور الواحد.
• تحليل السبب الجذري: يعرّف المؤلفون هذا بأنه "التزام عشوائي" بالاستجابات السابقة. ومن خلال التحليل الكمي، وجدوا أن 70%–90% من حالات الفشل في تعدد الأدوار لا تعود إلى أخطاء استدلال جديدة في الدور الأخير، بل إلى انتشار "السياق المضلل" أو "الأخطاء المنتشرة" من الأدوار السابقة.
• محدودية الحلول الحالية:
  • الضبط الدقيق (SFT/DPO): يعتمد غالباً على الإشراف الخارجي ويتجاهل الآلية الداخلية للفشل.
  • الامتناع/الاستيضاح: الاستراتيجيات التي تطلب من النموذج البقاء صامتاً أو طلب التوضيح (مثل RLAAR و CollabLLM) تفشل في السيناريوهات التي تتطلب تحديثات الحالة (مثل "MT-Refine" حيث يصحح المستخدم فرضية خاطئة). في هذه الحالات، يجب على النموذج توليد استجابة وتصحيح نفسه، لا البقاء صامتاً.

2. المنهجية: التعلم التعزيزي باستخدام ركائز الدور الواحد (RLSTA)

يقترح المؤلفون RLSTA، وهو إطار تدريبي مصمم لكسر القصور الذاتي السياقي من خلال الاستفادة من قدرات الدور الواحد المتفوقة للنموذج كدليل داخلي مستقر.

أ. تصفية القدرة الكامنة (Latent Capability Filtering)

قبل التدريب، يقوم المؤلفون بتصفية مجموعة البيانات لضمان امتلاك النموذج لـ "القدرة الكامنة" لحل المشكلة إذا توفرت له المعلومات الكاملة.

• الشرط: يحتفظون بسجلات الحوار حيث يكون أداء الدور الواحد للنموذج (عند إعطائه المعلومات الكاملة $i_{full}$) أفضل بكثير من أداء تعدد الأدوار (عند إعطائه التاريخ المتسلسل $H$).
• الغرض: يضمن ذلك أن إشارة التدريب مستمدة من الحالات التي يعرف فيها النموذج الإجابة ولكنه يفشل بسبب القصور الذاتي، وليس في الحالات التي يفتقر فيها ببساطة إلى المعرفة.

ب. خوارزمية التدريب (GRPO)

تستخدم الطريقة تحسين السياسة النسبي للمجموعات (GRPO). الابتكار الأساسي يكمن في دالة المكافأة، التي تجمع بين مكافأة النتيجة ومكافأة ركيزة الدور الواحد المبتكرة.

1. مكافأة النتيجة ($R_v$): مكافأة ثنائية قياسية (0 أو 1) بناءً على ما إذا كانت الإجابة النهائية صحيحة (يتم التحقق منها بواسطة مُحقّق).
2. مكافأة ركيزة الدور الواحد ($R_s$):
   • هذا هو المساهمة الرئيسية. تقوم بحساب احتمالية استجابة تعدد الأدوار ($m_n$) تحت سياسة الدور الواحد للنموذج ($\pi_{ref}$) عند إعطائه المعلومات الكاملة ($i_{full}$).
   • الصيغة: $R_s = \left( \prod_{t=1}^{|m_n|} \pi_{ref}(m_{n,t} | i_{full}, m_{n,<t}) \right)^{1/|m_n|}$
   • الآلية: من خلال تعظيم $R_s$، يتم تشجيع النموذج على مواءمة توليد تعدد الأدوار مع مسار الاستدلال الذي كان سيسلكه لو رأى جميع المعلومات دفعة واحدة. يعمل هذا كـ "سحب" بعيداً عن المسار المنحاز الذي أنشأه تاريخ المحادثة.
3. إجمالي المكافأة: $R = R_v + \alpha R_s$ (حيث $\alpha$ هو معامل فائق).

3. المساهمات الرئيسية

1. تحديد القصور الذاتي السياقي: تحدد الورقة وتُحدد كمياً ظاهرة "القصور الذاتي السياقي"، وتثبت أنها ظاهرة عشوائية تؤثر على سجلات المحادثة عالية الجودة ومنخفضة الجودة على حد سواء، وهي المحرك الرئيسي للتدهور في تعدد الأدوار.
2. إطار عمل RLSTA: نهج تدريبي قابل للتعميم يستخدم استدلال الدور الواحد الداخلي للنموذج كإشارة مكافأة (ركيزة) لتثبيت تفاعلات تعدد الأدوار دون الاعتماد على مُحقّقات خارجية لكل خطوة.
3. التعميم عبر المجالات: ثبت أن الطريقة تعمل بفعالية عبر مجالات مختلفة (الرياضيات، البرمجة، التلخيص) حتى عند التدريب حصرياً على بيانات الرياضيات.
4. الاستقلال عن المُحقّق: تثبت الطريقة فعاليتها حتى بدون مُحقّقات خارجية للحقيقة الأرضية، معتمدة فقط على الاتساق الداخلي بين استدلال الدور الواحد وتعدد الأدوار.

4. النتائج التجريبية

قيم المؤلفون RLSTA على نماذج مثل Qwen2.5 (3B/7B)، و Qwen3-4B، و Llama-3.2-3B عبر سيناريوهات MT-Add (المعلومات المتزايدة) و MT-Refine (تصحيح الخطأ).

• مكاسب الأداء: يتفوق RLSTA بشكل كبير على SFT القياسي، و DPO، و GRPO التقليدي.
  • مثال: في Qwen2.5-7B، حسّن RLSTA متوسط درجة الرياضيات من 0.638 (الأساسي) إلى 0.857 في MT-Add ومن 0.350 إلى 0.822 في MT-Refine.
• كسر القصور الذاتي: يُظهر تحليل ما بعد التدريب (الشكل 6) أن RLSTA ينجح في تقليل "شدة القصور الذاتي" للسجلات منخفضة الجودة (حيث فشل النموذج سابقاً) مع الحفاظ على تشابه عالٍ للسجلات عالية الجودة.
• المقارنة مع النماذج المرجعية: يتفوق RLSTA على RLAAR (القائم على الامتناع) و CollabLLM (الاستفسار النشط) في الإعدادات الديناميكية، وخاصة في سيناريوهات MT-Refine حيث لا يكون الامتناع خياراً متاحاً.
• التعميم: أدى التدريب على بيانات الرياضيات إلى تحسينات كبيرة في مهام البرمجة و التلخيص، مما يشير إلى أن الطريقة تتعلم استقرار الاستدلال الأساسي وليس أنماطاً خاصة بمهمة معينة.
• الحفاظ على السياق الطويل: يحافظ RLSTA على أو يحسن قدرة النموذج على معالجة السياقات الطويلة (مقاساً بدرجة التغطية في مهام التلخيص)، مما يثبت أن كسر القصور الذاتي لا يؤدي إلى تدهور قدرات السياق الطويل.

5. الأهمية والأثر

• تحول في النموذج الفكري: تنتقل الورقة بما وراء التعامل مع إخفاقات تعدد الأدوار كنقص في المعلومات أو حاجة لـ "الاستيضاح". بدلاً من ذلك، تؤطر المشكلة كـ مشكلة محاذاة استدلال حيث يجب على النموذج تعلم تجاوز انحيازاته التاريخية.
• القابلية للتطبيق العملي: من خلال عدم اشتراط مُحقّقات خارجية أو هندسة معقدة للمكافآت على مستوى الدور، يعد RLSTA قابلاً للتوسع بشكل كبير لتطبيقات النطاق العام.
• المتانة: تعمل الطريقة حتى مع نماذج "التفكير" (النماذج ذات الاستدلال الكثيف) وعبر مصادر بيانات متباينة، مما يشير إلى حل قوي لبناء وكلاء ذكاء اصطناعي موثوقين وقادرين على التكيف مع تفاعلات المستخدم الديناميكية في العالم الحقيقي.

باخت ملخص، يقدم RLSTA حلاً مبدئياً لمشكلة "الضياع في المحادثة" باستخدام استدلال الدور الواحد "المثالي" للنموذذ كبوصلة للملاحة في تعقيدات حوار تعدد الأدوار، مما يكسر بفعالية القصور الذاتي الذي يسبب تكرار أخطاء الماضي.