ملخص تقني: إمكانات النتيجة المستحثة ذاتيًا (SIOP)

بيان المشكلة

تعتمد نجاحات أو إخفاقات وكلاء النماذج اللغوية الكبيرة (LLMs) طويلة الأمد، لا سيما تلك المنخرطة في الاستدلال المعزز بالبحث أو استخدام الأدوات، على جولات التفاعل الوسيطة. ومع ذلك، تعتمد نماذج التدريب القياسية عادةً على الإشراف على مستوى النتيجة، حيث يتم تخصيص المكافآت فقط بعد توليد الإجابة النهائية. وهذا يخلق عدم تطابق في الإشراف: فلا يمكن لمكافأة نهائية واحدة أن تعزو الفضل بشكل موثوق إلى أفكار وسيطة محددة، أو استدعاءات أدوات، أو ملاحظات حسنت من آفاق الوكيل المستقبلية.

تواجه الحلول الحالية عائقين رئيسيين:

1. طرق تشكيل المستوى الدورِي (Turn-level shaping) (مثل IGPO وTIPS): تتطلب الوصول إلى "إجابة ذهبية" أو مُحقِّق مستقر خاص بالمهمة لحساب المكافآت القائمة على الإمكانات. وغالبًا ما يكون هذا النوع من الإشراف غير متوفر في البيئات الوكيلية مفتوحة النهايات.
2. التعلم التعزيزي الخالي من الملصقات (Label-free RL) (مثل TTRL وEMPO): تستخرج إشارات من توزيعات المخرجات ولكنها تعمل أساسًا على مستوى المسار أو الإجابة. فهي تحدد الاستجابات النهائية الموثوقة، لكنها تفشل في تخصيص قيمة للدورات الوسيطة التي أدت إلى تلك النتائج.

التحدي الجوهري هو بناء آلية تخصيص ائتمان على مستوى الدور (Turn-level credit assignment) خالية من المُحقِّق، تستفيد من الإشارات المستحثة ذاتيًا دون افتراض وجود إجابة حقيقية أثناء التدريب.

المنهجية: إمكانات النتيجة المستحثة ذاتيًا (SIOP)

يعالج SIOP ذلك من خلال معاملة العناقيد الدلالية للإجابات النهائية كـ حالات نواتج مستقبلية كامنة. وبدلاً من الاعتماد على هدف ذهبي ثابت، يبني الإطار توزيع أهداف خاص بالاستعلام فوق هذه الحالات الكامنة، ويكافئ الدورات بناءً على قدرتها على زيادة الدعم للأنماط الموثوقة في المستقبل.

1. أنماط النواتج الدلالية والحالات الكامنة

لكل استعلام $q$، يقوم السياسة (policy) بأخذ عينات من $K$ من عمليات التدفق (rollouts). يتم تجميع الإجابات النهائية $\{y^{(k)}\}$ في أنماط نواتج دلالية ($C(q)$) بناءً على الاستلزام الدلالي ثنائي الاتجاه (باستخدام نموذج NLI). يمثل كل عنقود $c$ فرضية دلالية متميزة.

• الحالات المستقبلية الكامنة: تعمل هذه العناقيد كفضاء الحالة المستقبلية للتشكيل القائم على الإمكانات.
• معايرة الموثوقية: تردد العنقود الخام ($m(c|q)$) غير كافٍ، حيث قد يكون العنقود المتكرر خاطئًا باستمرار بسبب انحياز النموذج. يقدم SIOP إشارة موثوقية $r(c, q)$ (على سبيل المثال، دعم الأدلة من ملاحظات الأدوات المسترجعة) لإعادة وزن التوزيع التجريبي.
• توزيع الهدف: يتم تشكيل توزيع الهدف المستحث ذاتيًا $q_\theta(c|q)$ عن طريق معايرة الكتلة التجريبية مع الموثوقية:
  $$q_\theta(c|q) \propto m(c|q) \exp(\eta \cdot r(c, q))$$
  يضمن هذا خفض وزن الأنماط المتكررة ولكن غير الموثوقة، بينما يتم رفع وزن الأنماط الأقل تكرارًا ولكن المدعومة بالأدلة.

2. دعم العنقود متعدد المراجع

لتجنب الحساسية تجاه صياغة كلمات محددة، لا يقوم SIOP بتسجيل إجابة نموذجية واحدة. بدلاً من ذلك، يختار مجموعة صغيرة من الإجابات المرجعية $R(c)$ من كل عنقود مع أوزان طبيعية $\alpha_y$. يتم تقريب دعم العنقود $c$ بمعلومة البادئة $\tau_{\le t}$ كما يلي:
$$\tilde{p}_\theta(c|\tau_{\le t}) = \sum_{y \in R(c)} \alpha_y p_\theta(y|\tau_{\le t})$$
يوفر هذا النهج متعدد المراجع مقياسًا قويًا لدعم النمط الدلالي ككل.

3. المكافآت القائمة على الإمكانات على مستوى الدور

الابتكار الأساسي هو إمكانية النتيجة $\Phi_\theta$، والمعرفة لكل نمط محقق $c^{(k)}$ عند الدور $t$:
$$\Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) = q_\theta(c^{(k)}|q) \log \tilde{p}_\theta(c^{(k)}|\tau_{\le t}^{(k)})$$
مكافأة العملية للدور $t$ هي الفرق في الإمكانات بين البادئة الحالية والسابقة:
$$r_{t,proc}^{(k)} = \Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) - \Phi_\theta(\tau_{\le t-1}^{(k)}, c^{(k)})$$
تكون هذه المكافأة موجبة إذا زاد الدور من دعم النموذج للعنقود الذي سينتهي إليه في النهاية، موازنةً بـ موثوقيته المعايرة.

4. بناء المزايا على مستوى الدور

لدمج هذه المكافآات في تحسين السياسة:

• المكافأة الفورية المعززة: يجمع معامل خلط $\lambda$ بين مكافأة العملية وكتلة النتيجة النهائية المضافة فقط عند دور الإجابة النهائية.
• المزايا المعيارية للمجموعة: يتم تجميع المكافآت داخل مجموعة استعلام (جميع عمليات التدفق لاستعلام واحد)، وتنميطها (z-score)، ونشرها عكسيًا عبر مجموع مخصوم لحساب المزايا على مستوى الدور $A_t^{(k)}$.
• التخصيص على مستوى الرمز (Token): على عكس GRPO القياسي الذي يبث درجة المسار بالكامل، يقوم SIOP بتخصيص ميزة الدور المحددة $A_t^{(k)}$ فقط للرموز القابلة للتدريب التي تم توليدها ضمن ذلك الدور المحدد.

المساهمات الرئيسية

1. تخصيص الائتمان على مستوى الدور الخالي من المُحقِّق: يصيغ البحث تخصيص الائتمان كتعلم قائم على الإمكانات فوق أنماط النواتج الدلالية المستحثة ذاتيًا، مما يلغي الحاجة إلى إجابات ذهبية أو مُحقِّقات خاصة بالمهمة.
2. إمكانات النتيجة المستحثة ذاتيًا (SIOP): دالة مكافأة مبتكرة تعاير أنماط النواتج الدلالية مع إشارات الموثوقية وتحول التغيرات في دعم البادئة إلى النتيجة إلى مكافآت عملية على مستوى الدور.
3. بناء مزايا دقيق: يبني الطريقة مزايا محددة لكل دور للوكلاء ذوي الأفق الطويل، حيث يخصص الائتمان فقط للرموز القابلة للتدريب داخل كل دور، متجنبًا "بث" درجات المسار التي تحجب المساهمات الوسيطة.
4. التوصيف النظري: يثبت المؤلفون أن SIOP يتقلص إلى التشكيل القياسي القائم على الإجابة الذهبية في الحد الأعلى للإشراف (حيث يتركز توزيع الهدف على العنقود الذهبي) ويوضح أنه يقيس كسب الدعم الهامشي خطوة بخطوة بدلاً من بث درجة عالمية.

النتائج التجريبية

تم تقييم الطريقة على سبعة معايير للأسئلة والأجوبة المعززة بالبحث (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHop2QA, MuSiQue, Bamboogle) باستخدام نماذج خلفية Qwen3-4B وQwen3-8B.

• الأداء: تفوق SIOP باستمرار على النماذج المرجعية الخالية من المُحقِّق (TTRL, EMPO) التي تعتمد على إشارات مستوى النتيجة. على النموذج الخلفي 4B، حقق SIOP أفضل متوسط لـ Exact Match (EM) وF1 الخالي من المُحقِّق، متفوقًا على EMPO بنسبة +0.7% في EM و+1.8% في F1.
• المقارنة مع النماذج المرجعية الخاضعة للإشراف: اقترب SIOP من أداء نماذج النتيجة الخاضعة للإشراف الذهبي (GRPO) وقلص بشكل كبير الفجوة مع نماذج الدور الذهبية (IGPO) دون استخدام أي ملصقات ذهبية أثناء التدريب. والجدير بالذكر أنه في المعايير متعددة القفزات مثل HotpotQA و2Wiki، تفوق SIOP على نموذج GRPO المرجعي للنتيجة الخاضع للإشراف الذهبي.
• دراسات الاستئصال (Ablation Studies): أدى إزالة معايرة الموثوقية، أو دعم المراجع المتعددة، أو مكافأة العملية لكل دور إلى تدهور الأداء، مما يؤكد ضرورة كل مكون. وتحديدًا، ثبت أن بناء المزايا على مستوى الدور أمر بالغ الأهمية، حيث أدى بث المزايا (مثل GRPO القياسي) إلى خفض الأداء إلى مستويات قريبة من مستوى النتيجة فقط.
• ديناميكيات التدريب: قلل SIOP من دورات البحث الزائدة وأطوال الاستجابة مع الحفاظ على مستويات أقل من إنتروبيا التوليد، مما يشير إلى استكشاف أكثر كفاءة.

الأهمية والادعاءات

يزعم البحث أن SIOP ينجح في سد الفجوة بين موثوقية مستوى النتيجة وتخصيص الائتمان على مستوى العملية في الإعدادات التي لا تتوفر فيها الحقيقة الأرضية. ومن خلال معاملة عناقيد الإجابات النهائية كحالات مستقبلية كامنة، يعمم الإطار تشكيل الإمكانات المعلوماتية من الإشراف على الإجابة الذهبية إلى البيئات الخالية من المُحقِّق.

يؤكد المؤلفون أن SIOP لا يكتفي باختيار إجابات نهائية أفضل فح، بل يشكل بنشاط مسار الاستدلال الوسيط. تسمح الطريقة للوكلاء بتعلم أي التفاعلات الوسيطة (مثل استعلامات بحث محددة أو استدعاءات أدوات) تنقل المسار نحو حالات مستقبلية موثوقة، حتى عندما يتم استنتاج صحة تلك الحالات من خلال اتساق ودعم الأدلة لعينات النموذج الخاصة. وهذا يقدم مسارًا عمليًا لتدريب الوكلاء التفاعليين في المجالات مفتوحة النهايات حيث يكون إنشاء مُحقِّقات خاصة بالمهمة أمرًا غير ممكن.