ملخص تقني: SeDT – تكييف محول القرار المعتمد على محول الجمل (Sentence-Transformer Decision-Transformer) لضمان موثوقية المحادثات متعددة الأدوار

1. بيان المشكلة: ظاهرة "الضياع في المحادثة"

تظهر النماذج اللغوية الكبيرة (LLMs) انهياراً كبيراً في الأداء عندما يتم الكشف عن المهام بشكل تدريجي عبر عدة أدوار مقاراً بكونها محددة بالكامل في دور واحد. هذه الظاهرة، التي وثقها (Laban et al., 2025)، تؤدي إلى انخفاض متوسط في الأداء بنسبة 39% عبر النماذج الرائدة.

من المهم ملاحظة أن الورقة تجادل بأن هذا الانهيار هو في الأساس فشل في الموثوقية وليس فشلاً في القدرة. فبينما تنخفض أفضل قدرة (المئوية التسعين) بنسبة 16% فقط، فإن عدم الموثوقية (الفجوة بين المئوية التسعين والعاشرة) تتضاعف بأكثر من 112% (+112%).

تم تحديد السبب الجذري على أنه هيكلي:

• توزيع وزن السياق المسطح (Flat Context Weighting): يتم دمج المحادثات متعددة الأدوار في نافذة سياق مسطحة حيث يحمل كل دور سابق وزناً ضمنياً متساوياً.
• انحياز الانتباه (Attention Bias): تعاني نماذج الـ Transformer بشكل منهجي من إهمال معلومات السياق المتوسطة (انحياز الانتباه على شكل حرف U)، مما يجعل القيود الحرجة التي تظهر في منتصف المحادثة تُعامل كضجيج.
• أنماط الفشل: يؤدي هذا إلى الالتزام المبكر بالإجابات، والاعتماد المفرط على الاستجابات الوسيطة غير الصحيحة، وفقدان قيود الدور المتوسط، والانجراف نحو الإسهاب (verbose drift).

الحلول الحالية، مثل الضبط الدقيق (fine-tuning)، غير عملية وقت الاستدلال بسبب الحاجة إلى بيانات منسقة وتعديل الأوزان. كما أن استراتيجيات إدارة السياق الأخرى مثل "إعادة التلخيص" (تكرار التاريخ) غالباً ما تفشل في التمييز بين القيود الحرجة والحوار العرضي.

2. المنهجية: SeDT

يقترح المؤلفون SeDT (تكييف محول القرار المعتمد على محول الجمل)، وهي طريقة خالية من التدريب وتعمل في وقت الاستدلال، تعالج مشكلة توزيع الوزن في السياق المسطح عبر استيراد تكييف العائد المتبقي (Return-to-Go - RTG) من التعلم المعزز خارج الخط (offline reinforcement learning).

2.1 التوازي الرسمي

يرسم SeDT توازياً مباشراً بين محول القرار (Chen et al., 2021a) والاستدلال متعدد الأدوار في النماذج اللغوية الكبيرة:

• المسار (Trajectory): تاريخ المحادثة.
• الخطوة (Step): كل جزء من المعلومات يتم الكشف عنه في دور واحد.
• المكافأة (Reward): الصلة الدلالية لذلك الجزء بالهدف النهائي للمهمة.
• العائد المتبقي (RTG): بدلاً من ترك النموذج يستنتج الأهمية، يقوم SeDT بتوسيم كل جزء بدرجة صلة تراكمية ($\hat{R}_t$)، تمثل إجمالي المعلومات ذات الصلة بالهدف التي ستأتي من ذلك الدور فصاعداً.

يتحول المدخل للنموذج في الدور الأخير من قائمة مسطحة للأدوار إلى تسلسل من الأزواج الموسومة: $[(\hat{R}_1, \text{shard}_1), \dots, (\hat{R}_T, \text{shard}_T)]$.

2.2 إشارات الصلة الثلاثية

لحساب صلة كل جزء ($rel(t)$)، يجمع SeDT بين ثلاث إشارات متكاملة:
$$rel(t) = \alpha \cdot sem(t) + \beta \cdot lex(t) + \gamma \cdot pos(t)$$
حيث تم تحديد الأوزان تجريبياً لتكون $\alpha=0.6, \beta=0.2, \gamma=0.2$.

1. الإشارة الدلالية ($sem$): المحاذاة العميقة بين الجزء و"مرساة الهدف" (goal anchor) المحددة للمهمة (مثلاً: "اكتب دالة بايثون كاملة"). يتم حسابها عبر تشابه جيب التمام لمتجهات التضمين الكثيفة (باستخدام all-mpnet-base-v2).
2. الإشارة المعجمية ($lex$): تداخل الكلمات المفتاحية السطحية (تشابه جاكارد) بين مرساة الهدف والجزء، مما يلتقط الكلمات المفتاحية الخاصة بالمجال التي قد تغفل عنها التضمينات.
3. الإشارة الموضعية ($pos$): تعزيز على شكل حرف U مقلوب مصمم لمواجهة ميل الـ Transformer الطبيعي لإهمال منتصف السياق. وهي تمنح أعلى درجة للدور الأوسط وتتناقص بشكل متماثل نحو البداية والنهاية.

2.3 توسيم RTG وبناء المطالبة (Prompt Construction)

• التقييم التراكمي: الـ RTG للدور هو المجموع التراكمي اللاحق لدرجات الصلة من ذلك الدور حتى نهاية المحادثة.
• ضمان الجزء الأخير: يتم تطبيق حد أدنى من الضمان للجزء الأخير لضمان عدم استبعاد القيد الأخير، حتى لو كانت صلتُه الخام منخفضة.
• ملصقات الثقة: الأجزاء التي تزيد صلتها عن المتوسط تُوسم بـ مؤكد (CONFIRMED)؛ أما غيرها فتُوسم بـ غير مؤكد (UNCERTAIN). تُلحق هذه الملصقات بالتاريخ المقدم للنموذج.

2.4 التصحيح الذاتي الموجه بـ RTG

يتضمن SeDT آلية تحقق ثنائية الحماية:

1. المُشغل (Trigger): إذا اعتُبرت المحادثة "ضعيفة" (بناءً على الصلة المعيارية للجزء الأخير وحصة الأدوار غير المؤكدة)، يتم تفعيل خطوة التحقق.
2. حارس القبول (Acceptance Guard): يقوم نموذج التحقق بتوليد إجابة جديدة. تُستبدل هذه الإجابة الأصلية فقط إذا كانت تغطي كلمات محتوى أكثر من الأجزاء "المؤكدة" (CONFIRMED) مقارنة بالإجابة الأصلية. هذا يمنع الاستبدال العشوائي للإجابات الصحيحة.

3. المساهمات الرئيسية

1. تحديد المشكلة: تحديد توزيع وزن الأدوار في السياق المسطح كسبب هيكلي لانهيار الموثوقية في المحادثات متعددة الأدوار، وإرساء توازٍ رسمي مع تكييف RTG لمحولات القرار.
2. منهجية SeDT: طريقة تعمل في وقت الاستدلال، خالية من التدريب، ولا تتطلب أي تعديل للنموذج أو بيانات تدريب.
3. الصلة ثلاثية الإشارات: صيغة تجمع بين الإشارات الدلالية والمعجمية والموضعية لمواجهة أنماط الفشل الموثقة مباشرة (مثل الالتزام المبكر، وفقدان الدور المتوسط، إلخ).
4. التصحيح الذاتي المستند إلى RTG: مسار تحقق محافظ لا يتسبب في أي "حالات ضرر" (الأخطاء التي قد يسببها آلية التصحيح).

4. النتائج التجريبية

تم تقييم الطريقة باستخدام معيار Lost-in-Conversation (Laban et al., 2025) عبر ثلاثة نماذج (GPT-4o-mini, Gemini 2.5 Flash, Llama 3.3-70B) وثلاث مهام (الأفعال Actions، الرياضيات/GSM8K، البرمجة Code).

• مكاسب الأداء: تفوق SeDT على خط الأساس المجزأ (sharded baseline) في جميع التوليفات التسعة (النماذج والمهام).
  • متوسط الأداء ($\bar{P}$): تراوحت المكاسب بين +5.6% و +37.7%. أظهر Gemini 2.5 Flash أكبر مكسب منفرد (+37.7 في مهام الأفعال)، مستعيداً جزءاً كبيراً من أداءه في الدور الواحد.
  • الموثوقية: انخفضت عدم الموثوقية ($U$) في سبع من أصل تسع حالات. نجحت الطريقة في تضييق توزيع الدرجات، خاصة في مهام الرياضيات والأفعال.
• القدرة (Aptitude): تحسنت أفضل قدرة (Aptitude $A_{90}$) في جميع الحالات، مما يؤكد أن المكاسب تعكس استعادة حقيقية للقدرة وليس مجرد تقليل للضجيج.
• الدراسات الاستبعادية (Ablation Studies):
  • لم تكن أي إشارة بمفردها (دلالية، معجمية، أو موضعية) كافية؛ كان الجمع بينها ضرورياً.
  • تم التحقق من أن الوزن المحدد ($\alpha=0.6$) كان ذا جدوى، حيث تفوق على التوزين الموحد.
  • أدى استخدام "RTG عشوائي" (استخدام أرقام عشوائية بدلاً من الصلة المحسوبة) إلى أداء أفضل من خط الأساس، ولكنه كان أسوأ بكثير من SeDT، مما يثبت أن إشارة الصلة المحسوبة، وليس مجرد التنسيق الرقمي القبلي، هي ما يقود الأداء.
• التصحيح الذاتي: تم تفعيل الآلية في حوالي 28% من الحالات ولكنها لم تسفر عن أي حالات ضرر، حيث لم تستبدل الإجابات إلا عندما تغطي الإجابة الجديدة بوضوح المزيد من القيود المؤكدة.

5. الأهمية والادعاءات

تدعي الورقة أن مشكلة "الضياء في المحادثة" هي جزئياً مشكلة توزيع وزن السياق، والتي يمكن معالجتها في وقت الاستدلال دون إعادة تدريب.

• الرؤية الهيكلية: ينقل هذا العمل اللوم من "عدم موثوقية" النموذج أو "عدم توافق النوايا" إلى التمثيل الهيكلي لتاريخ المحادثة.
• الواقعية: من خلال عدم اشتراط الضبط الدقيق واستخدام استدعاء إضافي واحد فقط للنموذب (للتحقق)، يوفر SeDT حلاً قابلاً للتوسع للتفاعلات متعددة الأدوار في العالم الحقيقي حيث يكشف المستخدمون عن القيود تدريجياً عند الضرورة.
• الآلية: يشير نجاح تكييف RTG إلى أن النماذج اللغوية الكبيرة الموجهة بالتعليمات (instruction-tuned) قد تعلمت الاستجابة لإشارات الأهمية الصريحة (مثل البوادئ الرقمية الموجودة في التعليقات البرمجية أو المخططات) أثناء التدريب المسبق، مما يسمح لها بالاستفادة من هذا "البرهان الضمني داخل السياق" لإعادة وزن انتباهها نحو القيود الحرجة.

يخلص المؤلفون إلى أن "إخبار النموذج بأي الأدوار الماضية تهم هو أمر كافٍ لاستعادة الأداء المفقود في المحادثة بشكل كبير".