ملخص تقني: التخفيف من القصور الذاتي الحواري في الوكلاء متعددي الأدوار

بيان المشكلة

بينما تبرع النماذج اللغوية الكبيرة (LLMs) كمتعلمين من أمثلة قليلة (few-shot learners) عند تزويدها بنماذج عالية الجودة، فإن هذه القدرة تتحول إلى عبء في سيناريوهات الوكيل متعدد الأدوار. تحدد الورقة ظاهرة تسمى القصور الذاتي الحواري (conversational inertia)، حيث تحاكي النماذج استجاباتها السابقة عن طريق الخطأ كأمثلة تعليمية. ومن خلال تحليل الانتباه، لاحظ المؤلفون أن النماذج تظهر انتباهاً قطرياً (diagonal attention) قوياً لمخرجات المساعد السابقة؛ وتحديداً، ينجذب الرمز (token) رقم $i$ في الاستجابة الحالية بشكل غير متناسب نحو الرموز المحيطة بالموضع $i$ في استجابات المساعد السابقة.

يخلق نمط الانتباه هذا تحيزاً للمحاكاة (imitation bias) يقيد الاستكشاف. ومع طول المحادثة، يتضاءل انتباه النموذج لطلبات النظام (system prompts)، مما يجعله يعتمد بشكل أكبر على تاريخ التفاعل بدلاً من التعليمات الخاصة بالمهمة. يؤدي هذا إلى توتر: فبينما توفر السياقات الطويلة المزيد من التغذية الراجعة البيئية للاستغلال (exploitation)، فإنها تزيد في الوقت نفسه من حدة القصور الذاتي الحواري، مما يقوض الاستكشاف (exploration) ويتسبب في تدهور الأداء حتى عندما يظل السياق ضمن قدرة النموذج.

المنهجية

يعالج الإطار المقترح هذه المشكلة من خلال مكونين أساسيين: تعلم تفضيل السياق (CPL) وإدارة سياق القص (Clip Context Management).

1. تعلم تفضيل السياق (CPL)

الرؤية الجوهرية التي تقود CPL هي أنه بالنسبة للحالات المتطابقة، فإن الإجراءات المولدة باستخدام سياقات مدخلات أطول تظهر قصوراً ذاتياً حوارياً أقوى من تلك المولدة بسياقات أقصر. وهذا يسمح ببناء أزواج التفضيل دون الحاجة إلى مكافآت بيئية أو نماذج خبيرة.

• بناء البيانات: بالنسبة لحالة معينة، يقوم النظام بتوليد إجراءين: $a_{long}$ (باستخدام تاريخ السياق الكامل) و $a_{short}$ (باستخدام السياق الأخير فقط). يتم تنفيذ الإجراء $a_{long}$ للحصول على الملاحظة التالية، مما يؤدي إلى تحديث المسارين بشكل متزامن.
• هدف التدريب: يتم ضبط النموذج بدقة باستخدام تحسين التفضيل المباشر (DPO). يتم الحفاظ على سياق المدخلات التدريبي ($C_{short}$) ثابتاً لكل من الإجراء "المختار" ($a_{short}$) والإجراء "المرفوض" ($a_{long}$). هذا يعلم النموذج تفضيل القرارات المتخذة بسياقات أقصر، مما يعاقب بفعالية القصور الذاتي المرتبط بالتاريخ المتراكم.
• الكفاءة: تستخدم الطريقة تقنية LoRA (التكيف منخفض الرتبة) لضبط 0.4% فقط من معاملات النموذج.

2. إدارة سياق القص (Clip Context)

لإدارة القصور الذاتي أثناء الاستنتاج، اقترح المؤلفون سياق القص (Clip Context)، وهي استراتيجية تقوم بتفريغ تاريخ التفاعل بشكل دوري.

• الآلية: على عكس نافذة السياق القياسية (Window Context) التي تحافظ على عدد ثابت من الجولات الأخيرة، يسمح "سياق القص" للسياق بالنمو حتى عتبة $H$ (على سبيل المثال، 12 جولة) ثم يعود للصفر للاحتفاظ فقط بآخر $L$ جولة (على سبيل المثال، جولة واحدة).
• المزايا:
  • تخفيف القصور الذاتي: يعمل التفريغ الدوري على كسر أنماط المحاكاة المتراكمة ويمنع انتشار الخطأ.
  • الكفاءة الحسابية: على عكس طرق النافذة المنزلقة التي تغير الحدود وتلغي صلاحية ذاكرة التخزين المؤقت لـ KV، يسمح "سياق القص" بإعادة استخدام فعالة لذاكرة KV، مما يوفر تسريعاً نظرياً بمقدار $W \times$ في حسابات الـ prefill مقارنة بطرق النافذة.
  • التوازن بين الاستكشاف والاستغلال: يتناوب بين السياقات القصيرة (التي تشجع الاستكشاف) والسياقات الطويلة (التي تسخر التاريخ للاستغلال).

المساهمات الرئيسية

1. تحديد القصور الذاتي الحواري: تحدد الورقة رسمياً وتحلل القصور الذاتي الحواري كنمط فشل متميز في الوكلاء متعددي الأدوار، والذي يتميز بانتباه قطري قوي لمخرجات المساعد السابقة يؤدي إلى تحيز المحاكاة وتقييد الاستكشاف.
2. تعلم تفضيل السياق (CPL): طريقة تدريب مبتكرة تعمل على معايرة تفضيلات النموذج لتفضيل الاستجابات ذات القصور الذاتي المنخفض. تقوم ببناء أزواج التفضيل باستخدام الفروقات بين السياق الطويل والقصير، دون الحاجة إلى مكافآت بيئية حقيقية.
3. استراتيجية سياق القص (Clip Context): نهج لإدارة السياق يحقق توازناً متفوقاً بين الاستكشاف والاستغلال. يتفوق على طرق النافذة والتلخيص القياسية مع توفير سرعات حسابية كبيرة عبر تحسين ذاكرة KV.

النتائج التجريبية

تم تقييم الإطار عبر ثماني بيئات وكيلة متنوعة (بما في ذلك Maze, ALFWorld, WebShop, TextCraft, 2048, FrozenLake, Hangman, RushHour) وسيناريو بحث عميق واحد (BrowseComp).

• مكاسب الأداء: عبر جميع النماذج المختبرة (Qwen3-8B, Llama3.1-8B, GPT-4o-mini)، حقق الجمع بين CPL وسياق القص تحسينات كبيرة. على سبيل المثال، حقق نموذج Qwen3-8B مع CPL وسياق القص متوسط درجة 72.5%، وهو تحسن بنسبة 7.6% عن النموذج الأساسي مع سياق النافذة.
• تقليل القصور الذاتي: أكد تحليل الانتباه أن سياق القص قلل الانتباه القطري بنسبة 7%، بينما قلل CPL منه بنسبة تزيد عن 10% عبر جميع استراتيجيات إدارة السياق. كان الانخفاض ملحوظاً بشكل خاص في تكوينات السياق الطويل (انخفاض بنسبة 14.5%)، مما يشير إلى أن CPL يخفف بفعالية خطوط الأساس ذات القصور الذاتي العالي.
• المقارنة مع التلخيص: وجد المؤلفون أن مكاسب الأداء في الطرق القائمة على التلخيص كانت مدفوعة إلى حد كبير بتقليل القصور الذاتي الناتج عن قص السياق بدلاً من جودة الملخصات المولدة. في مهام البحث العميق، تفوق "سياق القص" (Clip-12to6) على طرق النافذة وطابق طرق التلخيص مع تجنب انخفاض الدقة المرتبط بالثقة المفرطة الناتجة عن التلخيص.
• القدرات العامة: حافظ الضبط الدقيق باستخدام CPL على قدرات الاستدلال والمعرفة العامة للنماذج، كما يتضح من الأداء المستقر في اختبارات GPQA-Diamond و MMLU-Redux.

الأهمية والادعاءات

تدعي الورقة أن القصور الذاتي الحواري هو مساهم غير معترف به سابقاً في تدهور أداء الوكيل متعدد الأدوار. ومن خلال معالجة الآلية الأساسية لتحيز المحاكة الذاتية عبر معايرة التفضيل والتحكم في السياق أثناء الاستنتاج، يُمكّن الإطار المقترح من بناء وكلاء مستقلين أكثر موثوقية.

يؤكد المؤلفون أن نهجهم متميز عن استراتيجيات إدارة السياق الموجودة (النوافذ المنزلقة، التلخيص، الاسترجاع) والتي غالباً ما تعامل تدهور الأداء كنتيجة لطول السياق أو فرط المعلومات. بدلاً من ذلك، يستهدف هذا العمل التحيز الهيكلي المحدد للانتباه القطري. يُقدم الإطار كحل مبدئي وفعال يحسن أداء الوكيل مع تقليل العبء الحسابي، مما يشير إلى أن إدارة القصور الذاتي هي بُعد حاسم في تصميم الأنظمة متعددة الأدوار. يقر المؤلفون بالقيود، مشيرين إلى أن "سياق القص" يتضمن مقايضة بين المعلومات والقصور الذاتي وقد يواجه صعوبة في المهام التي تتطلب سياقاً يتجاوز نافذة الاحتفاظ القصوى، لكنهم يجادلون بأن تقليل القصور الذاتي والحفاظ على المعلومات يمكن معالجتهما كبُعدين منفصلين وقابلين للدمج.