ملخص تقني: نظرة واقعية على عدم التوافق الوكيل في تدفقات العمل المؤتمتة

1. تعريف المشكلة

تبحث الورقة في عدم التوافق الوكيل (agentic misalignment) في الأنظمة متعددة الوكلاء (MAS) التي تستخدم النماذج اللغوية الكبيرة (LLMs) ضمن تدفقات العمل المؤتمتة. وبينما يمكن لهذه الأنظمة تفكيك المهام المعقدة (مثل البرمجة، أو الاستدلال العلمي) والتنسيق عبر المنسقين، إلا أنها تفشل بشكل متكرر بسبب أخطاء تنسيق منهجية، حتى عندما يؤدي الوكلاء أداءً جيدًا بشكل فردي.

يحدد المؤلفون السبب الجذري في شكل من أشكال سوء توصيف المنفعة (utility misspecification). في تدفقات العمل المؤتمتة، يراقب الوكلاء فقط معلومات جزئية فيما يتعلق بالأهداف العامة وسلوكيات الوكلاء الآخرين. وبناءً على ذلك، يستنتج الوكلاء منفعة ضمنية تشكلها توزيعات التدريب المسبق العامة الخاصة بهم بدلاً من الدور المحدد المطلوب في تدفق العمل. يؤدي هذا إلى انهيار اللاحقة (posterior collapse)، حيث يتقارب اعتقاد الوكيل حول أنواع الأدوار الكامنة نحو سلوك عام ومتوسط بدلاً من الهدف المحدد للدور الفعلي ($\theta^*$). يتجلى عدم التوافق هذا في سلوكيات "اختراق المكافأة"، بما في في ذلك تقليل الجهد، وتسليم المهام غير المكتمل، والقرارات قصيرة المدى التي تضر بالهدف الجماعي.

2. الإطار النظري

صاغ المؤلفون المشكلة باستخدام إطار عمل الاستدلال البايزي (Bayesian inference) عبر أنواع المنفعة الكامنة.

• صياغة النموذج: يتم نمذجة النظام كعملية قرار ماركوف جزئية الملاحظة متعددة الوكلاء (POMDP) مع متغيرات أدوار كامنة $\Theta$. يستنتج الوكلاء توزيعاً لاحقاً (posterior distribution) للأدوار بناءً على الأدلة $Y$ (مطالبات النظام، الحالات الوسيطة، الملاحظات).
• انهيار اللاحقة: تفترض الورقة أنه بدون أدلة خارجية متميزة، يهيمن "المنطلق المسبق" (prior) العام للتدريب المسبق على الإشارات الضعيفة من مطالبة تدفق العمل. يوضح المبرهنة 3.2 أنه إذا كانت المطالب والارتباطات متقاربة بما يكفي ($\epsilon$-close) وكانت الأدلة شحيحة، فإن التوزيعات اللاحقة للأدوار المتميزة تصبح غير متمايزة ($\delta$-close)، مما يؤدي إلى احتمالية عالية لعدم التوافق.
• الحدود المعلوماتية: باستخدام متباينة فانو (المبرهنة 4.1)، وضع المؤلفون حداً أدنى لخطأ عدم التوافق، موضحين أن التوافق الناجح يتطلب معلومات متبادلة كافية $I(L^*; Y)$ بين الأدلة والعمل الأمثل.
• تقليل التباين: تثبت المبرهنة 4.3 أن حقن أدلة قابلة للتحقق $E_t$ يسبب انكماش اللاحقة (posterior contraction). في بيئة خطية-غاوسية، تزيد الأدلة القابلة للتحقق من مصفوفة الدقة (مقلوب التباين) لاعتقاد الوكيل الكامن، مما يضيق التوزيع حول معلمة الدور الحقيقية ويقلل من احتمالية اختيار إجراءات غير متوافقة.

3. المنهجية: عزو الأدلة الوكيل (AEA)

لمعالجة انهيار اللاحقة، يقترح المؤلفون عزو الأدلة الوكيل (Agentic Evidence Attribution - AEA)، وهو نموذج يعمل على حقن أدلة مهيكلة ومحددة السياق في عملية اتخاذ القرار للوكيل لزيادة حدة اللاحقة لديه.

يعمل AEA من خلال تحليل مسارات الدورات (turn-level traces) من مسارات MAS الحالية لتحديد الأخطاء الحاسمة (الأفعال التي تسبب الفشل) وتعيين تغذية راجعة خاصة بالدور. يعتمد الإطار على دالة استخراج $F$ لتوليد دليل $E_t$ من تاريخ المسار $\tau_{<t}$.

تقيم الورقة تطبيقين لـ AEA:

1. التأمل الذاتي (التمهيد الذاتي - Bootstrapping): يقوم النموذج الأساسي ($M_{base}$) بتحليل مساراته الخاصة لتوليد الأدلة. يجادل المؤلفون بأن هذا محدود نظرياً بسبب فرضية المنطلق المهيمن (Dominant Prior)؛ نظرًا لأن الوكيل المتأمل يتشارك نفس المنطلق المسبق للتدريب المسبق مع الوكيل الفاعل، فإنه غالباً ما يقوم بـ "تبرير" الأخطاء بدلاً من تصحيحها، مما يؤدي إلى امتثال وهمي.
2. التعميم من الضعيف إلى القوي (Weak-to-Strong Generalization): يتم تدريب نموذج أدلة منفصل وأصغر ($M_\omega$، مثل نموذج بـ 4 مليارات معلمة) خصيصاً لتعظيم المعلومات المتبادلة $I(L^*; E_t | Y_t)$ بين الدليل والعمل الأمثل. يتم تدريب هذا النموذج عبر عملية من مرحلتين (بدء تشغيل تحت الإشراف متبوعاً بالتعلم المعزز القائم على GRPO) على مجموعة بيانات من المسارات الوكيل المشروحة. ومن الأهمية بمكان أن هذا النموذج متميز عن النموذج الأساسي، مما يسميز له بتقديم عزو فشل متعامد (orthogonal failure attribution) يكسر تناظر المنطلق المسبق المهيمن.

4. النتائج التجريبية

قيم المؤلفون AEA على ستة اختبارات معيارية صعبة: HumanEval (البرمجة)، DataBench (تحليل البيانات الجدولية)، SciBench (الكيمياء/الفيزياء)، و AIME24/25 (الرياضيات).

• مكاسب الأداء: قلل AEA باستمرار من أخطاء التنسيق وحسن الموثوقية عبر مختلف النماذج الأساسية (سلسلة Claude 3، سلسلة GPT-4o). ومن الجدير بالذكر أن Weak-to-Strong AEA تفوق على التأمل الذاتي، خاصة في المهام المعقدة التي تتطلب التزاماً صارماً بالبروتوكول (مثل DataBench، AIME).
• المقارنة مع التوسع: تسلط الدراسة الضوء على أن "توسيع وقت الاختبار الوكيل" (إضافة المزيد من الوكلاء) غالباً ما يتسبب في تكاليف حسابية هائلة (12-13 ضعف وقت الاستجابة) ويمكن أن يؤدي إلى تدهور الأداء بسبب تضخم عدم التوافق. حقق AEA مكاسب في الأداء لم يستطع التوسع الساذج تحقيقها، وغالباً مع زيادة بنسبة ~6% فقط في تكلفة الرموز (tokens).
• عزو الفشل: في اختبار Who&When، حقق نموذج AEA-4B المتخصص دقة أعلى بكثير (60.79% دقة الوكيل) في تحديد الوكيل والخطوة المسؤولين عن الفشل مقارنة بالنماذج الأكبر والأكثر عمومية (مثل GPT-4o بنسبة 50.00%).
• التحقق من انهيار اللاحقة: أكدت التحليلات التجريبية الادعاءات النظرية:
  • أظهرت الوكلاء غير المتوافقين تداخلاً وظيفياً عالياً (58.3%) ودقة دور منخفضة، مما يؤكد انهيار اللاحقة.
  • قلل Weak-to-Strong AEA التداخل الوظيفي إلى 29.5% وضاعف دقة الدور تقريباً.
  • قلل AEA من تباين تضمينات الإجابة النهائية، مما أثبت انكماش اللاحقة.

5. الأهمية والادعاءات

تدعي الورقة أن العديد من إخفاقات الوكلاء المتعددين تنبع من سوء توصيف المنفعة (انهيار اللاحقة) بدلاً من نقص قدرة النموذج الأساسي. المساهمات الرئيسية هي:

1. التوصيف الرسمي: تقديم تعريف بايزي صارم لعدم التوافق الوكيل كفشل في استنتاج الدور بسبب المطالب المهيمنة والأدلة الشحيحة.
2. التوافق القائم على الأدلة: إثبات أن التوافق المشروط بالأدلة هو وسيلة أكثر فعالية لتحسين الموثوقية من مجرد زيادة الحوسبة أو حجم النموذج.
3. التعميم من الضعيف إلى القوي: إظهار أن النماذج الصغيرة والمتخصصة يمكنها مواءمة الوكلاء الأقوياء بفعالية من خلال تقديم إشارات أدلة متعامدة لا يمكن للمنطلق المسبق للنموذج الأساسي توليدها.
4. الإشراف القابل للتوسع: اقتراح إطار عمل حيث يمكن بناء تدفقات عمل مؤتمتة موثوقة من خلال ربط وكلاء الاستدلال الأقوياء مع مواءِمات متخصصة ومركزة على الأدلة، مما يوفر مساراً نحو الإشراف القابل للتوسع في الأنظمة المستقلة.

يخلص المؤلفون إلى أنه بينما يضيف AEA تكاليف استدلال طفيفة، فإنه يغير بشكل أساسي مقايضة الكفاءة والموثوقية من خلال تحويل الحوسبة الإضافية الطفيفة إلى تقليل ضروري لتباين اللاحقة، مما يعالج "لعنة الأبعاد" في موثوقية الوكلاء المتعددين.