Can AI Agents Agree?

إليك ملخص تقني مفصل للورقة البحثية المسبقة "هل يمكن للوكلاء الذكيين الاتفاق؟" (Can AI Agents Agree?) من إعداد بيردوز، روجلي، وواتنهوفر (جامعة ETH Zurich).

1. بيان المشكلة

تتقصى الورقة البحثية مدى موثوقية وكلاء النماذج اللغوية الكبيرة (LLM) في الوصول إلى إجماع بيزنطي (Byzantine consensus) ضمن نظام متعدد الوكلاء. وبينما يتم نشر النماذج اللغوية الكبيرة بشكل متزايد كوكلاء تعاونيين للتخطيط والاستنتاج، فإن قدرتها على الوصول إلى قرار مشترك في البيئات العدائية أو حتى السلمية لا تزال غير مثبتة.

يركز المؤلفون على لعبة إجماع عددي (scalar consensus game) حيث:

• الهدف: يجب أن تتفق مجموعة من الوكلاء على قيمة عددية واحدة.
• إعداد عدم وجود مصلحة (No-Stake Setting): ليس لدى الوكلاء تفضيل متأصل للقيمة النهائية؛ فالهدف هو الاتفاق فقط (الصلاحية والاستمرارية)، وليس تحسين القيمة.
• السياق العدائي: تدرس الدراسة الوكلاء البيزنطيين (الجهات الفاعلة الخبيثة) الذين يحاولون تعطيل الإجماع، لاختبار ما إذا كانت مجموعات النماذج اللغوية الكبيرة يمكنها تحمل الأعطال كما في الأنظمة الموزعة الكلاسيكية.

2. المنهجية

الإعداد التجريبي

• بيئة المحاكاة: طور المؤلفون A2A-Sim، وهو محاكي شبكة متزامن (all-to-all).
• الوكلاء: يتواصل $N$ من الوكلاء عبر جولات $t = 1 \dots T_{max}$ (حيث $T_{max} = 50$).
• النماذج: استخدمت التجارب عائلات نماذج Qwen3-8B و Qwen3-14B.
• أحجام المجموعات: $N \in \{4, 8, 16\}$.
• الكسر البيزنطي: كسر $f \in [0, 1/3]$ من الوكلاء هم بيزنطيون ($B = f \cdot N$).
• التهيئة: يبدأ الوكلاء الصادقون بقيمة عددية عشوائية في النطاق $[0, 50]$. أما الوكلاء البيزنطيون فليس لديهم قيمة أولية ويمكنهم اقتراح قيم عشوائية.

آليات البروتوكول

1. البث (Broadcast): يقترح الوكلاء قيمة عددية وتبريراً نصياً.
2. الاستلام (Receive): يتلقى الوكلاء رسائل من أقرانهم.
3. التصويت (Vote): يقرر الوكلاء إما التصويت بـ vote (التوقف) أو الاستمرار continue.
4. الإنهاء (Termination): تنتهي اللعبة إذا صوت $\ge 2/3$ من جميع الوكلاء على التوقف.
   • الإجماع الصحيح (Valid Consensus): جميع الوكلاء الصادقين يحملون نفس القيمة، وتلك القيمة هي إحدى مقترحاتهم الأولية.
   • الإجماع غير الصحيح (Invalid Consensus): تم التوصل إلى اتفاق ولكن مع انتهاك الصلاحية (مثل قيمة خاطئة).
   • لا يوجد إجماع (No Consensus): يحدث انتهاء المهلة الزمنية ($T_{max}$ reached) أو فقدان الاستمرارية (liveness).

نموذج التهديد

يتم تقييد الوكلاء البيزنطيين بسلوك محدد:

• يمكنهم اقتراح قيم وتبريرات عشوائية.
• يمكنهم التكيف مع التاريخ.
• القيود: لا يمكنهم التشكيك في الهوية (إرسال رسائل مختلفة لمستلمين مختلفين)، أو تزوير الهويات، أو إسقاط الرسائل. يجب عليهم بث نفس الرسالة لجميع الأقران.

استراتيجية صياغة الأوامر (Prompting Strategy)

قارنت الدراسة بين نوعين من الأوامر للوكلاء الصادقين:

1. الوعي بالخصم (Adversary-Aware): تم تحذيرهم صراحة من احتمال وجود وكلاء بيزنطيين.
2. خلو من الخصم (Adversary-Free): لا يوجد ذكر لوجود فاعلين خبيثين محتملين.

3. المساهمات الرئيسية

1. دراسة القدرة: تقييم منهجي لإجماع النماذج اللغوية الكبيرة في البيئات السلمية، مما كشف أن الاتفاق ليس قدرة ناشئة تلقائياً حتى بدون وجود خصوم.
2. تحليل المتانة: إثبات أن وجود وكيل بيزنطي واحد فقط يؤدي إلى انهيار كارثي في معدلات نجاح الإجماع.
3. تحليل نمط الفشل: تحديد أن حالات الفشل تهيمن عليها فقدان الاستمرارية (انتهاء المهلة، تعثر التقارب) بدلاً من انتهاكات السلامة (فساد القيمة).

4. النتائج الرئيسية

أ. الأداء في البيئات السلمية ($B=0$)

• معدل نجاح منخفض: حتى بدون وجود وكلاء بيزنطيين، أدت 41.6% فقط من الجولات إلى إجماع صحيح.
• توسع النموذج: تفوق نموذج Qwen3-14B بشكل كبير على Qwen3-8B (67.4% مقابل 15.8% إجماع صحيح في الظروف المثالية)، لكن كلاهما عانى من معدلات انتهاء مهلة عالية.
• تأثير حجم المجموعة: أدى زيادة حجم المجموعة إلى تدهور الأداء. انخفض الإجماع الصحيح من 46.6% ($N=4$) إلى 33.3% ($N=16$).
• الحساسية لصياغة الأوامر: أدى حذف ذكر الوكلاء البيزنطيين من الأمر إلى تحسين أداء Qwen3-14B من 59.1% إلى 75.4% إجماع صحيح، وقلل زمن التقارب إلى النصف. يشير هذا إلى أن مجرد الإيحاء بوجود خصم يضر بالاستمرارية حتى في حال عدم وجوده.

ب. الأداء مع الوكلاء البيزنطيين

• انهيار الاستمرارية: أدى إدخال وكيل بيزنطي واحد ($B=1$) إلى تقليل الإجماع الصحيح بشكل حاد.
• طبيعة الفشل:
  • الإجماع غير الصحيح (السلامة - Safety): ظل نادراً (أقل من 5%). نادراً ما نجح الوكلاء البيزنطيون في إجبار المجموعة على الاتفاق على قيمة "خاطئة".
  • لا يوجد إجماع (الاستمرارية - Liveness): كان هذا هو نمط الفشل المهيمن. نجح الوكلاء البيزنطيون في منع المجموعة من الوصول إلى حالة التوقف، مما تسبب في انتهاء المهلة الزمنية.
• تحليل المسار: أظهرت الرسوم البيانية أن الوكلاء البيزنطيين تسببوا في جعل مسارات المقترحات تتذبذب أو تتوقف، مما منع "التكتل" (clustering) الضروري للوصول إلى الاتفاق.

5. الأهمية والخاتمة

• هشاشة التنسيق: تخلص الدراسة إلى أن الاتفاق الموثوق ليس بعد قدرة ناشئة يمكن الاعتماد عليها في مجموعات الوكلاء الحاليين من النماذج اللغوية الكبيرة. حتى في المهام العددية البسيطة التي لا تتضمن مصالح، يفشل الوكلاء غالباً في التنسيق.
• الاستمرارية مقابل السلامة: الخطر الرئيسي في إجماع النماذج اللغية الكبيرة ليس في أن يتفق الوكلاء على قيمة خبيثة (السلامة)، بل في فشلهم في الاتفاق على أي شيء على الإطلاق (الاستمرارية). وهذا أمر بالغ الأهمية للتطبيقات التي تتطلب تنسيقاً قوياً.
• مشكلات التوسع: يتدهور الأداء مع زيادة حجم المجموعة، مما يشير إلى أن بنيات النماذج اللغية الكبيرة الحالية تعاني من تعقيد تتبع الحالة متعددة الوكلاء والتفاوض.
• الآثار المترتبة: يجب توخي الحذر الشديد عند استخدام عمليات النشر التي تعتمد على وكلاء النماذج اللغية الكبيرة في التنسيق الحساس للسلامة، أو التفويض، أو اتخاذ القرار المستقل. تفتقر النماذج الحالية إلى المتانة المطلوبة لتحمل الأعطال البيزنطية.

العمل المستقبلي: يقترح المؤلفون التحقيق في استراتيجيات عدائية متنوعة، ومجتمعات من الوكلاء غير المتجانسين، ونشر على نطاق أوسع لفهم حدود اتفاق الوكلاء الذكيين بشكل أفضل.