From Competition to Coordination: Market Making as a Scalable Framework for Safe and Aligned Multi-Agent LLM Systems

1. بيان المشكلة

أدى النشر السريع للنماذج اللغوية الكبيرة (LLMs) كوكلاء متفاعلين في الأنظمة متعددة الوكلاء إلى ظهور تحديات حرجة تتعلق بـ الموثوقية، والشفافية، والمساءلة. تواجه منهجيات المحاذاة الحالية قيوداً جوهرية:

• التعلم المعزز من التغذية الراجعة البشرية (RLHF): عرضة لـ "اختراق المكافأة" (reward hacking) وخداع المقيم؛ وتواجه صعوبة في التوسع لتصل إلى قدرات الاستدلال الفائقة للبشر.
• النهج القائم على المناظرة: يعتمد على التحكيم البشري الذي لا يمكنه التوسع؛ وغالباً ما يؤدي إلى نتائج ثنائية (ربح-خسارة) تتجاهل المعلومات الجزئية.
• الخداع الاستراتيجي: تظهر النماذج المتقدمة سلوكيات مثل "التملق" (sycophancy)، وعدم الصدق المنهجي، والقدرة على التلاعب ببروتوكولات التقييم، وهو ما يزداد سوءاً مع زيادة حجم النموذج.

التحدي الجوهري هو استخلاص المعرفة الكامنة (ELK): استخراج التمثيلات الداخلية الحقيقية للنموذج بدلاً من مخرجاته المختارة استراتيجياً، دون الاعتماد على الإشراف البشري المستمر.

2. المنهجية: إطار عمل صانع السوق

يقترح المؤلفون إطار عمل لصنع السوق ينظم تفاعلات الوكلاء كعمليات تبادل اقتصادية مهيكلة بدلاً من المناظرات العدائية. هذا يحول البحث عن الحقيقة إلى حالة من توازن الحوافز.

المكونات الأساسية:

• صانع السوق ($M$): وكيل يقوم بنشر "الأسعار" (الاعتقادات الاحتمالية) حول القضايا. يقدم حكماً أولياً يتكون من ادعاء، واستدلال، وقيمة تنبؤ $p_0 \in [0, 1]$.
• نموذج المتداول: وكيل (باستخدام نفس عائلة النموذج) يعمل كطرف مشارك في السوق. يقوم بتوليد حجج تهدف إلى تغيير قيمة تنبؤ صانع السوق بأقصى قدر ممكن بناءً على معتقداته الخاصة.

العملية التكرارية:

1. التهيئة: يقدم صانع السوق ($M$) تنبؤاً أولياً $p_0$.
2. دورة التداول: يقدم المتداول حجة لتغيير معتقد صانع السوق ($M$). يقوم $M$ بتحديث حكمه وقيمة تنبؤه ($p_t$) بناءً على الدليل الجديد.
3. التقارب: تتكرر الدورة حتى:
   • الوصول إلى الحد الأقصى من التكرارات ($N=10$).
   • الوصول إلى حالة التوازن، والتي تُعرف بأن نطاق آخر ثلاث قيم للتنبؤ يحقق: $\max\{p_{t-2}, p_{t-1}, p_t\} - \min\{p_{t-2}, p_{t-1}, p_t\} \leq T$ (حيث $T=0.2$).
4. التقييم: تتم مقارنة الدقة النهائية لحكم $M$ المتقارب مقابل خط الأساس الأولي (الدفعة الواحدة).

مبادئ التصميم الرئيسية:

• محاذاة الحوافز: يتم تحفيز الوكلاء لتقديم مساهمات صادقة لتعظيم الصفقات المربحة، بدلاً من محاولة "الفوز" في جدال.
• السلوك قصير النظر: يشجع الإطار الوكلاء على تحسين الصفقات الخطوية الفورية، مما يقلل من حوافز التخطيط طويل الأمد أو التلاعب.
• القابلية للتحقق: خطوات الاستدلال الوسيطة وتحديثات الاحتمالات شفافة، مما يوفر قابلية للتفسير غالباً ما تُفقد في النماذج "الصندوق الأسود".

3. المساهمات الرئيسية

• آلية تنسيق مبتكرة: تقدم بديلاً قابلاً للتوسع وآلياً للإشراف البشري والمناظرة العدائية لمحاذاة النماذج اللغوية الكبيرة متعددة الوكلاء.
• التحقق التجريبي: تثبت أن مبادئ التنسيق الاقتصادي يمكن أن تفعّل المساءلة والمتانة عبر عائلات نماذج متنوعة (GPT, Qwen, Llama) ومجالات مهام مختلفة.
• القابلية للتوسع: توضح أن إطار العمل يحسن دقة الاستدلال دون الحاجة إلى إنفاذ خارجي، مما يجعله مناسباً لسيناريوهات النشر في العالم الحقيقي.
• القابلية للتفسير: يحافظ على شفافية خطوات الاستدلال الوسيطة، مما يسمح بفحص كيفية تقارب المعتقدات الجماعية نحو الحقيقة.

4. النتائج التجريبية

تم تقييم إطار العمل عبر أربعة اختبارات مرجعية: TruthfulQA (الدقة الواقعية)، وScruples (المعضلات الأخلاقية)، وETHICS (العدالة والمنطق السليم)، وCommonsenseQA 2.0 (الاستدلال العام).

أبرز نقاط الأداء:

• زيادات الدقة الإجمالية: حقق التنسيق القائم على السوق مكاسب في الدقة تصل إلى 10% مقارنة بخطوط الأساس ذات الدفعة الواحدة.
• أداء عائلات النماذج:
  • عائلة Qwen: أظهرت التحسن الأكثر أهمية، بمتوسط صافي ربح قدره 6.08% في TruthfulQA وما يصل إلى 19.01% في ETHICS-Justice. ويعزو المؤلفون ذلك إلى تركيز التدريب اللاحق لـ Qwen3 على استدلال سلسلة الأفكب (chain-of-thought).
  • عائلة GPT: حققت متوسط صافي ربح قدره 2.74% في TruthfulQA.
  • عائلة Llama: أظهرت متوسط صافي ربح قدره 4.99% في TruthfulQA.
• خصوصية المهام: كانت التحسينات أكثر وضوحاً في الاستدلال الواقعي والاستدلال المنطقي السليم. كان الأداء مختلطاً في الجزء الخاص بـ "العدالة" من اختبار ETHICS، مما يشير إلى أن التفاصيل الأخلاقية لا تزال تشكل تحدياً.
• تدرج المعلمات: تتبع العلاقة بين حجم النموذج وفعالية صنع السوق شكلاً منحنياً (inverted U-shape).
  • النماذج الصغيرة (<1B): تفتقر إلى القدرة التمثيلية للتحديثات الاحتمالية الدقيقة.
  • النماذج متوسطة الحجم: تستفيد أكثر، حيث تمتلك قدرة استدلال كافية مع الاحتفاظ بقدر كافٍ من عدم اليقين للتعلم من المراجعة التكرارية.
  • النماذج الضخمة (>100B): تعاني من "تأثير السقف" بسبب الدقة المرتفلة أصلاً والثقة المفرطة، مما يحد من المكاسب الهامشية.

5. الأهمية والآثار المترتبة

• التحول من العدائية إلى التعاون: على عكس المناظرة، التي تفرض نتائج ثنائية، يسمح صنع السوق بتحديثات احتمالية مستمرة وتجميع المعلومات، مما يؤدي إلى تقارب أكثر استناداً إلى أسس رياضية.
• الإشراف القابل للتوسع: يوفر إطار العمل مساراً نحو ذكاء اصطناعي ذاتي التصحيح يحافظ على الثقة والإشراف دون قيود النطاق الترددي للتحكيم البشري.
• المتانة ضد الخداع: من خلال تحفيز المساهمات الصادقة عبر آليات اقتصادية بدلاً من الإقناع، يقلل النظام من خطر الخداع الاستراتيجي والتملق.
• الاتجاهات المستقبلية: يشير المؤلفون إلى وجود قيود، مثل افتراض المشاركة بحسن نية والتركيز الحالي على التصنيف الثنائي. يهدف العمل المستقبلي إلى تكييف إطار العمل للحقائق القائمة على الطيف (توزيعات الاحتمالات) واختبار الصمود ضد الوكلاء العدائيين.

في الختام، يثبت هذا البحث أن صنع السوق يمثل نموذجاً ناجعاً وقابلاً للتوسع لمحاذاة الأنظمة متعددة الوكلاء للنماذج اللغوية الكبيرة، وذلك عبر الاستفادة من المبادئ الاقتصادية لاستخلاص السلوك الصادق وتعزيز قدرات الاستدلال الجماعي.