تخيل عالماً حيث يتم توظيف فرق من المساعدين الرقميين، مدعومين بحواسيب عملاقة تشبه الأدمغة تسمى النماذج اللغوية الكبيرة (LLMs)، لحل الألغاز المعقدة. هذه الفرق، المعروفة باسم الأنظمة متعددة الوكلاء (MAS)، تشبه مجموعة من الأصدقاء يعملون معاً: أحدهم يخطط للمسار، والآخر يقود السيارة، والثالث يفحص الخريطة، والرابع يطلب المساعدة إذا ضلوا الطريق. الوعد الكبير هو أنه من خلال تقسيم العمل والتحدث مع بعضهم البعض، يمكنهم حل مشكلات لا يستطيع شخص واحد (أو حاسوب واحد) التعامل معها بمفرده. لكن هنا تكمن العقبة: في الوقت الحالي، نحن نعرف فقط ما إذا نجحوا من خلال النظر إلى الإجابة النهائية، مثل التحقق مما إذا كانت المسألة الرياضية قد حصلت على الرقم الصحيح. نحن لا نعرف حقاً كيف عملوا معاً. هل تجادلوا؟ هل تجاهلوا بعضهم البعض؟ هل أضاعوا الوقت في تكرار نفس الشيء؟ الأمر يشبه الحكم على مباراة كرة سلة من خلال النتيجة النهائية فقط، متجاهلين ما إذا كان الفريق قد مرر الكرة بالفعل أم أن لاعباً واحداً ركض طوال الوقت.

هنا تأتي فكرة جديدة تسمى ForestBench. أدرك الباحثون وراء هذا المشروع أننا لكي نفهم هذه الفرق الرقمية حقاً، نحتاج إلى التوقف عن مجرد النظر إلى النتيجة النهائية والبدء في النظر إلى "رقصة" تعاونهم. لقد بنوا أداة خاصة تحول الطرق المختلفة والفوضوية التي تتحدث وتعمل بها هذه الفرق إلى صورة واحدة واضحة—خريطة من الروابط. بدلاً من السؤال، "هل أصابوا؟"، يسأل ForestBench: "كيف عملوا معاً، وهل يشبه عملهم الجماعي الفرق الناجحة الأخرى؟". إنه يشبه امتلاك مكتبة من رقصات الأداء المثالية ("غابة" من الأشجار) لمقارنة أداء فريق جديد بها، بدلاً من مجرد قول "عمل جيد" أو "عمل سيئ" بناءً على الوضعية النهائية.

المشكلة: فخ "الإجابة النهائية"

لفترة طويلة، كان العلماء يختبرون هذه الفرق من الذكاء الاصطناعي باستخدام اختبارات قياسية، مثل اختبارات الرياضيات أو تحديات البرمجة. لكن هذه الاختبارات لديها نقطة عمياء؛ فهي تهتم فقط بما إذا كانت الإجابة النهائية صحيحة. إذا حصل فريقان على نفس الإجابة الصحيحة، فإن الاختبار يعاملهما بالتساوي. ولكن ماذا لو جادل أحد الفريقين لساعات وأضاع الكثير من الطاقة، بينما عمل الفريق الآخر في تناغم تام؟ الاختبارات القديمة لا تستطيع تمييز الفرق. إنها تلقي بكل التفاصيل المثيرة للاهتمام للتعاون.

حاول البعض إصلاح ذلك باستخدام ذكاء اصطناعي آخر ليعمل كحكم، يقرأ سجلات الدردشة الخاصة بالفريق ويقرر ما إذا كان العمل الجماعي جيداً. لكن هذا مكلف وبطيء ويعتمد على نوع الذكاء الاصطناعي الذي يقوم بالتحكيم. الأمر يشبه طلب حكم آخر لمشاهدة كل مباراة؛ فأحياناً قد يحبون أسلوب لعب معيناً، وأحياناً قد لا يحبونه، مما يجعل من الصعب مقارنة الفرق بشكل عادل.

الحل: تحويل الفوضى إلى خريطة

يقترح مؤلفو هذه الورقة حلاً ذكياً: الرسوم البيانية (Graphs). فكر في الرسم البياني كرسومات بسيطة تتكون من نقاط وخطوط. في هذه الحالة، في كل مرة يقوم فيها وكيل ذكاء اصطناعي (عامل رقمي) بشيء ما—مثل إرسال رسالة، أو استخدام أداة، أو اتخاذ قرار—يصبح ذلك نقطة. وفي كل مرة يُستخدم فيها عمل أحد الوكلاء من قبل وكيل آخر، يربطهم خط.

هذا يحول المحادثة الفوضوية إلى خريطة نظيفة ومنظمة. لا يهم ما إذا كان اسم الوكلاء "بوب" أو "الوكيل 1"، أو ما إذا كانوا يتحدثون بلغات مختلفة؛ فالخريطة توضح فقط من فعل ماذا ومن استمع لمن. تُسمى هذه الخريطة رسم التعاون البياني (Collaboration Graph). ومن خلال تحويل أداء كل فريق إلى رسم بياني، يستطيع الباحثون أخيراً مقارنة الفرق المختلفة على أرضية واحدة متساوية.

استعارة "الغابة"

هذا هو الجزء الأكثر إبداعاً. أدرك الباحثون أنه لا توجد طريقة واحدة مثالية لحل المشكلة. فقد يحل فريق مسألة رياضية من خلال الجدال ذهاباً وإياباً، بينما يحل فريق آخر المسألة من خلال تعيين قائد يوزع المهام على المتخصصين. كلتا الطريقتين تعملان، لكنهما تبدوان مختلفتين تماماً.

إذا اختار الباحثون طريقة واحدة "مثالية" فقط لحل المشكلة وقارنوا الجميع بها، فإنهم سيعاقبون الفرق التي تستخدم أسلوباً مختلفاً، ولكنه ناجح أيضاً، بشكل غير عادل. لذا، بدلاً من "معيار ذهبي" واحد على شكل شجرة، بنوا غابة مرجعية (Reference Forest).

تخيل غابة حيث تمثل كل شجرة طريقة مختلفة للنجاح في حل مشكلة ما. بعض الأشجار طويلة ومستقيمة (مثل خطة صارمة)، بينما البعض الآخر كثيف ومتفرع (مثل نقاش حر التدفق). عندما يحاول فريق ذكاء اصطناعي جديد تنفيذ مهمة، لا يتحقق ForestBench فقط مما إذا كانوا يطابقون شجرة معينة، بل يتحقق من مدى ملاءمة "خريطتهم" للغابة بأكملها. إنه يسأل: "هل يشبه عملكم الجماعي أي الطرق الناجحة التي رأيناها من قبل؟".

كيف يعمل في الواقع

لبناء هذا النظام، قام الباحثون بثلاثة أشياء رئيسية:

1. إيجاد الألغاز المناسبة: بحثوا في 7 مجموعات بيانات عامة (مجموعات من الأسئلة) واستبعدوا الأسئلة السهلة. احتفظوا فقط بـ 844 سؤالاً معقداً بما يكفي لـ تتطلب العمل الجماعي. إذا كان السؤال بسيطاً جداً، يمكن لوكيل ذكاء اصطناعي واحد حله بمفرده، ولن يكون هناك تعاون مثير للاهتمام لدراسته.
2. بناء الغابة: قاموا بتشغيل 6 من أطر عمل فرق الذكاء الاصطناعي الشهيرة على هذه الأسئلة الـ 844. لكل سؤال، جمعوا 10 محاولات ناجحة مختلفة. أصبحت هذه "الخرائط" العشر الناجحة هي الغابة المرجعية لهذا السؤال المحدد.
3. إنشاء بطاقة الأداء: ابتكروا مجموعة من القواعد لقياس الخرائط. إنهم ينظرون إلى أشياء مثل:
   • مطابقة الغابة (Forest Match): إلى أي مدى تشبه خريطة هذا الفريق الخرائط الناجحة في الغابة؟
   • صلاحية العقد (Node Validity): هل تم استخدام عمل الجميع، أم أن بعض الوكلاء تحدثوا إلى الفراغ؟
   • التكرار (Redundancy): هل كرر الفريق نفس المعلومات مراراً وتكراراً؟
   • الكفاءة (Efficiency): كم عدد "الرموز" (العملة الرقمية لتفكير الذكاء الاصطناعي) التي أنفقوها؟

ما وجدوه

عندما اختبروا 6 من أطر عمل فرق الذكاء الاصطناعي باستخدام ForestBench، وجدوا بعض الأشياء المفاجئة التي فاتتها اختبارات "الإجابة النهائية" القديمة:

• الدقة ليست كل شيء: أحد الأطر التي تسمى "المناظرة" (Debate) حصل على أعلى عدد من الإجابات الصحيحة. ولكن عندما نظرت إلى الخريطة، وجدنا أنه كان في الواقع الأقل تشابهاً مع الأنماط الناجحة في الغابة. كما كان الأكثر تكلفة، حيث استهلك ضعف قوة الحوسبة تقريباً مقارنة بأرخص فريق.
• العيوب الخفية: إطار عمل آخر، وهو "AFlow"، حقق دقة عالية ولكنه كان "تكرارياً" للغاية. كان يستمر في تكرار نفس المعلومات، مثل طالب يستمر في إعادة كتابة نفس الجملة في مقال.
• أساليب مختلفة لمهام مختلفة: في بعض المهام، مثل البرمجة، كان أسلوب "المناظرة" يبدو أكثر تشابهاً مع الأنماط الناجحة. وهذا يوضح أن "أفضل" طريقة للتعاون تعتمد على ما تحاول القيام به.

لماذا هذا مهم

أكبر فوز لـ ForestBench هو السرعة والعدالة. بمجرد بناء "الغابة" من الخرائط الناجحة، يستغرق فحص فريق جديد أجزاء من الثانية ولا يتطلب مطالبة ذكاء اصطناعي آخر بالحكم عليهم. إنها طريقة قابلة لإعادة الاستخدام وموضوعية لمعرفة كيف تعمل الفرق، وليس فقط إذا كانت تعمل.

يشير الباحثون إلى أن هذا النهج يساعدنا على فهم أنه لا توجد طريقة واحدة "مثالية" لتعاون وكلاء الذكاء الاصطناعي. بدلاً من ذلك، نحتاج إلى النظر في هيكل عملهم الجماعي. إذا فشل فريق، يمكن لـ ForestBench أن يخبرنا لماذا: هل فشلوا لأنهم لم يتحدثوا بما يكفي؟ هل أضاعوا الوقت في تكرار أنفسهم؟ أم أنهم ببساطة حصلوا على الإجابة الخاطئة؟

باختصار، ينقلنا ForestBench من السؤال "هل فازوا؟" إلى "كيف لعبوا اللعبة؟". من خلال رسم خريطة للرقصة غير المرئية لتعاون الذكاء الاصطناعي، فإنه يمنحنا طريقة أوضح وأكثر صدقاً لبناء فرق أفضل وأذكى من المساعدين الرقميين.