More Debate, Same Evidence: Structural Limits of Homogeneous Multi-Agent Groundedness
تتحدى هذه الورقة الافتراض القائل بأن لجان المناظرة متعددة الوكلاء المتجانسة تعمل بطبيعتها على تحسين جودة الحكم، وذلك من خلال إثبات أن مثل هذه اللجان، عبر ستة معايير للتحقق من التأسد، تحقق مكاسب أو خسائر غير متسقة في الدقة مقارنة بالنماذج المرجعية أحادية الوكيل، مع كون النتائج غالباً ما تكون مشوشة بسبب استخدام متغيرات مختلفة من النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تصبح فيه الحواسيب بارعة جداً في القراءة والكتابة لدرجة أننا نبدأ في طلب تصحيح واجباتهم المدرسية من بعضهم البعض. هذا هو مجال الذكاء الاصطناعي، وتحديداً فرع نستخدم فيه "نماذج اللغات الكبيرة" (LLMs) كقضاة. فكر في نموذج اللغة الكبير كطالب متفوق ومطلع جداً قرأ كل شيء تقريباً على الإنترنت. الآن، تخيل أننا نريد من هذا الطالب أن يقرر ما إذا كانت عبارة معينة صحيحة بناءً فقط على مجموعة محددة من الحقائق المقدمة إليه. يُسمى هذا "التحقق من الاستناد إلى الحقائق" (groundedness verification). الأمر يشبه معلماً صارماً يسأل: "هل وجدت الإجابة بالفعل في الكتاب المدرسي، أم أنك من تأليف خيالك؟"
مؤخراً، ظهرت فكرة شائعة: بدلاً من وجود طالب واحد يحكم، لماذا لا يكون هناك لجنة من الطلاب؟ النظرية هي أنه إذا جلس ثلاثة طلاب، وتجادلوا وانتقدوا عمل بعضهم البعض، فإنهم سيكتشفون الأخطاء ويجدون الحقيقة بشكل أفضل من طالب واحد يعمل بمفرده. إنه المثل القديم، "رأسان خير من رأس واحد"، ولكن بنسخة موسعة لتصبح فريق مناظرة رقمي. ولكن هل ينجح هذا حقاً عندما يقرأ جميع الطلاب من نفس الكتاب المدرسي تماماً، وعندما يكونون جميعاً نسخاً من نفس العقل الخارق؟ هذا هو السؤال الكبير الذي تسعى هذه الورقة البحثية للإجابة عنه.
قرر الباحثون وضع فكرة "لجنة المناظرة" هذه قيد الاختبار. فقد بنوا فريقاً من ثلاثة قضاة ذكاء اصطناعي، يعمل جميعهم بنفس النموذج (نسخة من نفس العقل)، وقد أُعطوا نفس الأدلة وطُلب منهم التناظر حول ما إذا كان الادعاء صحيحاً أم خاطئاً. كان لديهم ثلاثة أدوار متميزة: "المشكك" الذي يبحث عن العيوب، و"المؤيد" الذي يبحث عن الدعم، و"الخبير المتخصص" الذي يفحص التفاصيل. تركواهم يتحدثون لجولتين ثم دمجوا أصواتهم لاتخاذ قرار نهائي.
كانت النتائج بمثابة صدمة للواقع. وجدت الورقة أن وجود فريق مناظرة لم يجعل القضاة أكثر ذكاءً دائماً؛ فأحياناً جعلهم أسوأ، وأحياناً أخرى لم يغير أي شيء على الإطلاق. في بعض الاختبارات، حسنت اللجنة الدقة بنحو 8.5 نقطة مئوية، ولكن في اختبارات أخرى، انخفضت بنحو 4.4 نقطة. يشير المؤلف إلى أن المناظرة لم تكن تكتشف حقائق جديدة أو تجد أدلة خفية. بدلاً من ذلك، قامت الجولة الثانية من الحديث بمجرد تغيير "عتبة القرار" لدى القضاة. كان الأمر كما لو أن القضاة لم يجدوا أدلة جديدة، بل فقط زادت ثقتتهم قليلاً أو زاد توترهم قليلاً بشأن الأدلة التي يمتلكونها بالفعل.
هذا هو الجزء الصعب: نظرًا لأن اللجنة استخدمت نسخة مختلفة قليلاً من نموذج الذكاء الاصطناعي مقارنة بالقاضي المنفرد الذي تمت مقارنته به، لا يستطيع المؤلف التأكد مما إذا كانت المناظرة نفسها هي التي تسببت في التغييرات. هو يشتبه في أن الاختلافات جاءت من مزيج النموذج ونظام المناظرة، وليس من عملية التحدث نفسها.
عندما نظروا بعمق فيما حدث أثناء المناظرة، وجدوا أن الجولة الثانية من الحجج لم تضف سوى القليل من المعلومات "الجديدة". كان القضاة يعيدون صياغة ما فكروا فيه بالفعل. علاوة على على ذلك، لم تتطابق ثقة القضاة في إجاباتهم مع مدى صحة إجاباتهم فعلياً؛ فقد يكون القاضي واثقاً بنسبة 90% ومع ذلك يكون مخطئاً. وربما الأهم من ذلك، أن القضاة الثلاثة ارتكبوا نفس الأخطاء معاً. ولأنهم كانوا جميعاً نسخاً من نفس النموذج يقرأون نفس النص، فإذا ارتبك أحدهم، فمن المرجح أن يرتبك الآخرون بنفس الطريقة تماماً. إنه مثل مطالبة ثلاثة توائم متطابقين بحل لغز؛ إذا فاتهم الجزء نفسه، فإن حديثهم مع بعضهم البعض لن يساعدهم في العثور عليه.
حاول الباحثون أيضاً إصلاح ذلك عن طريق إعادة كتابة التعليمات (الأوامر/Prompts) المعطاة للقضاة، آملين أن تساعد "شخصية" أفضل. وجدوا أن تعديلاً واحداً في تعليمات "المشكك" ساعد قلي بالقدر الضئيل في اختبار واحد محدد، حيث حسن الدقة بنحو 5 نقاط. ومع ذلك، كان هذا التحسن صغيراً، ولم يصمد تماماً تحت الفحوصات الإحصائية الصارمة، ولم يستطع إصلاح ما يقرب من نصف الأخطاء التي ارتكبها الفريق. وحتى مع أفضل التعليمات، ظلت 49 من أصل 120 مثالاً صعباً تُجاب بشكل خاطئ من قبل جميع نسخ الفريق.
الخلاصة الرئيسية هي أن مجرد إضافة المزيد من الوكلاء (Agents) إلى المناظرة لا يضمن إجابة أفضل إذا كانوا جميعاً يتشاركون نفس العقل ونفس المعلومات. تشير الورقة إلى أنه لكي نحسن هؤلاء القضاة من الذكاء الاصطناعي حقاً، قد نحتاج إلى إعطائهم مصادر معلومات مختلفة، أو استخدام نماذج مختلفة ترتكب أنواعاً مختلفة من الأخطاء، أو تغيير قواعد كيفية تصويتهم. وحتى ذلك الحين، قد يكون وجود فريق من النسخ المتطابقة يتجادلون في دائرة مجرد الكثير من الضجيج دون وجود حقيقة جديدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.