When Does Hallucination Propagate? Reconciling Six Formalizations of Error Spread in Multi-Agent LLM Systems
تُوفّق هذه الورقة البحثية بين النتائج المتناقضة حول انتشار الهلوسة في أنظمة النماذج اللغوية الكبيرة متعددة الوكلاء من خلال إثبات أن ستة نماذج صياغية متميزة هي مجرد إسقاطات لعملية واحدة تحكمها علاقات الارتباط بالخطأ وقنوات التحقق المستقلة، مما يكشف أن الانتشار يعتمد على المقاييس الهيكلية بدلاً من الطوبولوجيا وحدها، وأن زيادة التنوع الأولي للوكلاء يمكن أن تؤدي للمفارقة بتضخيم الادعاءات الزائفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي عالي المخاطر، يعمل المهندسون بشكل متزايد على بناء فرق من المساعدين الرقميين بدلاً من الاعتماد على عقل واحد قوي. والمنطق وراء ذلك بديهي: إذا ارتكب نموذج لغوي كبير خطأً ما، يمكن لنموذج ثانٍ رصده، وثالث أن يؤكد التصحيح. هذا النهج، المعروف باسم "النظام متعدد الوكلاء"، يتم نشره لمراجعة الفرز الطبي، وتحليل العقود المالية، وفحص الأدبيات العلمية، حيث يمكن لخطأ واقعي واحد أن يكون مكلفاً. والأمل هو أنه من خلال جعل هؤلاء الوكلاء يراجعون بعضهم البعض، تصبح المجموعة أكثر موثوقية من أي عضو فردي. ومع ذلك، يشير متن متزايد من الأبحاث إلى أن هذا العمل الجماعي قد يأتي بنتائج عكسية أحياناً؛ فبدلاً من رصد الأخطاء، يمكن للوكلاء تعزيزها عن طريق الخطأ، مما يتسبب في انتشار ادعاء زائف عبر المجموعة مثل الإشاعة، ويكتسب وزناً وثقة مع كل تكرار.
هذا التناقض هو محور مراجعة منهجية جديدة أجراها شاوشوان تشانغ، الباحث في معهد هاربين للتكنولوجيا. يتناول البحث وضعاً مربكاً حيث توصلت درستان حديثتان، تتبعان نفس النوع من الخطأ عبر سلسلة من الوكلاء، إلى استنتاجين متضادين. وجدت إحدى الدراستين أن الأخطاء كانت تصغر وتصبح أسهل في الرصد كلما انتقلت عبر السلسلة، بينما وجدت الأخرى أن الأخطاء أصبحت أصعب في الكشف عنها واستمرت لفترة أطول. وكلتا الدراستين كانتا صحيحتين، لكنهما كانتا تقيسان شيئين مختلفين؛ فقد كانت إحداهما تحصي عدد الادعاءات الزائفة، بينما كانت الأخرى تقيس مدى سهولة العثور عليها. وتوفق هذه المراجعة بين النتائج من خلال إظهار أن الادعاء الزائف يمكن أن يصبح أقل عدداً وفي الوقت نفسه يصبح أكثر خفاءً عن النظام.
جوهر عمل تشانغ هو إطار عمل يشرح بالضبط متى سينمو ادعاء زائف ومتى سيتلاشى. يحدد المؤلف عاملين هيكليين رئيسيين يحددان النتيجة. الأول هو مدى اعتماد الوكلاء على نفس المعلومات؛ فإذا كان جميع الوكلاء يقرؤون نفس سجل المحادثة أو يستخدمون نفس بيانات التدريب، فإنهم يميلون إلى ارتكاب نفس الأخطاء. وعندما يراجعون بعضهم البعض، فهم لا يقدمون آراء مستقلة، بل يكتفون بترديد الخطأ ذاته. العامل الثاني هو ما إذا كان هناك مصدر للحقيقة موجود خارج المجموعة؛ فإذا كان الوكلاء يتحدثون مع بعضهم البعض فقط، فإنهم يقعون في حلقة مفرغة. ولكن إذا كان لدى أحد الوكلاء القدرة على الوصول إلى أداة خارجية، أو قاعدة بيانات، أو فحص قائم على القواعد لا يستخدمه الآخرون، فيمكن للنظام كسر هذه الحلقة وتصحيح الخطأ.
حللت المراجعة اثنتين وأربعين ورقة بحثية نُشرت في العام الماضي لمعرفة كيف يدرس الباحثون هذه المشكلة. ووجدت أن المجال يستخدم حالياً ست لغات رياضية مختلفة لوصف العملية نفسها، مما يجعل من الصعب مقارنة النتائج. يقيس بعض الباحثين سرعة انتشار الادعاء، بينما يقيس آخرون مدى اتفاق الوكلاء مع بعضهم البعض. يقوم تشانغ برسم هذه المنهجيات المختلفة على خط زمني واحد لكيفية انتقال الادعاء؛ حيث تبدأ الرحلة بتوليد الادعاء، ثم تنتقل عبر الانتقال بين الوكلاء، ويمكن أن تنتهي بالتضخيم حيث ينمو الخطأ، أو بالتعافي حيث يتم رصده.
ظهر نمط لافت للنظر من البيانات؛ فكل دراسة تضمنت قناة تحقق مستقلة — أي شيء خارج مجموعة الوكلاء للتحقق من الحقائق — أفادت بأن الأخطاء قد انخفضت. وعلى العكس من ذلك، فإن الدراسات القليلة التي أفادت بأن الأخطاء تزداد سوءاً لم تكن تمتلك مثل هذا التحقق الخارجي. وهذا يشير إلى أن مفتاح وقف الهلوسة ليس مجرد إضافة المزيد من الوكلاء أو جعلهم يتحدثون أكثر، بل ضمان امتلاك جزء واحد على الأقل من النظام القدرة على الوصول إلى أدلة لا يمكن للأجزاء الأخرى توليدها بمفردها. كما تسلط المراجعة الضوء على خطر خفي: يمكن للنظام أن يبدو وكأنه يتحسن لأنه يتخلص من الادعاءات الزائفة، ولكنه قد يتخلص من الإجابات الصحيحة في الوقت ذات نفسه. فإذا اتفقت المجموعة على إجابة خاطئة وتجاهلت الوكيل الوحيد الذي كان على حق، فإن النظام يكون قد فشل حتى لو انخفض عدد "الهلوسات".
تخلص الورقة إلى أن التصميم الحالي للعديد من الأنظمة متعددة الوكلاء يفتقر إلى مكون حيوي: آلية تعافٍ مخصصة. فالوقاية، التي تحاول منع حدوث الأخطاء من الأساس، ليست كافية لأن الأخطاء ستنفذ حتماً. وبمجرد دخول ادعاء زائف إلى النظام، فإنه يحتاج إلى وسيلة لإزالته. وتجادل المراجعة بأن مجرد التصويت على الإجابة النهائية ليس حلاً، لأن التصويت لا يمكنه خلق معلومات جديدة؛ بل يمكنه فقط الاختيار بين الخيارات الموجودة بالفعل. وإذا لم تكن الإجابة الصحيحة ضمن مجموعة الأفكار التي ولدها الوكلاء، فلن يؤدي أي قدر من التصويت إلى إيجادها. الطريقة الوحيدة لخفض معدل الخطأ هي إدخال أدلة مستقلة تغير مجموعة الخيارات نفسها.
يوفر هذا العمل مجموعة واضحة من الأسئلة للمهندسين الذين يبنون هذه الأنظمة؛ إذ يجب عليهم تحديد ما الذي يعتبر حاملاً للادعاء، وما إذا كانت طرق التحقق الخاصة بهم مستقلة حقاً، وأي نوع من الأخطاء يقيسونه بالفعل. وتشير النتائج إلى أن وعد الأنظمة متعددة الوكلاء حقيقي، ولكن فقط إذا كان التصميم يأخذ في الاعتبار حقيقة أن الوكلاء يمكنهم بسهولة تعزيز أخطاء بعضهم البعض. وبدون فحص خارجي أو وسيلة للتعافي من الأخطاء التي انتشرت بالفعل، قد ينتهي الأمر بالنظام بتضخيم ذات الأخطاء التي بُني لحلها. إن الطريق إلى الأمام لا يقتصر فقط على جعل الوكلاء أكثر ذكاءً، بل يتعلق بهيكلة تفاعلاتهم بحيث يكون للحق طريقة للدخول إلى المحادثة من الخارج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.