The Hallucination Snowball: Modeling Error Propagation as State Transitions in Multi-Agent LLM Pipelines
تقدم هذه الورقة نموذج "كرة ثلج الهلوسة" لتوضيح كيف تتحول الأخطاء في مسارات النماذج اللغوية الكبيرة متعددة الوكلاء وتصبح عصية على الكشف بشكل متزايد مع انتشارها عبر المراحل، مما يثبت أن التحقق في المراحل المبكرة أكثر فعالية بشكل كبير من الفحص في نهاية المسار للحد من بقاء الهلوسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، ظهرت بنية جديدة لمعالجة المهام المعقدة: خط الإنتاج متعدد الوكلاء (multi-agent pipeline). تخيل فريقاً من العمال المتخصصين، لكل منهم وظيفة متميزة، يمررون وثيقة واحدة عبر سلسلة. قد يقوم أحد الوكلاء بالبحث في موضوع ما، ثم يقوم التالي بتحليل النتائج، وثالث بصياغة سرد، ورابع بمراجعة المسودة النهائية. هذا النهج، الذي تستخدمه الأطر البرمجية الكبرى للتعامل مع كل شيء من التقارير المالية إلى الملخصات الطبية، يعتمد على فرضية بسيطة: كل عامل يثق في مخرجات من سبقه. فهم يتلقون فقط النص الممرر إليهم، دون الوصول إلى وثائق المصدر الأصلية أو وسيلة للتحقق من الحقائق التي تُسلم إليهم. وبينما تسمح سلسلة الثقة هذه بسير عمل متطور، إلا أنها تخلق ثغرة خفية؛ فإذا ارتكب العامل الأول خطأً، فإن هذا الخطأ لا يبقى ساكناً، بل ينتقل عبر السلسلة، ويتغير شكله ويصبح أصعب في الرصد مع كل عملية تسليم.
لطالما ركز الباحثون على بناء كواشف أفضل للإمساك بهذه الأخطاء، بافتراض أنه إذا كان الذكاء الاصطناعي ذكياً بما يكفي، فبإمكانه رصد الكذب في قصة ما. ومع ذلك، يتحدى بحث جديد هذا الافتراض، كاشفاً أن المشكلة ليست في نقص الذكاء، بل في خلل هيكلي في كيفية انتقال المعلومات. فقد أظهر الباحثون، من خلال العمل مع نظام مكون من أربعة وكلاء مصمم للتحليل المالي، أن حقيقة كاذبة أُدخلت في بداية السلسلة تخضع لعملية تحول تجعل من المستحيل تقريباً اكتشافها بحلول الوقت الذي تصل فيه إلى النهاية. وقد أطلقوا على هذه الظاهرة اسم "كرة ثلج الهلوسة" (hallucination snowball). تماماً كما تجمع كرة ثلج صغيرة تتدحرج من فوق تلة المزيد من الثلج وتصبح صعبة الإيقاف، فإن خطأً صغيراً في رقم خام يتم تغليفه بالحسابات، ثم نسجه في قصة، وأخيراً اعتماده كاستنتاج واثق. ومع كل خطوة، يتم تدمير القدرة على إثبات خطأ الحقيقة بشكل منهجي.
لفهم كيفية حدوث ذلك، أعد الفريق تجربة منضبطة باستخدام خط إنتاج من أربعة وكلاء: باحث، ومحلل، وكاتب، ومراجع. بدأوا بمجموعة من البيانات المالية الحقيقية وأدخلوا عمداً أرقاماً كاذبة في مخرجات الباحث، مثل تغيير تكلفة البضائع المباعة لشركة ما من قيمة حقيقية قدرها 63.1 مليار دولار إلى قيمة مفبركة قدرها 71.2 مليار دولار. ثم راقبوا كيف سافرت هذه الكذبة عبر النظام. في المرحلة الأولى، كان الرقم الكاذب حقيقة خام، سهلة التحقق بمقارنتها بالسجلات الأصلية. وفي المرحلة الثانية، استخدم المحلل هذا الرقم الكاذب لحساب نسبة مئوية للزيادة السنوية، محولاً الكذبة إلى عملية حسابية مشتقة. وفي المرحلة الثالثة، قام الكاتب بنسج هذا الحساب في فقرة من النثر المهني، موضحاً سبب مواجهة الشركة لـ "ضغوط تكلفة كبيرة". وأخيراً، راجع المراجع التقرير، وهو لا يرى سوى النص المصقول ولا يملك وصولاً إلى الوثائق الأصلية، ووافق على أن التقرير منطقي وسليم.
كانت النتائج صارخة. فعندما اختبر الباحثون مدى قدرة نموذج ذكاء اصطناعي قوي على رصد الكذبة في كل مرحلة، انخفض معدل الكشف بشكل كبير. في البداية، رصد النموذج 72 بالمائة من الأخطاء، ولكن بحلول الوقت الذي وصل فيه الخطأ إلى المراجع النهائي، انخفض معدل الكشف إلى ما يزيد قليلاً عن 50 بالمائة. بل إن أكثر من واحد من كل خمس كذبات تم حقنها نجت من العملية بأكملها دون اكتشافها، لتظهر في التقرير النهائي كما لو كانت حقيقة. وأظهرت الدراسة أن هذا التدهور لم يكن عشوائياً؛ فقد حدث بأشد حدته عندما تحول الرقم الخام إلى عملية حسابية، ومرة أخرى عندما تحولت تلك العملية الحسابية إلى قصة. وبحلول الوقت الذي أصبح فيه الخطأ جزءاً من سرد، أصبح غير مرئي هيكلياً لأي فحص لاحق. وحتى أكثر نماذج الذكاء الاصطناعي تقدماً التي تم اختبارها، والتي يمكنها رصد ما يقرب من 90 بالمائة من الأخطاء في البداية، لم تستطع التغلب على هذا السقف الهيكلي. وعند إسقاط قدرتها عبر خط الإنتاج، انخفضت قدرتها على اكتشاف الخطأ النهائي إلى نطاق يسمح بنحو نصف الأكاذب بالمرور.
اختبر الباحثون أيضاً حلاً شائعاً: فحص المخرجات النهائية بحثاً عن الأخطاء. ووجدوا أن الانتظار حتى نهاية الخط للتحقق من العمل كان عديم الفائدة تقريباً. ولأن الحقائق الأصلية قد تم تحويلها ودفنها في النص، فإن الفحص النهائي لم يستطع إلا رصد جزء ضئيل من الأخطاء المتبقية، مما لم يقدم أي تحسن يُذكر مقارنة بعدم وجود فحص على الإطلاق. وتجادل الدراسة بأن توقيت الفحص يهم أكثر من جودة الأداة المستخدمة. فعندما وضع الباحثون فحصاً آلياً بسيطاً عند كل نقطة تسليم بين الوكلاء، تغيرت النتائج تماماً. فمن خلال رصد الخطأ بينما كان لا يزال رقماً خاماً، قبل أن يتحول إلى عملية حسابية أو قصة، قللوا عدد الأكاذب الناجية من ما يقرب من 60 بالمائة إلى 16 بالمائة فقط. كان هذا التدخل فعالاً للغاية، حيث نجح فحص واحد في أول عملية تسليم في رصد ثلاثة أرباع جميع الأخطاء، مما أثبت أنه كلما كان التحقق مبكراً، كان أكثر قوة.
ومع ذلك، هناك ضريبة لهذا النهج. فعندما يقوم النظام بتصفية الأخطاء بقوة في البداية، تحتوي التقارير النهائية أحياناً على فجوات حيث ينبغي أن توجد أرقام، لأن الوكلاء اللاحقين لم يكونوا دائماً قادرين على ملء القيم المصححة بشكل مثالي. أدى هذا إلى انخفاض طفيف في درجة الاتساق الداخلي للتقارير، مما جعلها تبدو أقل صقلاً. ومع ذلك، يؤكد الباحثون أن تقريراً يتسم بالطلاقة ولكنه مبني على أرقام مفبركة هو أقل قيمة بكما من تقرير قد يكون أقل أناقة ولكنه دقيق واقعياً. وتخلص الدراسة إلى أن الحل لهذه المشكلة ليس في بناء كواشف أذكى في نهاية الخط، بل في وضع بوابات في البداية. فمن خلال التحقق من المعلومات قبل تحويلها، يمكننا إيقاف كرة الثلج قبل أن تكتسب زخماً، مما يضمن أن المخرج النهائي مبني على أساس من الحقيقة بدلاً من كونه نتاج تسلسل من الأخطاء غير المصححة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.