When Failures Propagate: Causal Failure Attribution in Agentic Retrieval-Augmented Generation
تقدم هذه الورقة البحثية AgenticRAG-FP، وهو معيار تدخلي لعزو الفشل السببي في أنظمة RAG الوكيلية، والذي يكشف عن فقدان كبير في الإشارة اللاحقة عند تشخيص حالات الفشل أثناء انتشارها عبر عدة قفزات استدلالية، حيث تنخفض نسبة التشخيص القائم على التغطية من 0.91 في القفزة الأولى إلى 0.00 في القفزات اللاحقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الحديث للذكاء الاصطناعي، تتيح طريقة شائعة تسمى "التوليد المعزز بالاسترجاع" لبرامج الكمبيوتر الإجابة على الأسئلة من خلال البحث عن المعلومات في مكتبة ضخمة من المستندات قبل التحدث. فبدلاً من الاعتماد فقط على ما حفظه الجهاز، يقوم بجلب حقائق طازجة لبناء استجابته. وهناك نسخة أكثر تقدماً من هذا، تُعرف باسم "الاسترجاع الوكيل"، تمنح الكمبيوتر قدراً أكبر من الاستقلالية؛ حيث يعمل كباحث يمكنه أن يقرر البحث عن حقيقة ما، وقراءتها، ثم يقرر ما إذا كانت تلك الحقيقة كافية للإجابة على السؤال أم أنه بحاجة للبحث مرة أخرى. يمكن أن تحدث هذه العملية في سلسلة، حيث تؤدي عملية بحث واحدة إلى سؤال جديد، مما يؤدي إلى بحث آخر، وهكذا دواليك، حتى يتم الوصول إلى إجابة نهائية. وبينما يعد هذا النهج متعدد الخطوات قوياً، إلا أنه يخلق مشكلة خفية: إذا حصل الكمبيوتر على إجابة خاطئة، فغالباً ما يكون من الصعب تحديد أين حدث الخطأ بالضبط. قد يكون الخطأ قد بدأ ببحث سيء في الخطوة الأولى، لكن الكمبيوتر قد يجد طريقة لإصلاحه لاحقاً، أو قد يستمر في حمل تلك المعلومة السيئة حتى النهاية. إن فهم مكان انكسار السلسلة بدقة أمر بالغ الأهمية لإصلاح هذه الأنظمة، ولكن المسار من خطأ واحد إلى إجابة خاطئة نهائية غالباً ما يكون محجوباً بالخطوات التي تلي ذلك.
لقد طور الباحثون طريقة جديدة لاختبار مدى قدرتنا على اكتشاف هذه الأخطاء الخفية. فقد أنشأوا تجربة منضبطة حيث قاموا عمداً بزرع خطأ محدد في عملية البحث لدى الكمبيوتر في لحظة دقيقة. تخيل كمبيوتراً يحاول حل لغز مكون من ثلاث خطوات؛ قد يستبدل الباحثون الوثيقة الصحيحة بأخرى خاطئة في الخطوة الأولى تماماً، أو قد يغيرون حقيقة رئيسية في منتصف العملية. والأهم من ذلك، أنهم لا يكتفون بتعديل الإجابة النهائية فحسب، بل يتركون الكمبيوتر يستمر في العمل من تلك النقطة الفاسدة، مما يجبره على التفاعل مع تلك المعلومة الجديدة والمغلوطة. يسمح هذا الإعداد لهم برؤية ما إذا كانت أداة تشخيصية، والتي تنظر في مسار أفكار وأفعال الكمبيوتر بأك// بعد الواقعة، لا تزال قادرة على الإشارة إلى اللحظة الدقيقة التي أُدخل فيها الخطأ. والسؤال المركزي هو ما إذا كانت إشارة ذلك الخطأ الأولي ستنجو في رحلتها عبر بقية العملية، أم أنها ستضيع في ضجيج الخطوات اللاحقة.
تكشف نتائج هذه التجربة عن واقع صارخ حول كيفية انتقال الأخطاء عبر هذه الأنظمة. فعندما حقن الباحثون خطأً هيكلياً واضحاً — مثل عدم إعطاء الكمبيوتر أي وثائق للقراءة أو تسليمه وثائق غير ذات صلة تماماً — في الخطوة الأولى تماماً، تمكنت أداة تشخيصية قياسية من تحديد المشكلة بدقة عالية. ومع ذلك، بمجرد إدخال الخطأ في الخطوة الثانية أو الثالثة من السلسلة، فشلت تلك الأداة نفسها تماماً، وعجزت عن التمييز بين الخطأ الأصلي والخطوات اللاحقة. وفي اختبار صارم تضمن ثمانين سؤالاً معقداً، حددت الأداة الخطوة الأولى كمصدر للفشل بنسبة 91% من المرات. ولكن عندما وقع الخطأ في الخطوة الثانية أو الثالثة، انخفضت دقة الأداة إلى الصفر. يبدو أن الخطوات اللاحقة في السلسلة قد محت البصمة الواضحة للخطأ الأولي، مما جعل من المستحيل على مراجعة بسيطة للمخرجات النهائية معرفة أين بدأ الخلل.
كما استكشف الباحثون نوعاً أكثر دقة من الأخطاء، حيث يُعطى الكمبيوتر وثيقة تبدو ذات صلة تماماً ولكنها تحتوي على حقيقة واحدة خاطئة، مثل تاريخ غير صحيح أو اسم مستبدل. في هذه الحالات، غالباً ما يستمر الكمبيوتر في عمله دون الانهيار فوراً، بل إنه قد يصل أحياناً إلى الإجابة الصحيحة عن طريق الصدفة أو عبر استرجاع معلومات صحيحة أخرى لاحقاً. وعندما حلل الباحثون الحالات القليلة التي فشل فيها الكمبيوتر بعد هذا النوع من الفساد الضمني، وجدوا أن طريقة أكثر تطوراً — تحاكي ما كان سيحدث لو تم إصلاح تلك الخطوة المحددة — يمكنها تحديد المشكلة بنسبة الثلثين تقريباً. وهذا يشير إلى أنه بينما قد يكون الخطأ الأولي مخفياً عن نظرة بسيطة، فإنه ليس غير مرئي تماماً إذا كنت مستعداً لتشغيل محاكاة أكثر تعقيداً لمعرفة كيف كان سيتصرف الكمبيوتر بشكل مختلف.
إن أحد النتائج الرئيسية لهذا العمل هو أن القدرة على رصد الخطأ تعتمد بشكل كبير على ما إذا كان الكمبيوتر سينجح في التعافي من تلقاء نفسه. ففي حالات عديدة، قد يسترجع الكمبيوتر حقيقة سيئة، ولكن بعد ذلك، في خطوة لاحقة، يجد وثيقة جديدة تصحح الخطأ، مما يؤدي إلى إجابة نهائية صحيحة في الواقع. وقد عامل الباحثون عمليات التعافي الناجحة هذه كفئة منفصلة، مشيرين إلى أنها تمثل مرونة النظام وليس فشلاً. ومع ذلك، بالنسبة للحالات التي فشل فيها الكمبيوتر، أظهرت الدراسة أن المعلومات اللازمة لتحديد الأصل الدقيق للخطأ غالباً ما تختفي بمجرد تجاوز الكمبيوتر لنقطة الخطأ. فقد تسترجع خطوة لاحقة وثيقة جديدة تبدو جيدة في حد ذاتها، لكنها في الواقع نتيجة للخطأ السابق، مما يخلق سلسلة من الأحداث التي تحجب السبب الجذري.
يسلط هذا البحث الضوء على قصور جوهري في كيفية محاولتنا حالياً لتصحيح أخطاء هذه الأنظمة الذكية. فمجرد النظر إلى الإجابة النهائية أو الخطوات الأخيرة من العملية غالباً ما يكون غير كافٍ للعثور على مصدر المشكلة. وتشير الدراسة إلى أنه كلما زاد تعقيد هذه الأنظمة وعدد الخطوات التي تتخذها للوصول إلى استنتاج، يصبح تتبع الأثر الذي يتركه خطأ أولي أمراً أصعب. ويخلص الباحثون إلى أنه لفهم سبب فشل هذه الأنظمة حقاً، نحتاج إلى أدوات يمكنها النظر بعمق أكبر من مجرد السطح النهائي للمخرجات، وربما استخدام المحاكاة لتتبع مسار المعلومات إلى الوراء. وإلى أن يتم صقل هذه الأساليب، يجب أن نقبل أنه في عملية استدلال متعددة الخطوات، يمكن لخطأ يُرتكب في وقت مبكر أن يترك أثراً يسهل مسحه بواسطة الخطوات التي تتبعه، مما يتركنا مع إجابة خاطئة ولكن دون فكرة واضحة عن مكان بدايتها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.