CausalFlow: Causal Attribution and Counterfactual Repair for LLM Agent Failures
يُعد CausalFlow إطار عمل تدخلياً يحول إخفاقات وكلاء النماذج اللغوية الكبيرة إلى إشارات تعلم موثوقة عبر نمذجة آثار التنفيذ لتحديد نقاط الفشل السببية وتوليد إصلاحات مضادة للواقع دنيا، وذلك من أجل التعافي الفوري أثناء الاختبار والإشراف التدريبي غير المتصل بالإنترنت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد روبوتاً ذكياً جداً، لكنه أخرق أحياناً، وهو يحاول حل لغز معقد. هذا الروبوت، الذي يعمل بنموذج لغوي كبير (LLM)، لا يكتفي بإعطائك الإجابة النهائية فحسب؛ بل يتخذ سلسلة من الخطوات للوصول إليها، مثل محقق يجمع الأدلة، ويطرح الأسئلة، ويقوم بالعمليات الحسابية في طريقه.
أحياناً، يفشل الروبوت. في الماضي، عندما كان الروبوت يفشل، كان البشر يكتفون بالقول: "هذا خطأ، حاول مجدداً"، أو "إليك الإجابة الصحيحة". لكن هذه الورقة البحثية تقدم طريقة جديدة تسمى CausalFlow تعمل كمحقق عالي التقنية لأخطاء الروبوت.
إليك كيف يعمل CausalFlow، مقسماً إلى مفاهحات بسيطة:
1. المشكلة: "الصندوق الأسود" للفشل
عندما يفشل الروبوت في مهمة متعددة الخطوات (مثل حل مسألة رياضية أو كتابة كود برمجي)، فإننا عادة ما نرى فقط الإجابة النهائية الخاطئة. نحن لا نعرف أي خطوة محددة هي التي تسببت في الكارثة.
- الطريقة القديمة: إذا حصل الروبوت على إجابة خاطئة، كانت الطرق السابقة غالباً ما تجعل الروبوت يعيد كتابة قصته بأكملها من الصال إلى البداية. إنه يشبه الأمر إذا كتبت مقالاً من 10 صفحات ووضعت فاصلة واحدة خاطئة، فطلب منك معلمك رمي المقال بأكمله وإعادة كتابته من جديد. كان ذلك هدراً للوقت ولا يعلم الروبوت لماذا فشل.
2. الحل: محقق "ماذا لو؟"
يعامل CausalFlow محاولة الروبوت الفاشلة كأنها سلسلة من قطع الدومينو. إنه يطرح سؤالاً محدداً لكل خطوة اتخذها الروبوت: "ماذا لو غيرنا هذه الخطوة الواحدة فقط؟ هل ستكون النتيجة النهائية صحيحة؟"
هذا ما يسمى بـ التدخل الواقعي المضاد (Counterfactual Intervention).
- التشبيه: تخيل طباخاً صنع حساءً سيئاً. بدلاً من رمي القدر بأكل ما فيه والبدء من جديد، يتذوق محقق CausalFlow الحساء، ثم يقول: "ماذا لو لم نضف الملح في الخطوة الثالثة؟". إنه يحاكي هذا التغيير في ذهنه. إذا كان الحساء سيكون لذيذاً بدون ذلك الملح، فهو يعرف بالضبط أين وقع الخطأ.
3. "درجة المسؤولية السببية" (CRS)
يعطي النظام درجة لكل خطوة.
- إذا كان تغيير خطوة ما سيؤدي إلى إصلاح الإجابة النهائية، فإن تلك الخطوة تحصل على درجة عالية. إنها هي "الجاني".
- إذا كان تغيير الخطوة لا يؤدي إلى إصلاح الإجابة، فإن النظام يدرك أن تلك الخطوة لم تكن هي المشكلة، حتى لو بدت مشبوهة.
4. "الإصلاح الأدنى"
بمجرد العثور على الجاني، لا يقوم CausalFlow بإعادة كتابة القصة بأكملها. بل يقوم بإجراء أصغر تعديل ممكن لإصلاح تلك الخطوة الواحدة فقط.
- التشبيه: إذا ارتكب الروبوت خطأً رياضياً في الخطوة 4، يقوم CausalFlow بإصلاح الخطوة 4 فقط. ويترك الخطوات 1 و2 و3 و5 كما هي تماماً. يُسمى هذا "إصلاحاً أدنى".
- وهذا يخلق زوجاً تعليمياً مثالياً: (الخطوة الخاطئة) مقابل (الخطوة المصححة). وهذا بمثابة "غبار الذهب" لتدريب الروبوت ليكون أفضل في المستقبل.
5. لماذا هذا مهم (النتائج)
اختبر الباحثون هذا النظام على أربعة أنواع مختلفة من المهام:
- المسائل الرياضية (مثل المسائل اللفظية في المرحلة الابتدائية).
- البرمجة (كتابة برامج الكمبيوتر).
- الإجابة على الأسئلة (البحث في الويب عن إجابات).
- التصفح الطبي (إيجاد معلومات طبية عبر الإنترنت).
ما وجدوه:
- الدقة: نجح CausalFlow في إيجاد الخطأ الدقيق في حوالي 43% من جميع المحاولات الفاشلة.
- الكفاءة: لقد أصلح هذه الإخفاقات من خلال إجراء تغييرات صغيرة ومستهدفة بدلاً من إعادة كتابة كل شيء.
- معدل النجاح: في المهام الصعبة مثل التصفح الطبي وأسئلة البحث المعقدة، أدت الطرق الأخرى (التي تعيد كتابة الإجابة بالكامل فقط) في الواقع إلى جعل الأمور أسوأ أو لم تساعد على الإطلاق. أما CausalFlow، ومن خلال إصلاح الرابط المكسور المحدد فقط، فقد حسن معدلات النجاح بشكل كبير (على سبيل المثال، القفز من 30% إلى 61% في التصفح الطبي).
6. فريق "التحقق المزدوج"
للتأكد من أن الروبوت لا يقوم بمجرد التخمين، يستخدم CausalFlow فريقاً من ثلاثة "قضاة ذكاء اصطناعي":
- أحدهم يقترح الإصلاح.
- والآخر ينقد الاقتراح.
- والثالث يراجع النقاش بأكمله.
إنهم لا يقبلون أي إصلاح إلا إذا اتفقوا جميعاً على أنه يعمل بالفعل.
الملخص
CausalFlow هو نظام يتوقف عن معاملة فشل الذكاء الاصطناعي ككارثة شاملة. بدلاً من قول "لقد فشلت، ابدأ من جديد"، فإنه يعمل كجراح: يجد الخطأ الصغير الدقيق، يزيله، ثم يخيط بقية العمل بدقة. هذا لا يصلح المشكلة الفورية فحسب، بل يخلق أيضاً درساً واضحاً ليتعلمه الذكاء الاصطناعي، مما يجعله أكثر موثوقية وأسهل في الثقة به في المستقبل.
ملاحظة هامة: تركز هذه الورقة البحثية بالكامل على إصلاح منطق وخطوات الاستنتاج لدى الذكاء الاصطناعي. وهي لا تدعي أنها طبيب بشري، أو محامٍ، أو أداة للتشخيص السريري الواقعي. إنها حصرياً طريقة لتصحيح وتحسين كيفية تفكير وكيفية حل المشكلات لهذه الوكلاء من الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.