Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench
تقدم هذه الورقة البحثية AgentProp-Bench، وهو معيار مرجعي تم التحقق منه بشرياً يكشف أن الحكام الآليين لوكلاء النماذج اللغوية الكبيرة (LLMs) المستخدمين للأدوات غالباً ما يعملون بمستويات تقارب مستوى التخمين العشوائي، وتوضح كيفية انتقال أخطاء حقن المعلمات إلى الإجابات النهائية، وتثبت أن استراتيجيات التخفيف أثناء وقت التشغيل يمكن أن تقلل بشكل كبير من الهلوسة في نماذج محددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت فريقاً من المساعدين الآليين (الروبوتات) الأذكياء جداً، ولكنهم مهملون قليلاً. مهمتهم هي حل المشكلات باستخدام مجموعة من الأدوات، مثل تطبيق التقويم، أو خبير الأرصاد الجوية، أو قاعدة بيانات طبية. تسألهم: "احجز اجتماعاً لغدٍ"، ومن المفترض أن يقوموا بكتابة الأوامر الصحيحة في الكمبيوتر لإتمام ذلك.
هذه الورقة البحثية تتحدث عن طريقة جديدة لاختبار هؤلاء المساعدين الآليين لمعرفة عدد المرات التي يخطئون فيها، ولما لماذا يخطئون، وما إذا كان بإمكاننا بناء شبكة أمان لتداركهم قبل وقوع الفشل.
إليك تفصيل لنتائجهم، باستخدام تشبيهات من الحياة اليومية.
١. المشكلة: "القاضي السيئ"
لفترة طويلة، كان الناس يختبرون هؤلاء المساعدين الآليين من خلال النظر إلى إجابتهم النهائية والتحقق مما إذا كانت تحتوي على الكلمات المفتاحية الصحيحة.
- الطريقة القديمة: إذا كان من المفترض أن يقول الروبوت "الطقس في لندن مشمس"، وقال "الطقس في لندن مشمس جداً"، فإن الاختبار القديم سيقول: "عمل رائع! لقد أصبت".
- الواقع: وجد الباحثون أن هذه الطريقة هي في الأساس رمي عملة معدنية (تخمين عشوائي). فهي غير موثوقة لدرجة أنها تتفق مع الخبراء البشر بنسبة 5% فقط (وهو أسوأ من التخمين العشوائي). الأمر يشبه معلماً يصحح اختبار رياضيات عبر التحقق فقط مما إذا كان الطالب قد كتب الرقم "5" في أي مكان في الصفحة، متجاهلاً ما إذا كانت العملية الحسابية صحيحة أم لا.
الحل: قاموا ببناء "لجنة قضاة خارقين" مكونة من ثلاثة نماذج ذكاء اصطناعي مختلفة تصوت على الإجابات. هذه اللجنة أفضل بكثير (تتفق مع البشر بنسبة 43% تقريباً)، لكنها ليست مثالية أيضاً؛ فهي تميل لأن تكون "معلماً صارماً"، حيث تعتبر الإجابات خاطئة حتى عندما تكون صحيحة في الواقع.
٢. التجربة: "اختبار التخريب"
لمعرفة كيف تنتشر الأخطاء، لم ينتظر الباحثون وقوع الأخطاء من الروبوتات بشكل طبيعي، بل قاموا بـ تخريبها عن قصد.
- التشبيه: تخيل طباخاً (الروبوت) يعد حساءً. قام الباحثون باستبدال الملح بالسكر سراً قبل أن يبدأ الطباخ بالطهي.
- السؤال: هل سيلاحظ الطباخ وجود السكر ويقوم بتعديله؟ أم سيستمر في الطبخ، ويقدم لك الحساء الحلو، ويخبرك أنه لذيذ؟
وجدوا أنه عندما استبدلوا معلومة حاسمة (مثل تغيير "لندن" إلى "مانشستر" في استعلام عن الطقس):
- في 62% من الحالات، لم يلاحظ الروبوت عملية الاستبدال. لقد استخدم المعلومات الخاطئة، وأكمل بقية العمل، وأعطاك إجابة خاطئة بكل ثقة.
- "تأثير الدومينو": بمجرد أن يرتكب الروبوت ذلك الخطأ الصغير الأول، نادراً ما يستطيع التعافي. كان الأمر يشبه سقوط قطعة دومينو؛ بمجرد أن تسقط الأولى، تنهار السلسلة بأكملها.
٣. مهارتان مختلفتان: "الحارس" مقابل "المحقق"
اكتشف الباحثون أن الروبوتات تمتلك مهارتين مختلفتين تماماً فيما يتعلق بالأخطاء، والبراعة في إحداهما لا تعني بالضريد البراعة في الأخرى.
- المهارة (أ): الحارس (الرفض): وهي قدرة الروبوت على قول: "انتظر، طلب استخدام هذه الأداة يبدو غريباً، لن أرسله".
- مثال: أحد الروبوتات (Gemini) كان حارساً شديد الصرامة؛ فقد كشف 95% من المدخلات السيئة قبل أن تغادر المبنى حتى.
- المهارة (ب): المحقق (التعافي): وهي قدرة الروبوت على إدراك: "أوه لا، لقد أرسلت الطلب الخاطئ بالفعل. هل يمكنني إصلاح الإجابة النهائية على أي حال؟"
- مثال: روبوت آخر (GPT-4o-mini) كان محققاً سيئاً للغاية. حتى لو سمح بمرور طلب خاطئ، فإنه نادراً ما ينجح في تصحيح النتيجة النهائية.
المفاجأة الكبرى: كونك "حارساً" رائعاً لا يجعلك "محققاً" بارعاً. يمكنك امتلاك روبوت ممتاز في منع الأخطاء ولكنه سيء في إصلاحها، أو العكس. هذا يعني أننا لا نستطيع مجرد وصف الروبوت بأنه "ذكي"؛ بل يجب اختبار هاتين المهارتين بشكل منفصل.
٤. شبكة الأمان: "المعتصِب أثناء التشغيل" (Runtime Interceptor)
بنى الفريق "شبكة أمان" (تسمى المعتصِب/Interceptor) تراقب الروبوت أثناء عمله. إنها تشبه حارس أمن يقف بجانب الطباخ، يقرأ الوصفة والمكونات أثناء العمل.
- كيف تعمل: إذا حاول الروبوت استخدام أداة بمعاملات غريبة، أو إذا بدت أفكار الروبوت الداخلية مرتبكة ("أنا لست متأكداً"، "هذا يبدو خاطئاً")، يقوم الحارس بإيقاف العملية فوراً.
- النتائج:
- بالنسبة للروبوت الذي كان "محققاً سيئاً" (GPT-4o-mini)، نجحت شبكة الأمان في كشف 23% أكثر من الأخطاء. لقد أنقذت الموقف!
- بالنسبة للروبوت الذي كان بالفعل "حارساً خارقاً" (Gemini)، لم تفعل شبكة الأمان شيئاً. لماذا؟ لأن الروبوت كان يوقف الأخطاء بالفعل قبل أن تتاح للحارس فرصة حتى للنظر. لقد كان الحارس زائداً عن الحاجة.
٥. الخلاصة
تعلمنا هذه الورقة ثلاثة أشياء رئيسية لمستقبل الذكاء الاصطناعي:
- توقفوا عن استخدام فحص الكلمات المفتاحية: فهي عديمة الفائدة لتقييم مهام الروبوت المعقدة. نحن بحاجة إلى طرق أذكى وموثقة بشرياً لتقييمهم.
- الأخطاء تنتشر بسرعة: إذا أخطأ الروبوت في قطعة صغيرة من المعلومات، فغالباً ما يؤدي ذلك إلى إفساد الإجابة بأكملها. نحن بحاجة للإمساك بالأخطاء مبكراً.
- لا يوجد نموذج واحد يناسب الجميع: بعض الروبوتات جيدة في منع الأخطاء، وأخرى جيدة في إصلاحها. وشبكات الأمان لا تعمل إلا إذا كان الروبوت يحتاجها بالفعل.
باخت-طصار: لا يمكننا الوثوق بالروبوتات للقيام بعملها فحسب. نحن بحاجة لاختبارهم بأسلوب "التخريب"، وتقييمهم بـ "قضاة" يشبهون البشر، وبناء شبكات أمان مصممة خصيصاً لنقاط ضعف كل روبوت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.