Beyond End-to-End Success: Diagnosing Failures in Long-Horizon Security LLM Agents
تقدم هذه الورقة منهجية تشخيصية باستخدام نقاط تفتيش وتدخلات محكومة لتحديد الاختناقات في المراحل السابقة لدى وكلاء النماذج اللغوية الكبيرة الأمنية ذات الأفق الطويل، مما يكشف أن أنماط الفشل ومدى فعالية استراتيجيات التوجيه يمكن أن يتغيرا بشكل كبير عبر أجيال النماذج، الأمر الذي يستلزم إجراء تحليل دقيق للفشل بدلاً من الاعتماد على مقاييس النجاح الإجمالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، ظهرت فئة جديدة من الوكلاء البرمجيين، القادرة على أداء مهام معقدة ومتعددة الخطوات من خلال التفاعل مع البيئات الرقمية تماماً كما يفعل البشر. هذه الأنظمة، المبنية على النماذج اللغوية الكبيرة، يمكن توجيهها لاستكشاف الشبكات، والعثور على المعلومات المخفية، وتنفيذ اختبارات أمنية. ومع ذلك، عندما يُطلب من هؤلاء الوكلاء حل مشكلات تمتد لفترة طويلة، وتتضمن العديد من الخطوات المعتمدة على بعضها البعض، فإن مجرد السؤال "هل نجحوا؟" غالباً ما يعطي قصة غير مكتملة. فالفشل في نهاية رحلة طويلة قد لا يعني أن الوكيل يفتقر إلى المهارة لإنهاء المهمة؛ بل قد يعني أن الوكيل ضل طريقه حتى قبل أن يجد نقطة البداية. إن فهم أين ولماذا يتعثر هؤلاء المستكشفون الرقميون أمر بالغ الأهمية، ليس فقط لتحسين أدائهم، ولكن لمعرفة ما هم قادرون عليه حقاً.
لقد طور باحثون من جامعة كاليفورنيا، ديفيس، ومعهد روتشستر للتكنولوجيا طريقة جديدة للنظر في هذه الإخفاقات. فبدلاً من مجرد عدّ عدد المرات التي يكمل فيها الوكيل مهمة من البداية إلى النهاية، قاموا ببناء نظام تشخيصي يضع نقاط تفتيش على طول الطريق. تخيل مساراً طويلاً ومتعرجاً عبر غابة حيث الهدف هو العثور على زهرة نادرة محددة ثم إحضارها مرة أخرى. إذا لم يتمكن المتنزه من تجاوز الميل الأول، فلن تتاح له الفرصة للعثور على الزهرة، وبالتالي فإن فشله في العودة بها لا يخبرنا شيئاً عن قدرته على تحديد الزهرة أو حملها. يطبق الباحثون هذا المنطق على الوكلاء الأمنيين من خلال تحديد اللحظة الدقيقة التي تصبح فيها المهمة ممكنة — أي عندما يجد الوكيل المعلومات أو الحالة الضرورية للمضي قدماً. ومن خلال الفصل بين الإخفاقات التي تحدث قبل هذه اللحظة وتلك التي تحدث بعدها، يمكنهم التمييز بين وكيل ضل طريقه ببساطة، ووكيل فقد طريقه بعد العثور على المسار الصحيح.
اختبر الفريق هذا النهج باستخدام أربعة أنواع مختلفة من التحديات الأمنية، صُمم كل منها لاختبار مهارة محددة طويلة الأمد. أحد الاختبارات الأساسية، والذي يسمى "إعادة استخدام الحالة المحكومة" (Controlled State Reuse)، تطلب من الوكيل اكتشاف معلومة رقمية محددة، والقيام بسلسلة من الإجراءات غير المرتبطة، ثم استخدام تلك المعلومة الأصلية لإكمال الهدف النهائي. عندما أجروا هذه الاختبارات لأول مرة باستخدام نموذج يُعرف باسم Gemini 2.5 Flash، بدت النتائج محبطة: فشل الوكيل في إكمال المهمة في معظم الأوقات. ومع ذلك، عندما نظر الباحثون في نقاط التفتيش، اكتشفوا المشكلة الحقيقية. ففي الغالبية العظمى من المحاولات الفاشلة، لم يجد الوكيل حتى المعلومة الأولية التي كان من المفترض أن يتذكرها. لقد كان يفشل في الوصول إلى خط البداية، وليس في خوض السباق.
ولإثبات ذلك، قدم الباحثون تدخلاً موجهاً. فقد أنشأوا سيناريو يحصل فيه الوكيل، عند نقطة محددة من المهمة، على تلميح صغير ومستهدف يوضح كيفية التمييز بين أنواع مختلفة من الخدمات الرقمية. وقارنوا بين رسالة "الإنقاذ" هذه ورسالة "وهمية" (placebo) تبدو مشابهة ولكنها لا تحتوي على أي معلومات مفيدة. كانت النتائج مذهلة. فعندما تلقى الوكيل التلميح المفيد، قفزت قدرته على إيجاد المعلومة الأولية من حوالي ثلثي المحاولات إلى جميعها تقريباً. وبمجرد أن وجد الوكيل المعلومة، نجح تقريباً دائماً في إنهاء المهمة. وقد أكد هذا أن صراعات الوكيل السابقة لم تكن بسبب نقص في الذاكرة أو التفكير، بل ببساطة لأنه كان مرتبكاً بشأن كيفية العثور على الإشارة الأولى.
اتخذت القصة منعطفاً مفاجئاً عندما كرر الباحثون التجربة نفسها مع نموذج أحدث وأكثر تقدماً، وهو Gemini 3.7 Flash. لقد استخدموا نفس المهام، ونفس نقاط التفتيش، ونفس التلميح المفيد، دون تغيير أي شيء بناءً على سلوك النموذج الجديد. هذه المرة، كانت النتيجة هي العكس. فقد جعل التلميح المفيد النموذج الجديد يؤدي بشكل أسوأ في العثور على المعلومة الأولية. علاوة على ذلك، عندما تمكن هذا النموذج الأحدث من إيجاد المعلومة، فقد فشل بشكل متكرر في إنهاء المهمة بعد ذلك. لقد انتقلت نقطة الاختناق؛ فبالنسبة للنموذج القديم، كانت المشكلة في إيجاد نقطة البداية؛ أما بالنسبة للنموذج الأحدث، فكانت المشكلة فيما حدث بعد العثور عليها.
يسلط هذا التحول الضوء على درس حاسم لأي شخص يبني أو يقيم هذه الأنظمة الذكية. إن مصدر الفشل ليس ثابتاً؛ فهو يتغير مع تطور التكنولوجيا. فأداة التشخيص التي تعمل بشكل مثالي لجيل واحد من النماذج قد تكون مضللة للجيل التالي. وجد الباحثون أن الاعتماد فقط على معدل النجاح النهائي كان سيخفي هذه التفاصيل الدقيقة تماماً. فبدون تحليل نقاط التفتيش، قد يُفترض أن النموذج الأحدث أفضل في العث البحث عن الإشارات ولكنه أسوأ في تذكرها، أو العكس. بدلاً من ذلك، كشف التحليل التفصيلي أن طبيعة الصعوبة قد تغيرت جذرياً.
كما بحثت الدراسة في أنواع أخرى من المهام طويلة الأمد، مثل التعافي من استراتيجية فاشلة أو اتخاذ القرارات عندما تكون النتيجة غير واضحة. في بعض الحالات، كان الوكلاء بارعين جداً في المهمة لدرجة أنهم لم يفشلوا أبداً، مما جعل من المستحيل معرفة ما إذا كان الاختبار يمثل تحدياً حقيقياً. وفي حالات أخرى، تجنب الوكلاء باستمرار المسار المحدد الذي صُمم الاختبار لقياسه، مما يعني أن النتائج لم تخبرهم شيئاً عن المهارة التي كانوا يحاولون اختبارها. تشير هذه النتائج إلى أنه بالنسبة للمهام الطويلة والمعقدة، فإن الرحلة تهم بقدر ما تهم الوجهة.
في نهاية المطاف، يوفر هذا العمل خريطة أوضح لفهم وكلاء الذكاء الاصطناعي. فهو يوضح أن النجاح ليس رقماً واحداً، بل هو مجموعة من الخطوات، لكل منها إمكانية للفشل. ومن خلال تحديد مكان توقف الوكيل بالضبط واختبار السبب، يمكن للباحثين تجاوز مرحلة التخمين والبدء في إصلاح المشكلات الصحيحة. وتثبت الدراسة أن ما قد يبدو فشلاً في الذاكرة أو التخطيط قد يكون في الواقع فشلاً في الاكتشاف، وأن الحلول لنسخة واحدة من الذكاء الاصطناعي قد تكون الأدوات الخاطئة للنسخة التالية. ومع زيادة قدرة هذه الأنظمة، ستكون القدرة على تشخيص نقاط فشلها المحددة بنفس أهمية بنائها في المقام الأول.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.