Do Agents Know What They Can't Do? Evaluating Feasibility Awareness in Tool-Using Agents
تقدم هذه الورقة FeasiGen، وهو مسار مؤتمت لإنشاء مهام غير قابلة للتنفيذ لوكلاء استخدام الأدوات عبر حجب أدوات حاسمة، وتستخدمه للكشف عن افتقار الوكلاء الحاليين إلى الوعي القوي بالجدوى، حيث يستمرون غالباً في التنفيذ على مهام مستحيلة بمعدلات خطأ عالية، رغم أن البنى متعددة الوكلاء تظهر أداءً محسناً.
المؤلفون الأصليون:Liang Cheng, Mingsheng Cai, Jiuming Jiang, Luo Mai
تخيل أنك وظفت مساعداً ذكياً ومتحمساً لمساعدتك في مشروع معقد، مثل حجز رحلة طيران ودفع ثمنها. لقد أعطيت مساعدك قائمة بالأدوات التي يمكنه استخدامها: محرك بحث، ومحرك حجز، ومعالج بطاقات ائتمان.
الآن، تخيل أنك سحبت سراً معالج بطاقات الائتمان من صندوق أدواته قبل أن يبدأ.
المشكلة: معظم المساعدين الذكيّين (AI) اليوم يشبهون ذلك المساعد المتحمس الذي لا يعلم أنه يفتقد أداة ما. يبدأون بالبحث عن الرحلات، ويجدون عرضاً رائعاً، ثم يحاولون الدفع. وعندما يدركون أنهم لا يستطيعون الدفع، لا يكتفون بالقول: "أوه، لا يمكنني القيام بهذا"، بل يستمرون في المحاولة. قد يحاولون الدفع مرة أخرى، أو يحاولون البحث عن وسيلة دفع مختلفة غير موجودة، أو يكتبون مقالاً طويلاً حول سبب عدم قدرتهم على الدفع. إنهم يهدرون قدراً هائلاً من الوقت والطاقة (قوة الحوسبة) في مهمة كانت مستحيلة منذ البداية.
الحل (FeasiGen): قام الباحثون في هذه الورقة البحثية ببناء نظام يسمى FeasiGen (مولد الجدوى - Feasibility Generator). فكر فيه كآلة "فحص للواقع".
تعلم القواعد: أولاً، راقبوا العديد من المساعدين الذكيّين وهم يكملون مهاماً بنجاح. نظروا إلى "آثار الأقدام" (الأدوات المستخدمة تحديداً) ليروا أي الأدوات كانت ضرورية تماماً لكل عملية نجاح. في مثال الرحلة الجوية، لاحظوا أن كل عملية حجز ناجحة استخدمت "واجهة برمجة تطبيقات الدفع" (Payment API).
صنع الفخ: بعد ذلك، أخذوا نفس تلك المهام وحذفوا سراً تلك الأدوات الحيوية. لقد حولوا مهمة قابلة للحل إلى مهمة مستحيلة.
الاختبار: قدموا هذه المهام "المعطلة" لتسعة نماذج مختلفة من الذكاء الاصطناعي لمعرفة ما إذا كانت النماذج ستدرك: "مهلاً، أنا أفتقد أداة رئيسية، يجب أن أتوقف الآن"، أم أنها ستستمر في الدوران في حلقات مفرغة.
ما وجدوه: كانت النتائج مفاجئة ومثيرة للقلق قليلاً فيما يتعلق بكفاءة الذكاء الاصطناائي:
معظم نماذج الذكاء الاصطناعي تستمر في العمل: حتى النماذج الأكثر ذكاءً فشلت غالباً في التوقف. فقد استمرت في محاولة حل المهمة المستحيلة في حوالي 23% إلى 74% من الحالات. الأمر يشبه سائقاً يحاول القيادة عبر جدار لأنه نسي التحقق مما إذا كان الطريق قد انتهى.
تكلفة العناد: عندما يستمر الذكاء الاصطناعي في المحاولة في مهمة مستحيلة، فإنه يستخدم من 2 إلى 5 أضعاف قوة الحوسبة (الرموز/Tokens) عما لو توقف فوراً. إنه الفرق بين المشي إلى نهاية شارع مسدود والوعي بأنك ضللت الطريق، وبين المشي إلى هناك، ثم الالتفاف والعودة من جديد.
العمل الجماعي يساعد: عندما وضع الباحثون "فريقاً" من الذكاء الاصطناعي (واحد للتخطيط وآخر للعمل)، كان الفريق أفضل بكثير في اكتشاف الأدوات المفقودة. حيث يقوم "المخطط" بفحص الأدوات أولاً، ويدرك أن شيئاً ما مفقود، ويقول "توقف" قبل أن يبدأ "العامل" حتى في العمل. وقد قلل هذا من الجهد الضائع بشكل كبير.
التفكير بعمق يساعد (أحياناً): النماذج التي أُجبرت على "التفكير خطوة بخطوة" قبل التصرف كانت عموماً أفضل في اكتشاف الأدوات المفقودة، رغم أن هذا لم ينطبق على كل نموذج.
الخلاصة الكبرى: في الوقت الحالي، نحن نختبر الذكاء الاصطناعي غالباً من خلال رؤية ما إذا كان بإمكانه إكمال المهمة. تقول هذه الورقة البحثية إن هذا ليس كافياً. نحن بحاجة أيضاً إلى اختبار ما إذا كانوا يعرفون متى لا يفعلون شيئاً ما. إن الذكاء الاصطناعي الذي يعرف متى يتوقف لا يقل أهمية عن الذكاء الاصطناعي الذي يعرف كيف ينهي المهمة. حالياً، معظم نماذج الذكاء الاصطناعي سيئة جداً في معرفة متى تكون عالقة في طريق مسدود، مما يؤدي إلى الكثير من الطاقة والمال المهدورين.
ملاحظة حول الحدود: يعترف الباحثون بأن اختبارهم يعمل فقط في البيئات "المغلقة" حيث تكون قائمة الأدوات ثابتة ومعروفة. إذا كان بإمكان الذكاء الاصطناعي ابتكار أدوات جديدة سحرياً أو العثور عليها على الإنترنت المفتوح، فلن يعمل هذا الاختبار بنفس الطريقة. ولكن بالنسبة للأنظمة التي تكون فيها الأدوات محددة بصرامة، فإن "فحص الواقع" هذا يعد طريقة جديدة وحاسمة لقياس مدى ذكاء الذكاء الاصطناعي حقاً.
ملخص تقني: هل تعرف الوكلاء ما لا يمكنهم فعله؟
بيان المشكلة
غالبًا ما تستهلك الوكلاء المستخدمة للأدوات، والتي تستفيد من النماذج اللغوية الكبيرة (LLMs) للتفاعل مع واجهات برمجة التطبيقات (APhips) والبيئات الخارجية، تكاليف حوسبة باهظة بسبب سلاسل الاستدلال الطويلة واستخدام الأدوات المتكرر. في سيناريوهات النشر العملي، تصبح العديد من المهام غير قابلة للتنفيذ لأن القدرات المحددة المطلوبة للإكمال الناجح غير متوفرة في ظل قيود الأدوات والبيئة الحالية.
تفترض معايير تقييم وقياس أداء الوكلاء الحالية، ومعايير التقييم السائدة، أن المهام قابلة للحل ضمن البيئة المقدمة. وهي تكافئ بشكل أساسي التنفيذ المستمر والنجاح النهائي للمهمة، وغالبًا ما تغفل "السلوكيات الهشة" حيث يستمر الوكلاء في الاستدلال واستدعاء الأدوات حتى بعد أن يصبح إكمال المهمة مستحيلاً. يؤدي هذا إلى هدر شديد في الرموز (tokens) وتكاليف تفاعل غير ضرورية. علاوة على ذلك، يعد بناء مهام غير قابلة للتنفيذ حقًا للتقييم أمرًا صعبًا؛ إذ تعتمد الطرق الحالية بشكل كبير على التوسيم البشري الذي يتطلب جهداً مكثفاً أو استراتيجيات الاضطراب التي لا تضمن إزالة القدرات الحرجة، مما قد يسمح للوكلاء بحل المهام عبر استراتيجيات بديلة.
المنهجية: FeasiGen
يقترح المؤلفون FeasiGen، وهو خط إنتاج تلقائي مصمم لبناء مهام وكلاء غير قابلة للتنفيذ وتقييم قدرة الوكيل على التعرف عليها. يعمل الإطار عبر ثلاث مراحل:
جمع البيانات: يتم جمع المهام من مجموعات بيانات الوكلاء الموجودة (BFCL، StableToolBench، API-Bank، τ-bench) التي تعمل على مجموعة أدوات مغلقة، حيث ترتبط كل مهمة بمجموعة محددة مسبقاً وثابتة من الأدوات المتاحة.
تحديد الأداة الحرجة: يقوم النظام بتنفيذ أنظمة وكلاء متعددة على المهام القابلة للحل الأصلية. يقوم بجمع آثار استدعاء الأدوات الناجحة ويحدد الأدوات الحرجة باعتبارها تقاطع الأدوات المشتركة عبر جميع استراتيجيات التنفيذ الناجحة المتنوعة. الفرضية الأساسية هي أن الأدوات المطلوبة باستمرار عبر مسارات التنفيذ الناجحة المختلفة تمثل تبعات تنفيذ لا غنى عنها.
توليد مهمة غير قابلة للتنفيذ: يتم حجب (إزالة) الأدوات الحرجة التي تم تحديدها من مجموعة الأدوات المرشحة. هذا يحول المهمة التي كانت قابلة للحل في الأصل إلى مهمة غير قابلة للتنفيذ تحت البيئة المقيدة.
بروتوكول التقييم: يقدم البحث مقاييس تقييم مدركة للجدوى تتجاوز معدلات نجاح المهام القياسية:
معدل الاستمرار الخاطئ (FCR): يقيس نسبة المهام غير القابلة للتنفيذ التي يفشل فيها الوكيل في اكتشاف القدرة المفقودة ويستمر في التنفيذ بدلاً من التوقف.
تكلفة الرموز للتوقف المبكر (TCearly−stop) مقابل تكلفة الرموز لفشل المهمة (TCtask−failure): يحدد كمية التبادل في الكفاءة، حيث يقيس الرموز التي تم توفيرها عن طريق الإنهاء المبكر مقابل الرموز المهدرة في التنفيذ الفاشل.
درجة النجاح المدركة للجدوى (FASS): مقياس موحد يجمع بين الكشف الصحيح عن الجدوى وإكمال المهمة بنجاح في المهام القابلة للتنفيذ.
أكد التحقق البشري على مجموعة فرعية ذات أساس إحصائي (ثقة 95%، هامش خطأ 5%) أن 94.7% من الحالات التي تم إنشاؤها هي بالفعل غير قابلة للتنفيذ.
النتائج الرئيسية
أُجريت التجارب على تسعة نماذج حديثة (بما في ذلك عائلات GPT-5.5، وDeepSeek-V4، وQwen3.5، وLlama3.1) تحت كل من بنيات الوكيل المنفرد والوكيل المتعدد (المخطط–المنفذ).
ضعف الكشف عن الجدوى: تظهر أنظمة الوكلاء الحالية قدرة ضعيفة بشكل ملحوظ على اكتشاف المهام غير القابلة للتنفيذ. يتراوح معدل الاستمرار الخاطئ (FCR) من 23.5% (أفضل أداء لـ GPT-5.5) إلى 73.9% (Qwen3.5-9B). يشير هذا إلى أن الوكلاء يهدرون الموارد بشكل متكرر في محاولة تنفيذ مهام مستحيلة.
تأثير الكفاءة: عدم اكتشاف الجدوى أمر مكلف. تكلفة الرموز للتنفيذ الفاشل (TCtask−failure) أعلى بمقدار 2.3 إلى 5.0 ضعف من تكلفة التوقف المبكر (TCearly−stop) عبر النماذج.
تحسين تعدد الوكلاء: تعمل بنيات تعدد الوكلاء على تحسين اكتشاف الجدوى بشكل كبير. من خلال إدخال مرحلة تخطيط تقوم بتفكيك المهام وتحديد القدرات المطلوبة قبل التنفيذ، ينخفض متوسط FCR من 54.6% (الوكيل المنفرد) إلى 17.5%. حقق أفضل زوج من تعدد الوكلاء (Qwen-122B → GPT-OSS) معدل FCR قدره 2.6%.
وضع الاستدلال: يؤدي تمكين أوضاع الاستدلال عموماً إلى تحسين الكشف وتقليل استهلاك الرموز للتوقف المبكر، رغم أن التأثير يختلف باختلاف حجم ونوع النموذج.
شذوذ التوسع: لا يتوسع الوعي بالجدوى بشكل موحد مع حجم النموذج. بينما تظهر نماذج Qwen3.5 تحسناً في الكشف مع زيادة المعلمات، تتدهور نماذج Llama3.1 (يزداد FCR بنسبة 29.3% من 70B إلى 405B)، مما يشير إلى أن خيارات التدريب وأهداف المحاذاة (مثل مكافأة التفاعل بدلاً من الرفض) تؤثر على هذه القدرة أكثر من عدد المعلمات وحدها.
تلوث المعيار (Benchmark Contamination): لاحظت الدراسة وجود "نتائج إيجابية كاذبة" حيث أنتج الوكلاء إجابات صحيحة للمهام غير القابلة للتنفيذ دون استدعاء الأدوات. أشارت التحليلات اليدوية إلى أن 91% من هذه الحالات تضمنت إنتاج الإجابات النهائية مباشرة، وهو ما يرجح أنه ناتج عن حفظ مخرجات المهام من مجموعات بيانات التدريب المسبق (تلوث المعيار)، وليس نتيجة استدلال حقيقي حول توفر الأدوات.
الأهمية والمساهمات
يدعي البحث المساهمات التالية:
خط إنتاج FeasiGen: أول إطار عمل تلقائي لبناء مهام وكلاء غير قابلة للتنفيذ عن طريق تحديد وحجب تبعات التنفيذ الحرجة، محققاً دقة تزيد عن 94% في التحقق البشري.
التقييم المدرك للجدوى: تقديم مقاييس (FCR، نسب تكلفة الرموز) تقيس صراحة قدرة الوكيل على التعرف على القيود وإنهاء التنفيذ، مما يعالج فجوة في معايير التقييم الحالية التي تركز فقط على نجاح المهمة.
أدلة تجريبية على القيود: يكشف التقييم الشامل أن الوكلاء الحاليين، حتى الأفضل أداءً منهم، يعانون في التعرف على الظروف غير القابلة للتنفيذ، مما يؤدي إلى هدر كبير في الموارد.
رؤى معمارية: تشير النتيجة التي مفادها أن تفكيك تعدد الوكلاء (تحديداً مرحلة التخطيط) هو عامل مهيمن في تحسين اكتشاف الجدوى، مما يوفر مساراً عملياً لأنظمة وكلاء أكثر كفاءة ومتانة.
يخلص المؤلفون إلى أن نجاح المهمة وحده غير كافٍ لتقييم سلوك الوكيل القوي في السيناريوهات العملية. ويشددون على أن المعايير الحالية قد تبالغ في تقدير قدرة الوكيل الحقيقية بسبب الحفظ ونقص الاستدلال المدرك للقيود، ويحثون المجتمع على دمج اكتشاف الجدوى في بروتوكولات التقييم القياسية.