Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation
تقدم الورقة البحثية Agent-Diff، وهو إطار عمل مرجعي مبتكر لتقييم النماذج اللغوية الكبيرة الوكيلة (agentic LLMs) في مهام واجهة برمجة التطبيقات (API) الواقعية للمؤسسات، وذلك عبر الجمع بين بيئات تجريبية (sandboxes) معزولة ومحتواة لواجهات برمجة التطبيقات وبين مقياس تقييم يعتمد على فرق الحالة (state-diff) لتقدير نجاح المهمة من خلال التغيرات في حالة البيئة بدلاً من مطابقة المسار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتوظيف فريق من المساعدين الرقميين الأذكياء للغاية (وكلاء الذكاء الاصطناعي - AI agents) للقيام بالأعمال الورقية الخاصة بك. تريد أن تعرف: هل يمكنهم حقاً إنجاز المهمة دون إفساد الأمور؟
هذه الورقة البحثية، بعنوان "Agent-Diff"، تقدم ساحة اختبار جديدة وصارمة للغاية للإجابة على هذا السؤال. فبدلاً من مجرد سؤال الذكاء الاصطناعي "ماذا ستفعل؟"، هم يجعلون الذكاء الاصطناعي يقوم بالعمل فعلياً في مكتب محاكى آمن.
إليك تفصيل كيفية بناء هذا الاختبار وما وجدوه، باستخدام تشبيهات بسيطة.
1. المشكلة: "المكتب الوهمي" مقابل "الفوضى الحقيقية"
في السابق، كان اختبار وكلاء الذكاء الاصطناعي يشبه لعبة "سيمون يقول" في غرفة وهمية.
- "الغرفة الوهمية" (البيئة المعزولة - Sandbox): قام الباحثون ببناء نسخة وهمية من البرامج (مثل Slack أو Google Calendar). كانت نظيفة ويمكن التنبؤ بها، لكنها لم تكن تشبه العالم الحقيقي.
- "الفوضى الحقيقية" (الخدمات الحية): سمحت اختبارات أخرى للذكاء الاصطناعي بالتواصل مع برامج حقيقية. كان هذا واقعياً، ولكن إذا ارتكب الذكاء الاصطناعي خطأً، فقد يحذف ملفاً حقيقياً أو يرسل بريداً إلكترونياً حقيقياً إلى الشخص الخطأ عن طريق الخطأ. بالإضافة إلى ذلك، يتغير العالم الحقيقي بسرعة كبيرة مما يجعل الاختبار غير عادل.
حل Agent-Diff: لقد بنوا "مكتباً شبحياً".
تخيل توأماً رقمياً مثالياً لمكتب حقيقي (Slack، Box، Google Calendar، إلداً). يبدو ويعمل تماماً مثل الشيء الحقيقي، لكنه معزول. إذا حذف الذكاء الاصطناعي ملفاً في هذا المكتب الشبحي، فلن يفقد أي شخص حقيقي بياناته. إنه ملعب آمن يشعر وكأنه العالم الحقيقي تماماً.
2. القواعد الجديدة: "هل تغيرت الغرفة؟"
كيف تقيم ذكاءً اصطناعياً؟
- الطريقة القديمة (التتبع - The Trace): تراقب خطوات الذكاء الاصطناعي. "هل ضغط على الزر الصحيح؟ هل قال الكلمات الصحيحة؟" هذا يشبه تقييم طالب بناءً على كيفية كتابته للمقال، وليس بناءً على ما إذا كان المقال قد أجاب بالفعل على السؤال.
- طريقة Agent-Diff (اختلاف الحالة - State-Diff): هم لا يهتمون كيف فعل الذكاء الاصطناعي ذلك. هم يهتمون فقط بـ النتيجة.
- التشبيه: تخيل أنك طلبت من روبوت "نقل الكرسي الأحمر إلى المطبخ".
- الطريقة القديمة: تتحقق مما إذا كان الروبوت قد رفع الكرسي بشكل صحيح.
- طريقة Agent-Diff: تأخذ صورة للغرفة قبل وبعد. تنظر إلى الفرق ("الديـف" - Diff). هل الكرسي الأحمر في المطبخ؟ نعم؟ نجاح. هل قلب الروبوت مزهرية بالخطأ أثناء تحريكه؟ فشل.
طريقة "اختلاف الحالة" هذه تشبه كاميرا المراقبة التي تهتم فقط بما إذا كانت الحالة النهائية للغرفة تطابق تعليماتك، مما يكشف أي فوضى عرضية أحدثها الذكاء الاصطناعي أثناء العمل.
3. الاختبار: 224 مهمة من العالم الحقيقي
أعطوا 9 نماذج مختلفة من الذكاء الاصطناعي 224 مهمة مختلفة، مثل:
- "ابحث عن جميع الملفات المتعلقة باقتصاد الأرجنتين، واحذف الملف الخاطئ، وقم بتمييز (tag) الملف الصحيح."
- "أنشئ حدثاً جديداً في التقويم لزخة شهب، ولكن تأكد من عدم تعارضه مع جدول مواعيد صديقك."
- "انقل مشكلة مشروع إلى فريق جديد وحدث الحالة."
كانت بعض المهام سهلة (خطوة واحدة)، وبعضها صعب (يصل إلى 24 خطوة). بعض المهام أعطت الذكاء الاصطناعي أرقام التعريف (ID) التي يحتاجها بالضبط؛ بينما أجبرت مهام أخرى الذكاء الاصطناعي على البحث عنها.
4. النتائج: من الفائز؟
اختبروا نماذج مثل DeepSeek و Claude و Gemini وغيرها.
- الفائزون: كان DeepSeek-v3.2 و Devstral-2512 هما الأفضل أداءً. حققا حوالي 88% من المهام بشكل صحيح. كانا مثل المتدربين الأكثر موثوقية الذين يقرأون دليل العمل بدقة.
- الخاسرون: عانى Llama-4-Scout و Claude-Haiku، حيث سجلوا أقل من 50%. كانا مثل المتدربين الذين ينسون باستمرار ما كان من المفترض القيام به.
- التكلفة: لم يكن النموذج الأفضل هو الأكثر تكلفة بالضرورة. أحد النماذج، Grok-4.1-Fast، كان رخيصاً وفعالاً للغاية، حيث حقق نتائج رائعة ببنسات قليلة.
5. تجربة "ورقة الغش" (التوثيق)
أراد الباحثون معرفة: هل إعطاء الذكاء الاصطناعي الدليل (توثيق API) يساعده؟
- المفاجأة: لقد ساعد كثيراً في المهام البسيطة. إذا لم يكن الذكاء الاصطناعي يعرف كيفية استخدام زر معين، فإن الدليل أصلح الأمر.
- العقبة: بالنسبة للمهام المعقدة، جعل الدليل الأمور أسوأ أحياناً. كان الأمر كإعطاء طباخ كتاب وصفات مكون من 50 صفحة بينما يحاول طهي وجبة من 10 أطباق؛ لقد شعروا بالارتباك ونسوا الطبق الرئيسي.
- اختبار "الميزة الجديدة": تضمن الاختبار ميزة جديدة تماماً في Box (تسمى "Hubs") لم يسبق للنماذج رؤيتها لأنها صدرت بعد تدريبهم.
- النتيجة: بدون الدليل، فشل الذكاء الاصطناعي تماماً. مع الدليل، حلوا المشكلة بشكل مثالي. هذا يثبت أن الذكاء الاصطناعي يمكنه تعلم أدوات جديدة فورياً إذا أعطيته التعليمات.
6. كيف نجح الفائزون
حللت الورقة البحثية لماذا نجحت النماذج العليا. لم يكن الأمر يتعلق فقط بمعرفة الحقائق؛ بل كان يتعلق بـ الاستراتيجية.
- استراتيجية الخاسرين: "لقد جربت هذا، وفشل. سأجرب نفس الشيء تماماً مرة أخرى". (مثل ضرب الرأس في الحائط مراراً وتكراراً).
- استراتيجية الفائزين: "لق لقد جربت هذا، وفشل. دعني أقسم هذه المشكلة الكبيرة إلى خطوات أصغر"، أو "دعني أبحث عن رقم التعريف الصحيح أولاً".
- الدرس المستفاد: أفضل الوكلاء هم الذين يتكيفون عندما يصطدمون بحائط مسدود، بدلاً من مجرد تكرار أخطائهم.
الملخص
Agent-Diff هو طريقة جديدة وعادلة وآمنة لاختبار ما إذا كان بإمكان وكلاء الذكاء الاصطناعي القيام بعمل حقيقي. وقد أثبت ما يلي:
- النتائج أهم من العملية: هل أُنجز العمل دون كسر أي شيء؟
- بعض أنواع الذكاء الاصطناعي أفضل بكثير من غيرها: هناك فجوة هائلة بين أفضل وأدنى أداء.
- التعليمات تساعد، لكن كثرة المعلومات تشتت الانتباه: إعطاء الذكاء الاصطناعي دليلاً يساعده في التعامل مع الأدوات الجديدة، لكن الكثير من النصوص قد تشتت تركيزه.
- القدرة على التكيف هي المفتاح: أفضل الوكلاء هم الذين يعرفون كيفية إصلاح أخطائهم.
هذا الإطار متاح الآن للجميع لاستخدامه، حتى يتمكن المطورون من بناء مساعدين أكثر ذكاءً وموثوقية من الذكاء الاصطناعي للعالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.