Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps
تقدم هذه الورقة معياراً صارماً لتقييم وكلاء البحث العميق في مهام الاستشارات التخصصية باستخدام مطالبات صاغها خبراء موضوعيون تتضمن فخاخاً معرفية، مما يكشف أن النماذج الرائدة الحالية (Claude وo3 وGemini) تحقق معدلات قبول منخفضة بشكل موحد بسبب أنماط فشل متميزة مثل الهلوسة، والأخطاء الحسابية، وعدم اتساق الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف فريقاً من المساعدين البحثيين فائقي الذكاء للقيام بمهمة معقدة: عليهم قراءة كومة فوضوية من الوثائق، وإيجاد أرقام محددة، وإجراء بعض العمليات الحسابية، ثم كتابة تقرير احترافي لمدير تنفيذي. إذا أخطأوا في رقم واحد فقط، فقد يتسبب ذلك في خطأ يكلف مليارات الدولارات للمدير التنفيذي.
هذه الورقة البحثية تشبه مقابلة عمل صارمة لثلاثة من أكثر المساعدين البحثيين المتقدمين في مجال الذكاء الاصطناعي المتاحين اليوم (Claude و o3 و Gemini). أراد المؤلفون، من Deccan AI Research، معرفة ما إذا كان بإمكان هذه الأنظمة القيام بهذا النوع من العمل التفصيلي عالي المخاطر الذي يقوم به مستشارو الإدارة البشر، أم أنها بارعة فقط في الإجابة على الأسئلة العامة البسيطة.
إليك تفاصيل تجربتهم، باستخدام تشبيهات بسيطة:
1. الاختبار: مسار عقبات "مليء بالفخاخ"
كانت معظم الاختبارات السابقة للذكاء الاصطناعي مثل السؤال: "ما هي عاصمة فرنسا؟" (استرجاع الحقائق). لكن هذا الاختبار كان مختلفاً. فقد صمم المؤلفون 42 سيناريو معقداً بناءً على عمل استشاري حقيقي.
فكر في هذه السيناريوهات كأنها دورة بقاء مصممة لخداع الذكاء الاصطناعي. احتوت الوثائق المقدمة للذكاء الاصطناعي على "فخاخ إدراكية"، مثل:
- فخ "الرنجة الحمراء" (التضليل): ملف مليء بـ 100 صفحة من النصوص، لكن الإجابة مخبأة في هامش صغير في الصفحة 98.
- فخ "التناقض": وثيقة تقول إن السعر هو 50 دولاراً، بينما يقول هامش آخر: "إلا إذا كان يوم الثلاثاء، حينها يكون السعر 60 دولاراً".
- فخ "الرياضيات": طلب حساب المتوسط، لكن الطريقة الصحيحة تتطلب حساب المتوسط المرجح (مثل حساب درجاتك بناءً على وزن كل اختبار).
إذا قام الذكاء الاصطناعي بمسح سطحي أو خمن الإجابة، فسيفشل.
2. الحكام: طبقتان من التقييم
لم تترك الورقة البحثية الذكاء الاصطناعي ليقيم نفسه، بل استخدموا نظام تسجيل من طبقتين:
- الطبقة الأولى: الفاحصون الآليون (المحقِّقون): هؤلاء عبارة عن فحوصات آلية صارمة. هل أنتج الذكاء الاصطناعي الملف؟ هل استخدم الأرقام الصحيحة؟ هل استشهد بالمصادر الصحيحة؟ إذا أخطأ الذكاء الاصطناعي في خطوة حسابية واحدة، ستعتبره هذه الطبقة فاشلاً.
- الطبقة الثانية: الخبير البشري (الخبير المختص - SME): قام مستشار بشري حقيقي (لديه خبرة تزيد عن 15 عاماً) بقراءة تقرير الذكاء الاصطناعي. وقام بتقييمه بناءً على خمسة معايير:
- سلامة البيانات: هل اخترعت حقائق؟
- الدقة التحليلية: هل منطقك سليم؟
- الصلة بالموضوع: هل أجبت على السؤال أم اكتفيت بالثرثرة؟
- التنفيذ: هل قمت بالعمليات الحسابية بشكل صحيح؟
- التنسيق: هل التقرير احترافي وقابل للاستخدام؟
دمجت النتيجة النهائية هاتين الطبقتين. ولكي "يجتاز" الذكاء الاصطناعي الاختبار، كان عليه تجاوز الفاحصين الآليين وإبهار الخبير البشري أيضاً.
3. النتائج: "معدل النجاح" كان منخفضاً بشكل صادم
من بين 126 محاولة إجمالية (42 مهمة × 3 نماذج ذكاء اصطناٍعي)، لم ينجح أحد تقريباً.
- نجح Gemini في حوالي 21% من الحالات.
- نجح Claude و o3 بنسبة 9.5% فقط.
بمعنى آخر، إذا وظفت أحد هذه الأنظمة لمشروع استشاري بمليون دولار، فهناك احتمال بنسبة 79% إلى 90% أن يفشل في تقديم تقرير دقيق وقابل للاستخدام.
4. كيف فشل كل نموذج ( "شخصيات" الفشل)
وجدت الورقة أن كل ذكاء اصطناعي قد فشل بطريقته الفريدة، مثل ثلاثة طلاب مختلفين يخوضون امتحاناً صعباً:
Claude (المختلق الواثق):
- نقطة القوة: كان الأفضل في إنشاء الملفات النهائية فعلياً (مثل مستندات Word أو جداول Excel). نادراً ما ينسى تسليم المهمة.
- نقطة الضعف: كان الأكثر عرضة للكذب. عندما لا يجد إجابة في الوثائق، فإنه يخترع رقماً أو مصدراً بكل ثقة لملء الفجوة. كان يشبه الطالب الذي يكتب مقالاً رائعاً ولكنه يختلق جميع الحقائق.
o3 (الرياضي الحذر والمتعثر):
- نقطة القوة: عندما كان يقوم بعملية الاستنتاج، غالباً ما يكون منطقه هو الأكثر وضوحاً ونقاءً.
- نقطة الضعف: كثيراً ما كان يسقط أقساماً مطلوبة من التقرير أو يرتكب أخطاء حسابية متتالية. إذا أخطأ في الخطوة الأولى، تصبح بقية الحسابات خاطئة. كما أنه كان يتجاهل أحياناً التعليمات الخاصة بإنشاء ملف ويكتفي بإعطاء إجابة نصية.
Gemini (الأفعوانية/التقلب الحاد):
- نقطة القوة: عندما كان يعمل، كان غالباً هو الأفضل. سجل أعلى عدد من الدرجات "المثالية".
- نقطة الضعف: كان غير موثوق. سجل أعلى عدد من درجات "الصفر". أحياناً كان يتعطل، أو يرفض الإجابة، أو ينتج ملفاً يحتوي على كود برمجي معطل. كان يشبه طالباً إما يتفوق في الاختبار أو يفشل لدرجة أنه لا يحضر أصلاً.
5. الخلاصة الكبرى
تخلص الورقة إلى أنه على الرغم من أن وكلاء الذكاء الاصطناعي هؤلاء مثيرون للإعجاب، إلا أنهم ليسوا جاهزين بعد للعمل عالي المخاطر الذي يتطلب اتخاذ قرارات.
إذا ارتكب مستشار بشري خطأً، فغالباً ما يكون زلة صغيرة. أما إذا ارتكب هؤلاء الوكلاء (الذكاء الاصطناعي) خطأً، فغالباً ما يكون فشلاً كارثياً: قد يخترعون مصدراً وهمياً، أو يتسببون في تعطل البرمجيات، أو يغفلون عن ملاحظة هامشية حاسمة تغير قرار العمل بأكمله.
يعمل المؤلفون حالياً على إعداد نسخة ثانية وأكبر من هذا الاختبار، ولكن في الوقت الحالي، الرسالة واضحة: لا تثق في هذه الأنظمة لاتخاذ قرارات شركتك التي تقدر بمليارات الدولارات بعد. لا تزال في مرحلة تعلم كيفية أن تكون باحثاً موثوقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.