WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing
تقدم هذه الورقة البحثية WorkSurface-Bench، وهو معيار مرجعي جديد يتكون من 1,151 مهمة قابلة للتدقيق صُممت لتقييم قدرة الوكلاء المؤسسيين على توجيه الاستعلامات عبر أسطح معرفية متباينة (مستندات، وجداول، ورسوم بيانية)، مما يكشف أنه في حين يمكن للوكلاء تحقيق دقة عالية في التوجيه، فإن الاختيار الصحيح للسطح وحده لا يكفي لتحقيق معدلات مرتفعة لإنجاز المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً آلياً (روبوت) فائق الذكاء لمساعدتك في إدارة مكتب مزدحم. تسأله سؤالاً معقداً، مثل: "كم أنفقنا على الشحن في الشهر الماضي، وما هي الملفات التي تسببت في التأخير؟". للإجابة على هذا، لا يمكن للروبوت مجرد التخمين؛ بل يحتاج إلى البحث عن المعلومات. ولكن هنا تكمن العقبة: المكتب يحتوي على ثلاثة أنواع مختلفة تماماً من رفوف المعلومات. هناك المكتبة المليئة بالتقارات المكتوبة وملفات PDF (وثائق)، وغرفة الجداول الحسابية المليئة بصفوف الأرقام والحسابات (جداول)، وغرفة الخرائط التي توضح كيفية اتصال كل ملف بالآخر (رسوم بيانية/علاقات).
لفترة طويلة، كان العلماء الذين يختبرون هذه الروبوتات يسألون غالباً: "هل حصلت على الإجابة الصحيحة؟". إذا بحث الروبوت في الغرفة الخطأ، أو اختار الكتاب الخطأ، أو أخطأ في الحساب، فإن الاختبار يكتفي بالقول فقط: "فشل". لكن هذا لا يخبرنا لماذا فشل. هل لم يكن الروبوت يعرف أنه بحاجة للذهاب إلى غرفة الخرائط؟ أم أنه ذهب إلى غرفة الخرائط، ووجد الخريطة الصحيحة، ولكنه ارتبك أثناء قراءتها؟ هذه الورقة البحثية تدخل في هذه الفجوة. فهي تقدم طريقة جديدة لاختبار الروبوتات عبر الفصل بين عملية اختيار الغرفة الصحيحة وعملية حل اللغز بمجرد الدخول إليها. وهي تسأل: هل يمكن للروبوت معرفة نوع المعرفة التي يحتاجها حتى قبل أن يبدأ في البحث؟
اللعبة الجديدة: WorkSurface-Bench
قام الباحثون ببناء ساحة اختبار جديدة تسمى WorkSurface-Bench. تخيلها كمحاكاة مكتبية واقعية ضخمة تحتوي على 1,151 مهمة مختلفة. لقد وضعوا خمس "شخصيات" مختلفة (مثل مدير لوجستي أو محلل مالي) ومنحوها إمكانية الوصول إلى ثلاثة أسطح متميزة: مكتبة وثائق، وقاعدة بيانات جداول، ورسم بياني لعلاقات الملفات.
الابتكار الكبير هنا هو كيفية تقييم الروبوتات. فبدلاً من مجرد إعطاء نتيجة "نجاح" أو "فشل" للإجابة النهائية، يقومون بتسجيل شيئين منفصلين:
- المسار (Route): هل اختار الروبوت "الأسطح" الصحيحة (المكتبة، أو الجدول الحسابي، أو الخريطة)؟
- الإجابة (Answer): هل قام بالفعل بحل المشكلة بشكل صحيح بمجرد اختيارهم؟
لقد وضعوا "معياراً ذهبياً" لكل إجابة. فإذا كانت المهمة تتطلب عملية حسابية، قاموا بتشغيل الكود الفعلي للحصول على الإجابة الحقيقية. وإذا كانت تتطلب قراءة وثيقة، فقد تحققوا من الكلمات الدقيقة في المصدر. وإذا كانت تتطلب اتصالاً بين الملفات، فقد تتبعوا المسار الفعلي. وهذا يعني أن الإجابة "الصحيحة" ليست مجرد تخمين من ذكاء اصطناعي آخر؛ بل هي حقيقة مثبتة.
المفاجأة الكبرى: معرفة أين تبحث ليس كافياً
قام الفريق باختبار أربعة من أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك GPT-4o-mini، وDeepSeek-V4-Pro، وGemini-3.1-Pro، وGPT-5.5) في ستة سيناريوهات مختلفة. أرادوا معرفة ما إذا كان جعل مهمة الروبوت أسهل عبر إخباره بالضبط أي غرفة يذهب إليها سيصلح أخطاءه.
إليكم ما وجدوه، وهي مفاجأة غير متوقعة: معرفة أين تبحث لا تضمن لك العثور على الإجابة.
عندما أجبر الباحثون الروبوتات على استخدام الأسطح الصحيحة فقط (إعداد "المقيد بالمعيار الذهبي" - Gold-constrained)، أصبحت الروبوتات مثالية تقريباً في اختيار الغرفة الصحيحة. حيث ارتفعت درجة "المسار" لديهم لتتراوح بين 98.7% و99.8%. لقد عرفوا تماماً أين يذهبون.
ومع ذلك، فإن درجة "الإجابة" الخاصة بهم — أي الصحة الفعلية للحل النهائي — وصلت فقط إلى ما بين 56.1% و75.3%.
هذا يعني أنه حتى عندما كان الروبوت واقفاً في الغرفة الصحيحة وفي يده الخريطة الصحيحة، فإنه كان لا يزال يخطئ في الإجابة أكثر من ربع المرات. قد يكون وجد الملف الصحيح ولكنه أخطأ في قراءة الأرقام، أو ربما دمج المعلومات من الجدول والوثيقة بشكل غير صحيح. توضح الورقة أن "اختيار الأداة الصحيحة" و"استخدام الأداة بشكل صحيح" هما مهارتان مختلفتان تماماً، والبراعة في إحداهما لا تعني تلقائياً البراعة في الأخرى.
التلميحات مقابل القيود
لعب الباحثون أيضاً لعبة "تقديم تلميح" مقابل "إزالة المشتتات":
- التلميح: أخبروا الروبوتات: "تحتاجين إلى النظر في الجدول الحسابي والخريطة". ساعد هذا الروبوتات على اختيار الأسطح الصحيحة بشكل أفضل، وبالنسبة لبعض النماذج، أدى ذلك إلى تحسين إجاباتهم النهائية قليلاً.
- القيود: ثم نزعوا عنهم جميع الأدوات التي لم تكن الروبوتات بحاجة إليها. جعل هذا الروبوتات أسرع وأكثر كفاءة، وجعلهم يختارون الأسطح الصحيحة بشكل أفضل. ولكن، ويا للدهشة، لم يؤدِ هذا دائماً إلى جعل الإجابة النهائية أفضل. في الواقع، بالنسبة لبعض النماذج، جعل إزالة الأدوات الإضافية أداءهم أسوأ قليلاً، ويرجع ذلك على الأرجب إلى فقدانهم القدرة على مراجعة عملهم باستخدام أداة أخرى.
ماذا يعني هذا للمستقبل؟
تخلص الورقة البحثية إلى أنه لا يمكننا الاكتفاء بالنظر إلى الدرجة النهائية للذكاء الاصطناعي بعد الآن. إذا أخطأ وكيل الذكاء الاصطناعي في سؤال ما، فنحن بحاجة لمعرفة ما إذا كان قد فشل لأنه لم يعرف ماذا يبحث عنه، أو لأنه بحث في المكان الصحيح ولكنه لم يستطع معالجة ما وجده.
لقد قاس المؤلفون ذلك عبر 27,624 محاولة مختلفة من قبل الروبوتات، وهم واثقون جداً من هذه الأرقام لأنهم راجعوا النتائج مع مدققين بشريين وقواعد صارمة. ووجدوا أنه بينما أصبحت أفضل الروبوتات جيدة جداً في تحديد المسارات (98%+), إلا أنها لا تزال تعاني في الخطوة النهائية المتمثلة في تجميع القطع معاً بشكل صحيح (حوالي 56-75%).
باخت_صار، مستقبل روبوتات المكتب الذكية لا يتعلق فقط بإعطائهم خرائط أفضل للمكتب، بل يتعلق بتعليمهم كيفية قراءة اللافتات والقيام بالحسابات بمجرد وصولهم. توفر الورقة لوحة نتائج جديدة ومفصلة لمساعدة المطورين على تتبع مكان تعثر روبوتاتهم بدقة، حتى يتمكنوا من إصلاح الجزء المعطل تحديداً من "الدماغ"، بدلاً من مجرد الأمل في أن يتحسن النظام بأكمله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.