OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
تقدم هذه الورقة OmegaUse-OfficeVal، وهو معيار مرجعي جديد يتكون من 100 مهمة من مهام حزمة المكتب طويلة الأمد ذات أسس اقتصادية (وقت العمل البشري وسعر المهمة) لتقييم وكلاء النماذج اللغوية الكبيرة، كاشفةً أنه في حين أن النماذج الحالية أرخص وأسرع بكثير من البشر، إلا أنها لا تزال تقصر عن تحقيق مستوى الجودة البشرية في إنجاز المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا يكتفي فيه حاسوبك بانتظار نقراتك على الأزرار، بل يقوم بالفعل بالعمل نيابة عنك. هذا هو حلم "الوكلاء الذكيّين" (AI agents)—وهي برامج ذكية يمكنها قراءة تعليماتك، وفتح ملفاتك، وإنجاز المهمة، تماماً مثل متدرب رقمي. لفترة من الوقت، كانت هذه الوكلاء بارعة في القيام بحيل قصيرة وبسيطة، مثل كتابة رسالة بريد إلكتروني واحدة أو تلخيص مقال قصير. لكن الاختبار الحقيقي لقوتها هو ما إذا كان بإمكانها التعامل مع يوم عمل مكتبي كامل: أخذ تقرير فوضوي، وإعادة تنسيقه، وإضافة رسوم بيانية، وحفظه بشكل مثالي، كل ذلك دون ارتباك أو إتلاف الملف. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكن لهؤلاء العمال الرقميين القيام بالوظيفة حقاً، وهل يستحق الأمر التكلفة مقارنة بتوظيف إنسان حقيقي؟
إليك OmegaUse-OfficeVal، وهو "تقرير درجات" جديد صممه باحثون في "بايدو" (Baidu) لاختبار هذا الأمر تحديداً. لم يبتكروا مهاماً وهمية وسهلة؛ بل بنوا معياراً اختبارياً باستخدام 100 تحدٍ من واقع العمل المكتبي الحقيقي، مثل إصلاح جدول بيانات معطل أو تحويل مسودة أولية إلى عرض تقديمي مصقول. وما يجعل هذا الاختبار مميزاً هو أنهم أرفقوا "بطاقة سعر" بكل مهمة. فقد قاسوا بدقة الوقت الذي استغرقه الإنسان للقيام بها، وقدروا تكلفة دفع شخص ما للقيام بها. ثم تركوا لعدة نماذج ذكاء اصطناعي هي الأذكى في العالم محاولة حل هذه الألغاز نفسها. والنتائج؟ الوكلاء الذكيّون سريعون جداً ورخيصون—غالباً ما ينهون المهام في دقائق مقابل سنتات معدودة—لكنهم لا يزالون يرتكبون الكثير من الأخطاء تجعل من الصعب الوثوق بهم في المنتج النهائي. وبينما هم يتحسنون، إلا أنهم لم يصلوا بعد إلى مستوى موظف بشري مبتدئ موثوق.
الإعداد: مسار عقبات رقمي
لفهم ما فعله الباحثون، فكر في المكتب كورشة عمل ضخمة وفوضوية. في الماضي، كان اختبار الذكاء الاصطناعي يشبه مطالبته برص بعض الكتل؛ إذا أسقط واحدة، فقد فشل. لكن العمل المكتبي الحقيقي يشبه خبز كعكة معقدة من الصفر: عليك جمع المكونات (الملفات)، واتباع وصفة (التعليمات)، وإذا أحرقت الكريمة، فسدت الكعكة بأكملها.
أنشأ الباحثون مجموعة بيانات تسمى OmegaUse-OfficeVal تحتوي على 100 من مهام "خبز الكعك" هذه. لم تكن مجرد طلبات بسيطة مثل "اكتب قصيدة". بل كانت وظائف طويلة متعددة الخطوات تتضمن مستندات Word، وشرائح PowerPoint، وجداول Excel. استغرقت بعض المهام من البشر في المتوسط 2.32 ساعة لإكمالها. وهذا وقت طويل بالنسبة للحاسوب ليحافظ على تركيزه!
ما يجعل هذا المعيار فريداً هو "تأسيسه الاقتصادي". لم يسأل الباحثون فقط، "هل أنهى الذكاء الاصطناعي المهمة؟"، بل سألوا، "ما القيمة التي خلقها؟". وللقيام بذلك، تتبعوا شيئين لكل مهمة:
- وقت العمل البشري: الوقت الذي استغرقه شخص حقيقي للقيام بالمهمة.
- مؤشر سعر المهمة: تقدير تقريبي لما ستكلفه تلك المهمة إذا استأجرت مستقلاً (Freelancer) للقيام بها (تتراوح بين حوالي 3.65 دولار إلى 29.22 دولار لكل مهمة).
سمح هذا لهم بمقارنة الذكاء الاصطناعي ليس فقط على السرعة، بل على ما إذا كان يوفر المال حقاً أم أنه يرتكب أخطاء رخيصة فحسب.
الاختبار: الذكاء الاصطناعي مقابل المتدرب البشري
وضع الباحثون عدة نماذج ذكاء اصطناعي رفيعة المستوى في مواجهة "خط أساس بشري". لم يكن خط الأساس هذا مديراً تنفيذياً أو عبقرياً؛ بل كان عاملاً مبتدئاً ماهراً أو متدرباً. أُعطي البشر نفس التعليمات والملفات التي أُعطيت للذكاء الاصطناعي وطُلب منهم القيام بالعمل.
ولتقييم النتائج، لم يكتفِ الباحثون بجعل إنسان ينظر إلى الملف النهائي ويقول، "يبدو جيداً!"، فهذا بطيء وغير موضوعي للغاية. بدلاً من ذلك، كتبوا "مدققات قائمة على الكود" (code-based verifiers). تخيل مفتشاً آلياً يفحص الملف النهائي تلقائياً. إنه يفتح المستند، ويتأكد من وجود صفحة الغلاف، ويعد ما إذا كانت الرسوم البيانية بالحجم الصحيح، ويتأكد من عدم حذف أي نص بالخطأ. إذا كان الملف تالفاً أو ينقصه جزء رئيسي، يعطيه الروبوت صفراً. جعل هذا الاختبار عادلاً، وسريعاً، وقابلاً للتكرار.
النتائج: سريع ورخيص، ولكن ليس مثالياً
عندما استقر الغبار، حكت النتائج قصة واضحة.
الخط البشري الأساسي:
سجل العمال البشريون متوسط 27.79 من درجة مثالية ممكنة. لقد كانوا موثوقين؛ فنادراً ما أتلفوا الملفات، وأنجزوا معظم التفاصيل بدقة. ومع ذلك، استغرقوا وقتاً ومالاً. في المتوسط، كللت المهمة البشرية بنحو 6.86 دولار واستغرقت 2.32 ساعة.
الوكلاء الذكيّون:
كانت نماذج الذكاء الاصطناعي قصة مختلفة. لقد كانوا سريعين كالبرق ورخيصين للغاية.
- السرعة: أسرع ذكاء اصطناعي (DeepSeek-V4-Pro) أنهى المهمة في 0.184 ساعة فقط (حوالي 11 دقيقة).
- التكلفة: أرخص ذكاء اصطناعي (Qwen3.7-Plus) كلف 0.2152 دولار فقط لكل مهمة. هذا أقل من ثمن كوب قهوة!
ولكن إليكم الخدعة: لم يكونوا جيدين جداً في العمل.
أفضل نموذج ذكاء اصطناعي (GLM-5.2) سجل 17.91 فقط. وهذا أقل بكثير من الدرجة البشرية البالغة 27.79. وبينما كان الذكاء الاصطناعي أسرع وأرخص، إلا أنه ارتكب المزيد من الأخطاء. فغالباً ما نسي إضافة جدول المحتويات، أو أفسد التنسيق، أو أنشأ ملفاً لا يمكن فتحه.
وجد الباحثون أن الذكاء الاصطناعي يعاني أكثر في المهام الأصعب والأطول. فعندما تتطلب المهمة من الإنسان العمل لفترة طويلة (أكثر من ساعتين)، ينخفض أداء الذكاء الاصطناعي بشكل أكبر. يبدو أنه بينما يتفوق الذكاء الاصطناعي في الوظائف السريعة والبسيطة، فإنه يتوه عندما يصبح التخطيط "طويل الأمد" معقداً.
الحكم: ليس جاهزاً للعمل الرئيسي (بعد)
تشير الدراسة إلى أننا نعيش في "وادي" أعمال المكتب بالذكاء الاصطناعي. التكنولوجيا مفيدة بلا شك لأنها رخيصة وسريعة جداً. إذا كنت بحاجة إلى مسودة أولية أو ملخص سريع، فإن الذكاء الاصطناعي أداة رائعة. ولكن إذا كنت بحاجة إلى وثيقة احترافية مصقولة جاهزة للإرسال إلى عميل، فإن الذكاء الاصطناعي ليس هناك تماماً بعد.
استبعد المؤلفون صراحةً فكرة أن الذكاء الاصطناعي قد حل بالفعل مشاكل العمل المكتبي. لقد أظهروا أنه بينما يكون الذكاء الاصطناعي "أرخص وأسرع بشكل جوهري"، فإنه "لم يقترب بعد من جودة المخرجات البشرية". الفجوة بين العامل البشري والوكيل الذكي لا تزال واسعة عندما يتعلق الأمر بالجودة النهائية للمنتج.
ومع ذلك، فإن الورقة البحثية متفائلة بشأن المستقبل. فمن خلال إنشاء هذا الاختبار الصارم مع بيانات اقتصادية حقيقية، وضع الباحثون خارطة طريق. إنهم يعرفون بالضبط أين يخفق الذكاء الاصطاري (المهام الطويلة، التنسيق المعقد) ويمكنهم الآن العمل على إصلاح تلك المشكلات المحددة. في الوقت الحالي، يبدو أن أفضل استراتيجية هي الشراكة: دع الذكاء الاصطناعي يقوم بالعمل الشاق والمسودات السريعة، ولكن أبقِ إنساناً في الحلقة للتحقق من المنتج النهائي وإصلاح الأخطاء. حلم "العمل بالانطباع" (vibe working)—حيث يتولى الذكاء الاصطناعي المهمة بأكملها—لا يزال قيد التطوير، لكن الرحلة قد بدأت رسمياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.