TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks
تقدم الورقة البحثية TerminalWorld، وهو محرك بيانات قابل للتوسع يقوم بالهندسة العكسية تلقائياً لـ 1,530 مهمة طرفية عالية الدقة من 80,870 تسجيلاً من العالم الحقيقي لاختبار نماذج الوكلاء الاصطناعيين، مما يكشف أن النماذج الرائدة الحالية تعاني مع سير العمل الأصيل وتؤدي بشكل ضعيف مقارنة بالمعايير المرجعية الحالية التي أعدها خبراء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية استخدام "سطر الأوامر" (command line) في جهاز كمبيوتر — تلك الشاشة السوداء حيث يكتب المبرمجون أوامر نصية بدلاً من النقر على الأيقونات. لفترة طويلة، كانت الطريقة التي نختبر بها هذه الروبوتات تشبه إعطاءها لغزاً وضعه معلم صارم. سيقول المعلم: "إليك لغزاً محيراً؛ حله!" وإذا حل الروبوت اللغز، اعتقدنا أنه ذكي.
لكن مؤلفي هذه الورقة البحثية، TERMINALWORLD، أدركوا أن هناك مشكلة: الحياة الواقعية ليست لغزاً. الحياة الواقعية فوضوية، وغير متوقلة، ومليئة بأدوات محددة يستخدمها الناس فعلياً كل يوم. الروبوت الذي يمكنه حل لغز قد يفشل في الواقع عند سؤاله عن إصلاح خادم (server) أو تنظيم ملفات في مكتب حقيقي.
إليك كيف قاموا بحل هذه المشكلة، مشروحة ببساطة:
1. نهج "المراقب الصامت" (Fly on the Wall)
بدلاً من اختراع مهام وهمية، ذهب الباحثون إلى موقع عام يسمى asciinema. هذا الموقع يشبه قناة يوتيوب، ولكنه مخصص لشاشات الكمبيوتر. يقوم المطورون طواعية برفع تسجيلات لجلسات عملهم الحقيقية.
- التشبيه: تخيل أنك تريد تعليم طالب كيفية الطبخ. بدلاً من كتابة كتاب وصفات من الصفر (والذي قد يكون مثالياً جداً أو غريباً)، تذهب إلى مطبخ، وتسجل 80,000 ساعة من طهاة حقيقيين يطبخون وجبات حقيقية، ثم تسأل: "حسناً، ماذا فعلوا للتو؟"
- النتيجة: جمعوا 80,870 تسجيلاً حقيقياً لمطورين أثناء العمل.
2. محرك "الطاهي الروبوت"
التسجيلات الخام فوضوية. تحتوي على أخطاء مطبعية، ومحاولات فاشلة، وقوائم طويلة من رسائل النظام التي لا تهم. قام الباحثون ببناء "محرك بيانات" خاص (نظام برمجيات ذكي) لتنظيف هذا الأمر.
- الخطوة 1: فهم الهدف. ينظر المحرك إلى تسجيل فوضوي ويسأل ذكاءً اصطناعياً فائق الذكاء: "ما الذي كان هذا الشخص يحاول تحقيقه فعلياً؟" إنه يحول سجلاً فوضوياً إلى تعليمات واضحة: "احظر عناوين الـ IP السيئة هذه واحفظ القائمة في هذا الملف."
- الخطوة 2: بناء المطبخ. التسجيل لا يخبرك ما هي الأدوات التي كان يمتلكها الطاهي. يجب على المحرك تخمين البرامج والملفات اللازمة، وبناء نسخة رقمية مثالية لبيئة الكمبيوتر تلك (باستخدام ما يسمى بـ "حاوية Docker")، والتأكد من أن الأوامر الأصلية ستعمل بالفعل هناك.
- الخطوة 3: شبكة الأمان. بما أنه لا يوجد معلم لتقييم العمل، يقوم المحرك بإنشاء "اختبار" خاص به. يقوم بتشغيل الحل ويتحقق: "هل ظهر الملف؟ هل القائمة صحيحة؟" إذا فشل الاختبار، يقوم المحرك بإصلاح الاختبار حتى يصبح مثالياً.
3. الامتحان الجديد "الواقعي"
من بين تلك الـ 80,000 تسجيل، أنشأوا بنك اختبارات ضخماً جديداً يسمى TERMINALWORLD.
- يحتوي على 1,530 مهمة تم التحقق من صحتها.
- يغطي 18 نوعاً مختلفاً من الوظائف الحقيقية، من إعداد الخوادم السحابية إلى إصلاح أخطاء قواعد البيانات.
- يستخدم 1,280 أمراً مختلفاً للكمبيوتر، 91% منها لم تظهر في الاختبارات السابقة.
كما أنشأوا نسخة أصغر وأكثر صعوبة تسمى TERMINALWORLD-VERIFIED (200 مهمة) قام البشر بمراجعتها للتأكد من أنها دقيقة بنسبة 100%.
4. النتائج الصادمة
وضعوا أذكى نماذج الذكاء الاصطناي في العالم (مثل الإصدارات الأخيرة من Claude و GPT و Gemini) وأطر عمل "الوكيل" الخاصة بهم (البرمجيات التي تساعد الذكاء الاصطناعي على استخدام الكمبيوتر) في هذا الاختبار الجديد.
إليكم ما وجدوه:
- "مفارقة الكفاءة": كلما زاد ذكاء الذكاء الاصطناعي، زاد تعثره أحياناً. أفضل ذكاء اصطناعي نجح فقط في 62.5% من المهام. وعندما فشلوا، لم يستسلموا فحسب، بل استمروا في المحاولة، مما أدى إلى إضاعة كميات هائلة من الوقت والمال في استكشاف المسارات الخاطئة. إنه يشبه طالباً يستمر في إعادة قراءة نفس الفقرة المربكة مراراً وتكراراً بدلاً من طلب المساعدة.
- فجوة "اللغز مقابل الواقع": لم يكن هناك أي ارتباط تقريباً بين مدى جودة أداء الذكاء الاصطناي في اختبارات "الألغاز" القديمة (Terminal-Bench) ومدى جودته في هذا الاختبار "الواقعي" الجديد.
- التشبيه: قد يكون الذكاء الاصطناي بطلاً في حل ألغاز "السودوكو" (الاختبار القديم) ولكنه سيفشل تماماً في قيادة سيارة في حركة المرور (الاختبار الجديد). كانت الاختبارات القديمة مختلفة تماماً عن العمل الحقيقي.
- الوكلاء مقابل البشر: عندما كان الذكاء الاصطناي يحل مهمة، نادراً ما كان يفعل ذلك بنفس الطريقة التي اتبعها الإنسان في التسجيل. لقد اتخذوا مسارات مختلفة للوصول إلى نفس الوجهة. وهذا أمر جيد في الواقع! معناه أن الذكاء الاصطناي لا يكتفي بالنسخ فقط، بل يجد طريقته الخاصة، حتى لو كانت تلك الطريقة أطول.
الخلاصة
تجادل الورقة البحثية بأنه لا يمكننا بعد الآن الوثوق بالاختبارات التي يصنعها الخبراء في المختبرات. لمعرفة ما إذا كان الذكاء الاصطناي مستعداً حقاً للعمل في العالم الحقيقي، يجب أن نختبره على سير عمل بشري حقيقي، وهو سير عمل فوضوي، ومعقد، ومتغير باستمرار.
TERMINALWORLD هو أداة تحول العمل البشري الحقيقي تلقائياً إلى اختبار، مما يضمن أنه بينما يغير المطورون طريقة عملهم، تتطور اختباراتنا للذكاء الاصطناي جنباً إلى جنب معهم. إنها انتقال من اختبار "هل يمكنك حل لغز؟" إلى "هل يمكنك القيام بالوظيفة؟"
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.