إليك شرح لورقة ClawForge البحثية، مترجمة إلى لغة يومية بسيطة مع استخدام تشبيهات إبداعية.

الصورة الكبيرة: مشكلة "المكتب الفوضوي"

تخيل أنك وظفت مساعداً آلياً (روبوت) ذكياً جداً لتنظيم حياتك. معظم الاختبارات التي نضعها لهذه الروبوتات تشبه إعطاءها مكتباً جديداً وفارغاً وقول: "من فضلك اكتب قائمة بالمهام". يكتب الروبوت القائمة، ونحن نتحقق مما إذا كانت الكلمات صحيحة.

لكن في العالم الحقيقي، مكتبك ليس فارغاً أبداً. إنه مغطى بمشاريع غير مكتملة، وملاحظات لاصقة قديمة، وتعليمات متضاربة، وملفات أصبحت قديمة وغير صالحة. الاختبار الحقيقي لذكاء الروبوت ليس فقط "هل يمكنه كتابة قائمة؟" بل "هل يمكنه النظر إلى هذا المكتب الفوضوي، ومعرفة ما هو معطل، وإصلاح الأشياء القديمة دون حذف الأشياء الجيدة، وإتمام المهمة؟"

تقدم هذه الورقة البحثية ClawForge، وهي طريقة جديدة لاختبار وكلاء الذكاء الاصطناعي (الروبوتات) تركز بالكامل على سيناريو "المكتب الفوضوي" هذا.

---

ما هو ClawForge؟ (مصنع السيناريوهات)

أدرك المؤلفون أن إنشاء هذه الاختبارات "للمكتب الفوضوي" يدوياً أمر صعب للغاية وبطيء جداً. إذا أردت اختبار 100 سيناريو فوضوي مختلف، فسيتعين عليك بناء 100 فوضى مختلفة يدوياً.

ClawForge هو مصنع مؤتمت.
بدلاً من أن يكتب البشر كل اختبار، قام الباحثون ببناء نظام يولد الاختبارات. يأخذ النظام نموذجاً (مثل "إصلاح جدول إصدار معطل") ويقوم تلقائياً بملء التفاصيل (مدن مختلفة، تواريخ مختلفة، أخطاء مختلفة).

• النتيجة: يقوم بإنشاء "مهمة قابلة للتنفيذ" كاملة. هذا ليس مجرد سؤال؛ بل هو محاكاة مصغرة ذات حالة بداية (المكتب الفوضوي)، ومجموعة من القواعد، وطريقة لتقييم النتيجة.
• الهدف: معرفة ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع تضارب الحالة (State Conflict). وهذا يعني التعامل مع أشياء موجودة بالفعل، وبعضها قد يكون خاطئاً، أو قديماً، أو مكرراً.

كيف يعمل الاختبار (حلقة اللعبة)

فكر في الاختبار كأنه مستوى في لعبة فيديو حيث يكون الذكاء الاصطناعي هو اللاعب:

1. الإعداد: تقوم اللعبة بتحميل "ملف حفظ" يحتوي بالفعل على بعض العناصر على اللوحة. ربما هناك مهمة تسمى "إصلاح الخادم" موجودة بالفعل ولكن تم تحديدها كـ "أولوية منخفضة" (وهذا خطأ).
2. التعليمات: يتلقى الذكاء الاصطناعي أمراً: "إصلاح الخادم خاطئ. قم بإصلاحه، لكن لا تحذف المهام الأخرى الصالحة".
3. الإجراء: يكتب الذكاء الاصطناعي الأوامر واحداً تلو الآخر (مثل إنسان يستخدم سطر الأوامر).
4. التقييم: هذا هو الجزء الأهم. النظام لا يتحقق مما إذا كان الذكاء الاصطناعي قد كتب نفس الكلمات التي كان سيكتبها البشر تماماً. بدلاً من ذلك، يتحقق من الحالة النهائية للمكتب.
   • هل تمت إزالة المهمة القديمة والخاطئة؟
   • هل المهمة الجديدة والصحيحة موجودة؟
   • هل قام الذكاء الاصطناعي عن طريق الخطأ بإنشاء نسخة مكررة من المهمة؟
   • هل ترك الأشياء الصالحة كما هي دون تغيير؟

إذا بدا المكتب النهائي مثالياً، ينجح الذكاء الاصطناعي. إذا بدا فوضوياً، فإنه يفشل.

النتائج: الروبوتات لا تزال تتعلم

اختبر المؤلفون سبعة من أذكى نماذج الذكاء الاصطناعي المتاحة (من شركات مثل OpenAI وAnthropic وKimi) في هذا المعيار الجديد. وكانت النتائج مفاجئة ومتواضعة:

• "الدرجة الكاملة" نادرة: حتى أفضل نموذج ذكاء اصطناعي لم يحصل إلا على حوالي 45% من المهام بشكل صحيح تماماً. هذا يعني أن المعيار صعب ولم يتم "حله" بعد.
• مشكلة "الإصلاح الخاطئ": كان هناك نوع معين من الفشل شائعاً جداً. عندما يُطلب من النماذج استبدال عنصر خاطئ، فإنها غالباً ما تتعثر. قد يقومون بحذف العنصر الخاطئ لكنهم ينسون إضافة العنصر الجديد، أو قد يضيفون الجديد لكنهم يتركون القديم المعطل مكانه.
  • تشبيه: تخيل أنك طُلب منك استبدال إطار سيارة مثقوب. الذكاء الاصطناعي يزيل الإطار المثقوب لكنه ينسى وضع الإطار الاحتياطي. أو أنه يضع الإطار الاحتياطي لكنه يترك الإطار المثقوب يتدحرج على الأرض.
• مشكلة "لا تلمس الشيء": فشل آخر شائع كان عندما يكون المكتب مكتمل العمل فيه بالفعل. كان الذكاء الاصطناعي يرى مهمة صحيحة بالفعل، وبدلاً من تركها وشأنها، كان يحاول "إصلاحها" مرة أخرى، مما يؤدي إلى إنشاء نسخة مكررة.
  • تشبيه: تقول للروبوت: "القهوة جاهزة بالفعل". فيرد الروبوت: "حسناً"، ثم يبدأ فوراً في تحضير وعاء قهوة ثانٍ، مما يسبب فوضى.
• الكفاءة مهمة: استغرقت بعض النماذج خطوات كثيرة جداً لحل مشكلات بسيطة، بينما كانت نماذج أخرى سريعة ولكنها ترتكب أخطاء. أفضل النماذ أداءً كانت تلك التي تتحقق من الحالة الموجودة أولاً قبل اتخاذ أي إجراء.

التحديان الأصعب

تسلط الورقة الضوء على نوعين محددين من سيناريوهات "المكتب الفوضوي" التي أربكت جميع النماذج تقريباً:

1. استبدال الحالة الخاطئة (Wrong-State Replacement): يجب على الذكاء الاصطناعي تحديد شيء ما هو خاطئ واستبداله بشيء صحيح، مع الحفاظ على سلامة كل شيء آخر. كانت هذه أصعب مهمة؛ حيث نجح أفضل نموذج في تنفيذها بنسبة 17% فقط.
2. استئناف سير العمل المنقطع (Interrupted Workflow Resume): يجب على الذكاء الاصطناعي الدخول إلى غرفة بدأ فيها شخص آخر مشروعاً، وإنهاء الأجزاء الناقصة، وعدم إعادة القيام بالأجزاء التي تم إنجازها بالفعل. كانت الفجوة بين أفضل وأسوأ النماذج هنا ضخمة (من 17% إلى 90%)، مما يظهر أن بعض النماذج أفضل بكثير في "قراءة الغرفة" قبل البدء بالعمل.

لماذا هذا مهم؟

يجادل المؤلفون بأنه لا يمكننا فقط اختبار الذكاء الاصطناعي في مهام "نظيفة". العمل الحقيقي يتضمن التعامل مع التاريخ، والأخطاء، والتقدم الجزئي. ClawsForge هو أداة لقياس ما إذا كان الذكاء الاصطناعي مستعداً حقاً للعمل في مكتب حقيقي، حيث نادراً ما تكون الأمور مثالية ونادراً ما يكون البدء من الصفر خياراً متاحاً.

باختصار: ClawForge هو صالة ألعاب رياضية (Gym) لوكلاء الذكاء الاصطناعي ليتعلموا كيفية تنظيف غرفة فوضوية دون كسر الأثاث الذي يعمل بالفعل. في الوقت الحالي، لا يزال أقوى وكلاء الذكاء الاصطناعي يتعثرون في أقدامهم داخل هذه الصالة الرياضية.