🤖 AI

Results and Retrospective Analysis of the CODS 2025 AssetOpsBench Challenge

تقدم هذه الورقة تحليلاً استرجاعياً لتحدي CODS 2025 AssetOpsBench، كاشفةً عن رؤى نقدية مثل تشبع درجات التخطيط العامة، والارتباط السلبي بين تقييمات التنفيذ العامة والخاصة، والتأثير الضئيل لمصطلح t-match على التصنيفات النهائية، والنتيما بأن الاستراتيجيات الناجحة اعتمدت على ضوابط قوية أكثر من اعتمادها على بنيات وكلاء مبتكرة.

المؤلفون الأصليون: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: "منافسة طهي" للروبوتات الذكية

تخيل مسابقة طهي عالية المستوى، ولكن بدلاً من الطهاة، المتسابقون هم وكلاء ذكاء اصطناعي (برامج كمبيوتر ذكية). التحدي، الذي سُمي CODS 2025 ASSETOPSBENCH، لم يكن يتعلق بصنع طبق جميل؛ بل كان يتعلق بإصلاح آلات صناعية معطلة (مثل أجهزة تكييف الهواء الضخمة والمبردات) باستخدام الأدوات الرقمية فقط.

وضع المنظمون اختباراً من جزأين لمعرفة من يمكنه القيام بالمهمة فعلياً في العالم الحقيقي، وليس فقط على الورق. أرادوا معرفة: هل يمكن لروبوتات الذكاء الاصطناعي هذه أن تخطط لعملية إصلاح، ثم تقوم بتنفيذها بالفعل دون أن تتعطل؟

المساران: المهندس المعماري مقابل البنّاء

لجعل الاختبار عادلاً، قسم المنظمون المنافسة إلى مسارين منفصلين، مثل دورين مختلفين في طاقم بناء:

المسار الأول (المهندس المعماري/المخطط): كان "المحرك" الذي يصلح الآلة في مكانه ولا يمكن تغييره. كان بإمكان المتسابقين فقط تغيير المخطط (الأمر أو الـ Prompt). كان عليهم كتابة تعليمات أفضل للذكاء الاصطناعي حول كيفية التفكير والخطوات التي يجب اتخاذها.
المسار الثاني (البنّاء/المنفذ): كان المخطط ثابتاً ولا يمكن تغييره. كان بإمام المتسابقين فقط تغيير طاقم البناء (كود التنفيذ). كان عليهم بناء شبكات أمان أفضل، والتعامل مع الأخطاء، والتأكد من أن الروبوت لن يعلق إذا ساءت الأمور.

ما وجدوه: فخ "الاختبار التجريبي"

كان الاكتشاف الأكثر إثارة للدهشة هو أن الأداء الجيد في الاختبار التجريبي لم يعني بالضرورة النجاح في الامتحان الحقيقي.

لوحة المتصدرين العامة (الاختبار التجريبي): كانت عبارة عن قائمة درجات بناءً على 11 سيناريو تجريبي يمكن للجميع رؤيتها. حصل العديد من الفرق على درجات كاملة هنا.
الاختبار المخفي (الامتحان الحقيقي): قام المنظمون بعد ذلك بأخذ أفضل المشاركات واختبروها على 11 سيناريو جديد وسري لم يره أحد من قبل.

النتيجة: كان الارتباط بين درجات الاختبار التجريبي والدرجات السرية معدوماً تقريباً. كان الأمر أشبه بطالب يحصل على درجة "امتياز" في اختبار رياضيات تجريبي، لكنه يفشل في الامتحان النهائي الفعلي لأن الأسئلة كانت مختلفة قليلاً. وجدت الورقة أن الدرجات "العامة" كانت في الواقع مضللة؛ فهي لم تتنبأ بمن يمكنه التعامل مع العالم الصناعي الحقيقي المليء بالفوضى.

لماذا حدث هذا؟

تحدد الورقة عدة أسباب جعلت "الاختبار التجريبي" فخاً:

تأثير "السقف": كان الاختبار التجريبي سهلاً للغاية بالنسبة للفرق المتصدرة. بمجرد أن عرف الفريق كيفية الحصول على درجة كاملة في الأسئلة التجريبية، توقفوا عن التحسن. لقد قاموا فقط بتعديل إجاباتهم لتبدو مثالية لتلك الأسئلة المحددة، بدلاً من بناء روبوت يمكنه التعامل مع أي سؤال.
الفائزون بـ "حواجز الحماية": الفرق التي فازت بالفعل في الاختبار المخفي لم تكن هي الفرق التي قدمت أفكاراً جديدة ومبهرة للذكاء الاصطناعي. بل كانوا "مهندسي حواجز الحماية". فكر فيهم كمفتشي السلامة. لم يخترعوا محركاً جديداً، بل أضافوا فقط مكابح أفضل، وخطط طوارئ أفضل، وطرقاً أفضل لتنظيف الأخطاء عندما يرتبك الروبوت. لقد ركزوا على المتانة (عدم التعطل) بدلاً من الابتكار (الأفكار الجديدة).
المشكلة الرياضية: كانت هناك ثغرة صغيرة في طريقة حساب الدرجة النهائية. كان أحد أجزاء الدرجة صغيراً جداً لدرجة أنه لم يكن مهماً حقاً، لكنه كان كافياً لقلب ترتيب أفضل فريقين. إذا قمت بتغيير الحسابات قليلاً، لكان الفائز مختلفاً. وهذا يوضح أن التصنيف كان هشاً.

"تكلفة" الروبوت

نظرت الورقة أيضاً في مقدار "الوقود" (قدرة الكمبيوتر) الذي استهلكته الروبوتات.

الغالي مقابل الرخيص: تطلبت بعض المهام من الذكاء الاصطناعي قراءة آلاف الصفحات من التاريخ (مكلف)، بينما كانت مهام أخرى مجرد البحث عن رقم هاتف (رخيص).
المفاجأة: المهام التي كانت "رخيصة" من حيث قدرة الكمبيوتر كانت في الواقع الأصعب بالنسبة للذكاء الاصطناعي في تنفيذها بشكل صحيح لأنها تطلبت فهماً عميقاً. أما المهام "المكلفة" فكانت في الواقع أسهل لأن الذكاء الاصطناعي كان عليه فقط اتباع قائمة طويلة وواضحة من الخطوات.

الخلاصة: ماذا يعني هذا لمسابقات المستقبل؟

خلص المؤلفون إلى أنه إذا كنت تريد اختبار وكلاء الذكاء الاصطناعي بشكل صحيح، فلا يمكنك فقط النظر إلى لوحة متصدرين للدرجات العامة.

لا تثق في الاختبار التجريبي: أنت بحاجة إلى "امتحان نهائي" مخفي لا يراه أحد حتى النهاية.
السلامة أولاً: أفضل الوكلاء ليسوا دائماً الأكثر ذكاءً، بل هم الذين يعرفون كيفية التعامل مع الأخطاء دون التسبب في أعطال.
تحقق من حساباتك: إذا كان نظام تسجيل النقاط الخاص بك حساساً جداً للتغييرات الطفيفة، فقد يكون فائزك مجرد ضربة حظ.

باختاً، هذه الورقة هي "تحليل ما بعد المباراة" يخبرنا: لقد بنينا اختباراً رائعاً، لكننا تعلمنا أن لوحة النتائج التي عرضناها للجمهور كانت تكذب علينا بشأن من هو الأفضل حقاً. الفائزون الحقيقيون كانوا هم من بنوا الروبوتات الأكثر أماناً وموثوقية، وليس من بدا شكلهم الأفضل على الورق.

ملخص تقني: النتائج والتحليل الاستعادي لتحدي CODS 2025 ASSETOPSBENCH

بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في تقييم أنظمة الذكاء الاصطناعي متعددة الوكلاء في البيئات الصناعية الواقعية، وتحديداً ضمن نطاق "الصناعة 4.0" لإدارة الأصول المادية. وبينما أظهرت التطورات الأخيرة في نماذج اللغات الكبيرة (LLMs) قدرات في الاستدلال واستخدام الأدوات، فإن نقل هذه الأنظمة من الاختبارات المعملية إلى النشر يكشف عن فجوات تقييمية كبيرة. فالاختبارات المرجعية الثابتة غالباً ما تحابي المهام المحددة بدقة وسهلة التحسين، وتفشل في التقاط سلوكيات النشر الجوهرية مثل متانة استخدام الأدوات، والتنفيذ مع الحفاظ على الخصوصية، والتنسيق متعدد الخطوات. ويجادل المؤلفون بأن التقييم القائم على المسابقات يقدم بديلاً منهجياً للاختبارات المرجعية الثابتة من خلال كشف أوضاع الفشل (مثل فشل الاستدلال التدريجي) التي لا تظهر إلا تحت التقييم المتكرر والمجهول. والمشكلة المحددة التي يتم معالجتها هي تصميم وتحليل استعادي لمسابقة تجمع بين التقييم الوكيل (agentic evaluation)، ونطاق الأصول المادية الصناعية، والنشر المقيد بالخصوصية، بهدف تحديد ما يقيسه تصميم مثل هذا التقييم بالفعل وأين قد تنحرف حوافزه عن القدرة الحقيقية.

المنهجية

أجرى المؤلفون تحليلاً استعادياً لتحدي CODS 2025 ASSETOPSBENCH، المستضاف على منصة Codabench. تضمنت المنهجية تحليلاً متعدد الأبعاد لآثار المسابقة بدلاً من مجرد تقرير بسيط لوحة المتصدرين.

تصميم المسابقة: استخدم التحدي إطار عمل "السيناريو المخفي" مع مسارين متكاملين:
- المسار 1 (التخطيط): قام المشاركون بتحسين مطالبات التخطيط وبناء الرسم البياني الموجه غير الدوري (DAG) (track1_planning.py) بينما ظل المنفذ ووكلاء النطاق ثابتين.
- المسار 2 (التنفيذ): قام المشاركون بتحسين منطق تنفيذ سير العمل، بما في ذلك المسارات المتوازية، وتجميع السياق، وآليات التراجع (fallback mechanisms) (track2_execution.py)، بينما ظلت مطالبات التخطيط والوكلاء ثابتة.
بروتوكول التقييم: تم تقييم المشاركات مقابل 11 سيناريو تطوير عام و11 سيناريو تقييم مخفي (المرحلة 1 والمرحلة 2). دمجت صيغة التسجيل بين الدرجات العامة ( $S_{pub}$ )، والدرجات المخفية ( $S_{priv}$ )، وإشارة المطابقة الدلالية ( $\tau$ ): $C_t = 0.6 S_{pub}^t + 0.3 S_{priv}^t + 0.1 \tau_t$ .
جمع البيانات: جمع التحليل بيانات من 149 فريقاً مسجلاً (349 خانة عضوية)، وسجل خادم مكون من 300 صف لمحاولات التقديم، و331 أثراً متاحاً على مستوى المصدر.
الأبعاد التحليلية: حلل المؤلفون المتن عبر خمسة أبعاد:
1. المشاركة: إحصائيات القمع (funnel statistics) وتكوين الفرق.
2. سلوك التقديم: منحنيات التعلم، وتطور الدرجات، والموثوقية.
3. متانة التصنيف: حساسية التصنيفات تجاه تكوين المقاييس والمواءمة بين العام والمخفي.
4. التكلفة الحسابية: استخدام الرموز (tokens)، واستدعاءات واجهة برمجة التطبيقات (API calls)، وبصمات مدة التنفيذ (wall-clock duration).
5. إسناد الاستراتيجية: تجميع أنماط التنفيذ (النماذج الأصلية/archetypes) وارتباطها بالأداء.
التحقق: تمت مطابقة البنية التحتية مع "قائمة التحقق من تقييم الوكيل" (Agent-Eval Checklist) المنشورة حديثاً لضمان موثوقية الاختبارات المرجعية لتحديد فجوات التصميم.

المساهمات الرئيسية

أول اختبار مرجعي وكيل صناعي مع قيود الخصوصية: توثق الورقة أول مسابقة-مسار تجمع بين المهام الوكيلية متعددة الخطوات، ونطاق الأصول المادية الصناعية (المبردات، وحدات معالجة الهواء)، والنشر المقيد بالخصوصية (باستخدام العزل بالحاويات لمنع تسرب البيانات).
إطار استعادي تساعي الأبعاد: يقترح المؤلفون قالباً تحليلياً هيكلياً ذا تسعة أبعاد للمسابقات الوكيلية المستقبلية، يتجاوز مقاييس لوحة المتصدرين الإجمالية ليشمل أقماع المشاركة، وتحليل تشبع الدرجات، والبصمات الحسابية، وتجميع الاستراتيجيات.
دليل تجريبي على عدم المواءمة بين العام والمخفي: تقدم الدراسة أدلة إحصائية ملموسة على أن مراكز لوحة المتصدرين العامة لا تتنبأ بالمتانة في السيناريوهات المخفية، خاصة في مهام التنفيذ.
تصنيف الاستراتيجية وتحليل النماذج الأصلية: تقدم الورقة تصنيفاً لاستراتيجيات الوكيل، حيث تميز بين نماذج "التخطيط" (هندسة المطالبات) ونماذج "التنفيذ" (هندسة الضوابط/guardrail engineering)، كاشفة أن المتفوقين غالباً ما يعتمدون على معالجة الأخطاء القوية بدلاً من البنى الجديدة.

النتائج

المشاركة والانسحاب: من بين 149 فريقاً مسجلاً، حقق 11 فريقاً فقط وضع التصنيف الكامل عبر كلا المسارين. كان معدل الانسحاب كبيراً، حيث بلغت نسبة الفشل في محاولات التقديم 17.7% بسبب مشاءلات توافق المنصة (انتهاكات تغليف/تنسيق سير العمل)، مما يحدد عبئاً بنيوياً ثابتاً لتقييم الوكيل.
الارتباط بين الدرجات العامة والمخفية:
- مسار التخطيط: ارتباط متوسط بين الدرجات العامة والمخفية ( $\rho = 0.69$ )، رغم أن الدرجات العامة أظهرت تفاؤلاً منهجياً.
- مسار التنفيذ: لا يوجد ارتباط بين الدرجات العامة والمخفية ( $\rho = -0.13, p = 0.71$ ). كانت درجات التنفيذ العامة غير قابلة للتمييز إحصائياً عن الضوضاء العشوائية فيما يتعلق بالأداء المخفي.
تشبع الدرجات والحساسية: تشبعت لوحة التخطيط العامة عند 72.73% لأربعة فرق، مما جعل الإشارة العامة عاجزة عن التمييز بين المتفوقين. علاوة على ذلك، كان التصنيف النهائي حساساً للغاية لتكوين صيغة التسجيل. مصطلح "t-match"، الذي كان من المفترض أن يساهم بنسبة 10%، كان خاملاً عددياً بسبب اختلاف النطاق (0–1 مقابل 0–100)، حيث ساهم بـ 0.05 نقطة على الأكثر. إن إعادة قياس هذا المصطلح أو تعديل أوزان المسارات كان كفيلاً بتبديل المراكز بين الفريقين الأول والثاني.
انعكاس التكلفة الحسابية: كشف تحليل البصمات الحسابية أن النطاق "الأرخص" (التنبؤ بالسلاسل الزمنية، TSFM) كان الأكثر حساسية للمطالبات (أعلى تباين في الاستراتيجية)، بينما كان النطاق "الأكثر تكلفة" (أوامر العمل، WO) هو الأكثر متانة. يشير هذا إلى أن وزن الاختبارات المرجعية بتكلفة الرموز قد يقيس حساسية المطالبات بدلاً من قدرة الوكيل عن غير قصد.
أنماط الاستراتيجية:
- التخطيط: كانت الاستراتيجيات مشتتة، مع ضجيج عالٍ في التجميع. غالباً ما حققت المشاركات العليا التشبع من خلال تفصيل المطالبات (مثل الأمثلة الأطول، وفهارس الوكلاء) دون تغييرات بنيوية.
- التنفيذ: تركزت الاستراتيجيات بشكل كبير في ثلاث مجموعات ضيقة. تم تحديد المتفوقين كـ "مهندسي ضوابط" (guardrail engineers) الذين حسنوا اختيار الاستجابة، والتنظيف، ومنطق التراجع بدلاً من تقديم بنى وكلاء جديدة.
أوضاع الفشل: وُجد أن الهلوسة هي وضع فشل مقترن يرتبط ارتباطاً سلبياً قوياً بجودة المهمة الإجمالية ( $r \approx -0.93$ )، مما يجعلها مؤشراً رائداً للفشل الأوسع. كما شكلت مهام أوامر العمل التي تتطلب استدلالاً طويل الأمد على السجلات التاريخية سقف القدرة باستمرار.

الأهمية والادعاءات

تدعي الورقة أن تحدي CODS 2025 ASSETOPSBENCH يوضح لماذا يجب تحليل مسابقات الوكلاء كـ أدوات تقييم وليس مجرد آليات للتصنيف. ويؤكد المؤلفون أن تحليلهم يكشف عن عيوب حرجة في تصميم الاختبارات المرجعية، وبالتحديد:

تشبع لوحة المتصدرين: يمكن للإشارات العامة أن تتشبع بسرعة، مما يفشل في التمييز بين الأنظمة عالية الأداء.
عدم المواءمة بين العام والمخفي: يمكن أن يكافئ التكرار العام استراتيجيات تتناسب مع مجموعات سيناريوهات محددة، مما يؤدي إلى انفصال بين المكانة العامة والمتانة المخفية.
عيوب تصميم المقاييس: دوال التسجيل المركبة حساسة لاختيارات النطاق العددي (مثل مصطلح t-match)، مما يمكن أن يغير التصنيفات بشكل تعسفي.
النجاح المتمحور حول الضوابط: في البيئات الصناعية المعقدة، غالباً ما يكون الأداء العالي مدفوعاً بمعالجة الأخطاء القوية والتحكم في السياق ("هندسة الضوابط") بدلاً من الابتكارات البنيوية الجديدة.

يخلص المؤلفون إلى أن المسابقات الوكيلية المستقبلية يجب أن تعزل أبعاد القدرة عبر المسارات، وتبرز الدرجات الفرعية الواعية للمهارة، وتضمن أن تكون مكونات التسجيل متوافقة عددياً، وتتعامل مع بيانات الفريق والشيفرة البرمجية ذات الإصدارات كأدوات أساسية. وهم يضعون قالبهم الاستعادي ذي التسعة أبعاد كنموذج قابل لإعادة الاستخدام للمسابقات المستقبلية لضمان أن تعمل المسابقات كأدوات علمية صارمة قادرة على نشر الأدلة حول ما تم قياسه بالفعل.