🤖 AI

AssetOpsBench: Benchmarking AI Agents for Task Automation in Industrial Asset Operations and Maintenance

تقدم هذه الورقة AssetOpsBench، وهو إطار عمل ومنصة قياس موحدة تتميز بنظام بيئي متعدد الوسائط من الوكلاء المتخصصين في مجالات محددة، ومجموعة بيانات منسقة من الاستعلامات الصناعية، ونظام تقييم مؤتمت للنهوض بأتمتة المهام المدعومة بالذكاء الاصطناعي وتقييمها لعمليات تشغيل وصيانة الأصول الصناعية.

المؤلفون الأصليون: Dhaval Patel, Shuxin Lin, James Rayfield, Nianjun Zhou, Chathurangi Shyalika, Suryanarayana R Yarrabothula, Roman Vaculin, Natalia Martinez, Fearghal O'donncha, Jayant Kalagnanam

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dhaval Patel, Shuxin Lin, James Rayfield, Nianjun Zhou, Chathurangi Shyalika, Suryanarayana R Yarrabothula, Roman Vaculin, Natalia Martinez, Fearghal O'donncha, Jayant Kalagnanam

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير لمصنع ضخم وعالي التقنية. هذا المصنع مليء بالآلات المعقدة والعملاقة مثل المبردات الصناعية (تخيلها كمكيفات هواء فائقة الحجم) وتوربينات الرياح. هذه الآلات تتحدث إليك باستمرار، وترسل ملايين الرسائل يوميًا حول درجة حرارتها، وضغطها، واستهلاكها للطاقة، وحالتها الصحية.

في الماضي، إذا بدأت آلة ما في التصرف بشكل غريب، كان على خبير بشري الجلوس وقراءة آلاف الصفحات من السجلات، وفحص بيانات المستشعرات، والاطلاع على سجلات الإصلاح القديمة، ثم اكتشاف ما الخطب. كان الأمر يشبه محاولة العثين على إبرة محددة في كومة قش وأنت ترتدي نظارات عازلة للرؤية.

إليك "الوكيل الذكي" (AI Agent).

فكر في الوكيل الذكي كأنه متدرب رقمي فائق الذكاء ولا يكلّ. يمكنك سؤاله: "مهلاً، لماذا يعمل المبرد رقم 4 بحرارة عالية؟" ومن المفترض أن يذهب لإيجاد الإجابة، ويفحص البيانات، ويخبرك بما يجب فعله.

ولكن تكمن المشكلة هنا: معظم المتدربين الذكيّين بارعون في كتابة رسائل البريد الإلكتروني أو تلخيص المقالات، لكنهم سيئون للغاية في إصلاح الآلات الحقيقية. قد يهلوسون (يختلقون معلومات) أو يرتبكون عندما تكون البيانات غير منظمة. لم يكن لدينا وسيلة لاختبار ما إذا كان هؤلاء المتدربين الذكيّين مستعدين حقًا لأرض المصنع.

إليك "AssetOpsBench".

قام مؤلفو هذه الورقة البحثية ببناء صالة ألعاب رياضية تدريبية ضخمة وواقعية لهؤلاء المتدربين الرقميين. وقد أطلقوا عليها اسم AssetOpsBench.

إليك كيف يعمل، باستخدام بعض التشبيهات البسيطة:

1. "الصالة الرياضية" (البيئة)

بدلاً من اختبار الذكاء الاصطناعي على بيانات وهمية ونظيفة، بنى المؤلفون مصنعًا محاكيًا داخل جهاز الكمبيوتر.

الآلات: وضعوا "توائم رقمية" لآلات صناعية حقيقية (مبردات، مضخات) داخل المحاكاة.
البيانات: قاموا بتغذيتها بـ 2.3 مليون نقطة بيانات حقيقية، بما في ذلك قراءات المستشعرات، وسجلات الإصلاح، وكتيبات الأعطال. الأمر يشبه إعطاء الذكاء الاصطناعي مكتبة تحتوي على كل شيء ممكن أن يحدث بشكل خاطئ في المصنع.
السيناريوهات: كتبوا 141 "مهمة" محددة للذكاء الاصطناعي. هذه ليست أسئلة بسيطة مثل "ما هو 2+2؟"، بل هي طلبات معقدة من واقع الحياة مثل: "من المتوقع أن يرتفع استهلاك الطاقة للمبرد رقم 9. تحقق من بيانات الثلاثين يومًا الماضية، وانظر ما إذا كانت الآلة تعمل بالفعل، وإذا لم تكن كذلك، فأخبرني لماذا لا يمكننا التنبؤ بالمستقبل."

2. "المدربون" (التقييم)

كيف تعرف ما إذا كان الذكاء الاصطناعي قد أدى عمله بشكل جيد؟ لا يمكنك مجرد سؤال الذكاء الاصطناعي: "هل أبليت بلاءً حسنًا؟"

"النموذج اللغوي كحَكَم" (LLM-as-Judge): استخدم الباحثون ذكاءً اصطناعيًا ثانيًا صارمًا للغاية (حَكَم) لتقييم الذكاء الاصطنا الأول.
بطاقة الدرجات: ينظر الحَكَم إلى ثلاثة أشياء:
1. هل أكملوا المهمة؟ (هل أجابوا على السؤال بالفعل؟)
2. هل حصلوا على الحقائق الصحيحة؟ (هل نظروا إلى الآلة الصحيحة والتاريخ الصحيح؟)
3. هل تحققوا من النتيجة؟ (هل راجعوا عملهم للتأكد؟)

3. "طريقتان للتفكير" (البنى الهيكلية)

اختبرت الورقة طريقتين مختلفتين لكيفية تفكير الذكاء الاصطناعي لحل هذه المشكلات:

الطريقة (أ): "المدير مع الأدوات" (Agent-As-Tool)
تخيل مديراً لديه صندوق أدوات. عندما تأتي مشكلة، يفكر المدير: "أنا بحاجة إلى مفتاح ربط"، فيأخذ المفتاح (الأداة)، يستخدمه، يرى النتيجة، ثم يقرر ما سيفعله بعد ذلك. هذه حلقة "فكر-تصرف-لاحظ" خطوة بخوة.
- النتيجة: نجحت هذه الطريقة بشكل أفضل. كانت أكثر مرونة وتعاملت مع البيانات المعقدة وغير المنظمة في العالم الحقيقي بشكل أفضل.
الطريقة (ب): "المخطط المتقن" (Plan-Execute)
تخيل جنرالاً يجلس قبل المعركة، ويكتب خطة معركة مثالية مكونة من 10 خطوات، ثم ينفذها دون تغيير أي شيء.
- النتيجة: فشلت هذه الطريقة في كثير من الأحيان. في مصنع فوضوي، تتغير الأشياء بسرعة. إذا كانت خطة الجنرال منحرفة قليلاً، فإن الأمر كله ينهار. تعثر الذكاء الاصطناعي في محاولة اتباع خطة جامدة عندما لم تتطابق البيانات معها.

4. "البطولة الكبرى" (التبني المجتمعي)

لم يحتفظ المؤلفون بهذا لأنفسهم فقط. لقد حولوه إلى مسابقة عامة (مثل مسابقات البرمجة "الهاكاثون").

الجمهور: انضم أكثر من 250 شخصًا (طلاب، مهندسون، باحثون).
المشاركات: قدموا أكثر من 500 "متدرب" ذكاء اصطناعي مختلف لمحاولة حل الـ 141 مهمة.
لوحة الصدارة: تمامًا مثل ألعاب الفيديو، هناك لوحة صدارة توضح أي نماذج الذكاء الاصطناعي هي الأفضل في إصلاح الآلات الصناعية.

لماذا يهم هذا؟

قبل هذه الورقة البحثية، إذا أردت بناء ذكاء اصطناعي لإدارة محطة طاقة، كان عليك أن تخمن ما إذا كان سيعمل. قد تنفق ملايين الدولارات، وتنشره، ثم يتسبب في انهيار النظام لأنه لم يفهم أن أحد المستشعرات كان معطلاً.

AssetOpsBench هو "اختبار رخصة القيادة" للذكاء الاصطناعي الصناعي.

إنه يثبت أن الذكاء الاصطناعي الحالي يتحسن ولكنه لا يزال لديه الكثير ليتعلمه (لم يحصل أي ذكاء اصطناعي على 100% في الاختبار بعد).
يوضح أنه بالنسبة للوظائف الصناعية، فإن المرونة (الطريقة أ) أفضل من التخطيط الجامد (الطريقة ب).
يمنح الباحثين طريقة معيارية للقول: "ذكائي الاصطناعي أفضل من ذكائكم"، لأن كلاهما يخضع لنفس الاختبار الصعب.

باخت مختصر: قامت الورقة البحثية ببناء لعبة فيديو واقعية وعالية المخاطر لروبوتات الذكاء الاصطناعي لتعلم كيفية إصلاح المصانع. لقد أظهرت لنا أي الروبوتات جاهزة للعالم الحقيقي وأيها لا يزال بحاجة إلى مزيد من التدريب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "AssetOpsBench: معيار تقييم للواقع الفعلي لأتمتة المهام المدفوعة بالذكاء الاصطناعي في إدارة الأصول الصناعية."

1. بيان المشكلة

تتضمن إدارة دورة حياة الأصول الصناعية (ALM) سير عمل معقدًا وغير متجانس يتطلب توليف بيانات متعددة الوسائط (بيانات الاستشعار الزمنية، سجلات الصيانة النصية، أوامر العمل، ومكتبات أنماط الفشل). وبينما أظهرت وكلاء النماذج اللغوية الكبيرة (LLM agents) وعودًا في المجالات الرقمية (مثل هندسة البرمجيات ودعم تكنولوجيا المعلومات)، إلا أنها تواجه فجوات كبيرة عند تطبيقها على العمليات الصناعية الفيزيائية القائمة على المستشعرات:

ندرة البيانات وتعدد الوسائط: تفتقر المعايير الحالية إلى مجموعات بيانات شاملة تدمج بيانات المستشعرات الزمنية مع السياق التشغيلي (أوامر العمل، أنماط الفشل). معظم مجموعات البيانات الصناعية تحتوي على أقل من 1% من سياق أوامر العمل أو تفاصيل أنماط الفشل.
تعقيد الاستدلال: تتطلب المهام الصناعية سد الفجوة بين بيانات المستشعرات الخام والقرارات التجارية رفيعة المستوى (مثل: "لماذا تنخفض كفاءة المبرد؟")، مما يستلزم دمجًا عميقًا للاستدلال الفيزيائي والدلالات التشغيلية.
تحديات التنسيق (Orchestration): تعتمد بنيات الوكلاء الحالية غالبًا على وكلاء فرعيين ثابتين أو نماذج استدلال عامة (مثل ReAct) التي تعاني مع القيود المحددة، وضوابط السلامة، والاحتياجات التعاونية في البيئات الصناعية.

2. المنهجية: إطار عمل AssetOpsBench

يقترح المؤلفون AssetOpsBench، وهو إطار عمل موحد مصمم لتنسيق وتقييم الوكلاء المتخصصين في مجال معين داخل بيئة صناعية عالية الدقة ومحاكية.

أ. المنظومة (الركيزة الأولى)

البيئة المحاكية: بيئة قائمة على Docker ومدعومة بـ CouchDB تحاكي أنظمة الصناعة 4.0 الحقيقية (مثل Oracle IoT و IBM Maximo).
مجموعة بيانات متعددة المصادر:
- القياسات عن بُعد للمستشعرات: 2.3 مليون نقطة بيانات من 6 أصول (4 مبردات، 2 وحدات معالجة هواء) تغطي فترات زمنية مدتها 15 دقيقة.
- نماذج الفشل: 53 سجلًا مهيكلًا لتحليل أنماط الفشل وآثارها (FMEA) توضح آليات التدهور والمؤثرات.
- أوامر العمل: 4,200 سجل تاريخي يمتد عبر 11 عامًا باستخدام أكواد فشل بمعايير ISO.
وكلاء متخصصون: يتم توفير أربعة وكلاء متخصصين في المجال:
- وكيل IoT: يتعامل مع قياسات المستشعرات واسترجاع البيانات.
- وكيل FMSR: يربط أنماط الفشل بالمستشعرات باستخدام الجسر الدلالي المدفوع بالنماذج اللغوية الكبيرة.
- وكيل TSFM: يقوم بالتنبؤ بالسلاسل الزمنية باستخدام النماذج التأسيسية.
- وكيل WO: يحلل سجلات الصيانة ويولد أوامر العمل (باستخدام CodeReact).

ب. تصميم السيناريوهات

141 سيناريو منسق من قبل خبراء: مستندة إلى معايير ISO 55000 و ISO 14224.
الهيكل: تُعرف السيناريوهات كخماسيات ( $id, type, text, category, characteristic\_form$ ).
مدفوعة بالنية (Intent-Driven): تستخدم الاستعلامات مصطلحات تشغيلية باللغة الطبيعية (مثل "استهلاك الطاقة") بدلاً من مخططات قواعد البيانات، مما يتطلب من الوكلاء ربط النية بوسائط البيانات.
التغطية: تشمل 99 مهمة لوكيل واحد و42 مهمة تنسيق بين عدة وكلاء.

ج. إطار التقييم (الركيزة الثانية)

يقدم البحث استراتيجية تقييم مزدوجة صارمة:

التقييم القائم على المعايير (LLM-as-Judge): تقوم دالة تسجيل $\Phi(Q, T, C)$ $Φ (Q, T, C)$ بتقييم ثلاثة أبعاد:
- اكتمال المهمة ( $y_1$ )
- دقة استرجاع البيانات ( $y_2$ )
- التحقق من النتيجة ( $y_3$ )
- التحقق: قام خبراء بشريون بالتحقق من نموذج الحكم، واختاروا llama-4-maverick كنموذج افتراضي للحكم نظرًا لاتفاقه العالي مع التدوينات البشرية.
التسجيل القائم على المرجع: يستخدم مقاييس ROUGE لمقارنة مسارات الوكيل مقابل خطوات التخطيط المرجعية ورسوم بيانية موجهة غير حلقية (DAGs) للتنفيذ.
المقاييس: يستخدم Pass@k (تحديدًا Pass@1) لقياس الموثوقية، مع التركيز على النجاح المتسق بدلاً من المحاولات العشوائية المتكررة.

د. النماذج المعمارية

يقارن المعيار بين استراتيجيتين للتنسيق:

الوكيل كأداة (Agent-As-Tool): يقوم وكيل مشرف باختيار واستعلام الوكلاء المتخصصين بشكل تكراري (محاكيًا اتخاذ القرار الهرمي).
التخطيط والتنفيذ (Plan-Execute): يقوم المخطط بتفكيك الاستعلامات إلى رسم بياسي موجه (DAG)، ويقوم المراجع بالتحقق من الخطة، ثم يقوم المنسق بالتنفيذ.

3. المساهمات الرئيسية

أول معيار متخصص صناعيًا: يسد AssetOpsBench الفجوة الحرجة في تقييم وكلاء الذكاء الاصطناعي لإدارة الأصول الفيزيائية، حيث يقدم أول معيار يدمج السلاسل الزمنية، وأنماط الفشل، وبيانات أوامر العمل.
الاكتشاف الآلي للفشل: يقدم إجراءً منهجيًا لتحديد أنماط الفشل الناشئة (مثل "المبالغة في إتمام المهمة"، "عدم فعالية التعافي من الخطأ") من خلال تحليل مسارات الوكيل.
التبني المجتمعي: تم تشغيل البحث كمسابقة حية على Codabench، بمشاركة أكثر من 250 مستخدمًا و500 تقديم، مما يثبت قابلية الإطار للتوسع وإعادة الإنتاج.
رؤى معمارية: يوفر أدلة تجريبية تقارن بين نماذج "الوكيل كأداة" مقابل "التخطيط والتنفيذ".

4. النتائج التجريبية

قام المؤلفون باختبار 7 نماذج رائدة (بما في ذلك GPT-4.1، Llama-4-Maverick، Mistral-Large) عبر نموذجي التنسيق.

الأداء العام: المعيار شديد الصعوبة؛ لم يتجاوز أي نموذج معدل إكمال المهام بنسبة 70%.
مقارنة النماذج:
- الوكيل كأداة (Agent-As-Tool): أدى أداءً أفضل بشكل ملحوظ. تصدر GPT-4.1 بنسبة إكمال مهام بلغت 65% ودقة استرجاع بيانات بلغت 77%.
- التخطيط والتنفيذ (Plan-Execute): أظهر تراجعًا كبيرًا في الأداء (انخفض ذروة الإكمال إلى 46%). انخفض أداء GPT-4.1 إلى النصف (65% $\leftarrow$ 38%)، مما يشير إلى أن أنماط "التخطيط المسبق" الصارمة تؤدي إلى فشلات متتالية في السياقات الصناعية الديناميكية.
- المتانة: برزت Mistral-Large و Llama-4-Maverick كأكثر النماذج متانة لتدفقات عمل "التخطيط والتنفيذ".
النماذج اللغوية الصغيرة (SLMs): تفوقت النماذج الصغيرة (مثل Granite-3-8b) في مهام الاستشعار والتشخيص المهيكلة (IoT، FMSR) لكنها عانت بشكل كبير في مهام أوامر العمل الإجرائية، مما يشير إلى الحاجة إلى بنيات هجينة (LLM-SLM) (نماذج صغيرة للاستشعار، ونماذج لغوية كبيرة للتخطيط).
الكفاءة: كان نموذج "التخطيط والتنفيذ" أكثر كفاءة في الخطوات (عدد أقل من استدعاء الأدوات) ولكنه غالبًا ما تسبب في وقت تشغيل أطول بسبب عبء التخطيط. أما نموذج "الوكيل كأداة" فكان أكثر مباشرة ولكنه تطلب خطوات أكثر.
تحليل الفشل: كان نمط الفشل الأكثر شيوعًا هو مشاكل "تصميم النظام". قدمت الورقة ميزة "التوضيح" (Clarification) في استراتيجية "الوكيل كأداة"، والتي حسنت معدل إكمال Llama-4-Maverick من 59% إلى 66%.

5. الأهمية والآفاق المستقبلية

الواقعية التشغيلية: من خلال ترسيخ السيناريوهات في معايير ISO وبيانات إنتاج حقيقية (بما في ذلك الضجيج، القيم المفقودة، والتدوين الاسترجاعي)، ينتقل AssetOpsBench إلى ما وراء المعايير الاصطناعية لتقييم الموثوقية التشغيلية الحقيقية.
التوجيه للصناعة: تشير النتائج إلى أنه بالنسبة للأتمتة الصناعية، فإن النهج التكراري المتمحور حول الأدوات (الوكيل كأداة) يتفوق حاليًا على نهج التخطيط الصارم. علاوة على ذلك، فإن البنيات الهجينة التي تستفيد من نماذج SLM المتخصصة لمهام محددة ونماذج LLM العامة للتنسيق هي المسار الأكثر واعدًا.
العلم المفتوح: يضمن إصدار الواجهات المعتمدة على الحاويات (Containerized)، والنماذج الأولية، ولوحة الصدارة العامة قدرة المجتمع البحثي على إعادة إنتاج هذه النتائج وتوسيعها، مما يعزز البحث القابل للتوسع للذكاء الاصطنا industrielle الحقيقي.

في الختام، يضع AssetOpsBench معيارًا جديدًا لتقييم وكلاء الذكاء الاصطناعي في العالم الفيزيائي، موضحًا أنه بينما تظهر النماذج اللغوية الكبيرة الحالية وعودًا، إلا أن هناك حاجة ماسة لتحسينات معمارية واستدلالية كبيرة لتحقيق عمليات صناعية ذاتية القيادة وموثوقة.