🤖 AI

OR-Space: A Full-Lifecycle Workspace Benchmark for Industrial Optimization Agents

تقدم الورقة البحثية OR-Space، وهو معيار مساحة عمل كاملة دورة الحياة مصمم لتقييم وكلاء التحسين الصناعي في مهام واقعية متعددة المراحل تتضمن بناء النماذج، والمراجعة، والتفسير المرتكز ضمن بيئات مستمرة ومتعددة المصنوعات، متجاوزاً بذلك تقييمات صياغة المشكلات التقليدية ذات الخطوة الواحدة.

المؤلفون الأصليون: Chenyu Zhou, Xinyun Lu, Jiangyue Zhao, Jianghao Lin, Dongdong Ge, Yinyu Ye

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Chenyu Zhou, Xinyun Lu, Jiangyue Zhao, Jianghao Lin, Dongdong Ge, Yinyu Ye

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعداً عبقرياً جديداً للمساعدة في إدارة مصنع. أنت تريد أن ترى ما إذا كان بإمكانه القيام بالوظيفة فعلياً، وليس مجرد التحدث عنها.

لفترة طويلة، كانت الطريقة التي نختبر بها هؤلاء المساعدين من الذكاء الاصطناائي (الذين يُطلق عليهم اسم "وكلاء LLM") تشبه إعطاءهم بطاقة وصفة مكتوبة بشكل مثالي. تقول البطاقة: "إليك المشكلة، وإليك المكونات، وإليك الصيغة الرياضية. الآن، اكتب الكود البرمجي لحلها".

إذا كتب الذكاء الاصطناعي الكود بشكل صحيح، كنا نمنحه نجمة ذهبية. ولكن في العالم الحقيقي، لا يحصل مديرو المصانع على بطاقات وصفة مثالية. بل يحصلون على مكتب فوضوي مليء بالملاحظات اللاصقة، وجداول البيانات، وأكواد قديمة من العام الماضي، ورسائل بريد إلكتروني من المدير تقول: "أوه، بالمناسبة، نحتاج إلى تغيير القواعد للشهر القادم".

OR-Space هو اختبار أصعب بكثير، صُمم ليرى ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع هذا المكتب الفوضوي.

الطرق الثلاثة التي نختبر بها الذكاء الاصطناعي

يقدم البحث معياراً يسمى OR-Space (فضاء بحوث العمليات). وبدلاً من سؤال واحد، فإنه يعطي الذكاء الاصطناعي "مساحة عمل" كاملة (مجلد رقمي يحتوي على ملفات) ويطلب منه القيام بثلاثة أنواع مختلفة من المهام التي تحدث في مصنع حقيقي:

1. البناء (المعماري):

السيناريو: تسلم الذكاء الاصطناعي مجلداً يحتوي على مذكرة عمل، وجدول بيانات بالأرقام، وملف كود فارغ.
المهمة: يجب على الذكاء الاصطناعي قراءة المذكرة، وفهم معنى الأرقام، وكتابة برنامج كمبيوتر جديد تماماً لحل مشكلة المصنع من الصفر.
العقبة: قد تكون المذكرة غامضة، وقد يكون جدول البيانات ذا أعمدة غير منظمة. يجب على الذكاء الاصطناعي ربط النقاط بين النص والبيانات دون وجود دليل مثالي.

2. المراجعة (المُصلح):

السيناريو: لقد غير المصنع رأيه للتو. ربما أصبح لديهم المزيد من الشاحنات الآن، أو قاعدة جديدة تتعلق بالسلامة. يتم إعطاء الذكاء الاصطناعي البرنامج القديم والقواعد الجديدة.
المهمة: يجب على الذكاء الاصطناعي تحديث الكود القديم ليتناسب مع القواعد الجديدة دون كسر الأجزاء التي كانت تعمل بالفعل.
العقبة: هذا يشبه محاولة ترميم منزل بينما لا يزال الناس يعيشون فيه. إذا قام الذكاء الاصطناعي بنسخ اسم متغير من الكود القديم لم يعد منطقياً، فسيؤدي ذلك إلى تعطل النظام بالكامل. وجد البحث أن بعض نماذج الذكاء الاصطناعي ترتبك بسبب الكود القديم وتحاول نسخ أخطائه، بينما النماذج الأكثر ذكاءً تعرف ما يجب الاحتفاظ به وما يجب التخلص منه.

3. الشرح (المترجم):

السيناريو: لقد قام الكمبيوتر بحل المشكلة، لكن مدير المصنع (الذي ليس خبيراً في الرياضيات) يسأل: "لماذا قررت إرسال 5 شاحنات إلى المستودع الشمالي بدلاً من الجنوبي؟"
المهمة: يجب على الذكاء الاصطناعي النظر في الحل، والكود، وسجلات البيانات لتقديم إجابة صادقة.
العقبة: لا يمكن للذكاء الاصطناعي مجرد اختلاق قصة. يجب عليه الإشارة إلى سطر محدد في جدول البيانات أو قاعدة محددة في الكود هي التي فرضت ذلك القرار. إذا قام بالتخمين، فإنه يخسر النقاط.

لماذا هذا الاختبار مختلف (مفهوم "مساحة العمل" مقابل "المطالبة/البرومبت")

يجادل المؤلفون بأن الاختبارات السابقة كانت تشبه البطاقات التعليمية. تظهر للذكاء الاصطناعي مشكلة نظيفة ومعزولة، فيقوم بالإجابة عليها.

أما OR-Space فهو يشبه مكتباً حقيقياً.

الملفات منفصلة: المتطلبات موجودة في مستند Word، والأرقام في ملف CSV، والكود في ملف Python. يجب على الذكاء الاصطناعي فتحها جميعاً، وقراءتها، وإدراك كيف تتكامل مع بعضها البعض.
مشكلة "التأصيل" (Grounding): في اختبار البطاقات التعليمية، قد يخمن الذكاء الاصطناعي الإجابة الصحيحة لأنه يتعرف على الكلمات. أما في OR-Space، فإذا لم يربط الذكاء الاصطناعي بشكل صحيح بين كلمة "السعة" (capacity) في المذكرة والعمود "max_load" في جدول البيانات، فسوف يفشل. يطلق البحث على هذا الأمر اسم "التأصيل" (grounding)—أي ربط الكلمات بالبيانات الفعلية.

ما الذي وجدوه (النتائج)

اختبر الباحثون 20 نموذجاً مختلفاً من الذكاء الاصطناعي (الأكثر ذكاءً المتاحة حالياً) في هذا الاختبار الجديد. وإليكم ما حدث:

الأمر أصعب مما يبدو: حتى أفضل نماذج الذكاء الاصطناعي واجهت صعوبات. فبينما استطاعت بعضها حل نسخة "البطاقات التعليمية" من المشكلة، إلا أنها غالباً ما فشلت عندما توجب عليها التنقل داخل مجلد الملفات الفوضوي.
الكود القديم سلاح ذو حدين: عندما تم إعطاء الذكاء الاصطناعي كوداً قديماً لمساعدته في مراجعة النموذج، أصبحت النماذج الأكثر ذكاءً أفضل لأنها استخدمت الكود القديم كإشارة مساعدة. لكن النماذج الأضعف أصبحت أسوأ لأنها نسخت أخطاء الكود القديم بشكل أعمى (مثل محاولة استخدام متغير لم يعد موجوداً).
فجوة "الشرح": كانت بعض النماذج بارعة في كتابة الكود ولكنها سيئة جداً في شرحه. استطاعت حل المسألة الرياضية لكنها لم تستطع إخبارك لماذا اتخذت ذلك القرار بناءً على الملفات المتاحة لها.
عقوبة "نظام الملفات": وجد البحث أنه عندما كان على الذكاء الاصطناعي التنقل فعلياً في المجلدات وقراءة الملفات (وضع "نظام الملفات")، كان أداؤه أسوأ مما لو تم لصق نفس المعلومات في كتلة نصية واحدة ضخمة. وهذا يثبت أن إيجاد المعلومات وتنظيمها هي مهارة في حد ذاتها، وليست مجرد مسألة تنسيق.

الخلاصة

يخلص البحث إلى أنه لا يمكننا فقط اختبار الذكاء الاصطناعي على مدى جودة كتابته للكود من "مطالبة" (prompt) مثالية. لكي يكون الذكاء الاصطناعي مفيداً في الصناعات الحقيقية (مثل اللوجستيات، أو التصنيع، أو التمويل)، يجب اختباره على قدرته على:

إيجاد المعلومات الصحيحة وسط كومة من الوثائق الفوضوية.
تحديث الأنظمة القديمة دون كسرها.
شرح قراراته باستخدام أدلة من الملفات الفعلية، وليس مجرد قصص مختلقة.

إن OR-Space هو "اختبار القيادة" الجديد لوكلاء الذكاء الاصطناعي، حيث ينقلهم من ساحة المواقف (المطالبات المثالية) إلى شوارع المدينة المزدحمة (مساحات العمل الحقيقية).

ملخص تقني: OR-Space

بيان المشكلة

تختزل المعايش المرجعية الحالية للنماذج اللغوية الكبيرة (LLMs) الوكيلة في مجال بحوث العمليات (OR) تعقيدات سير العمل الصناعي في العالم الحقيقي. عادةً ما تختزل التقييمات الحالية مهام بحوث العمليات إلى مشكلات "المرة الواحدة" (one-shot) حيث يقوم الوكيل بترجمة مطالبة نصية مكتفية ذاتياً إلى صياغة رياضية أو كود للمحلل (solver). هذا النهج يفشل في التقاط خاصيتين محددتين لبحوث العمليات الصناعية:

إعداد مساحة العمل (The Workspace Setting): تعمل الوكلاء في العالم الحقيقي ضمن بيئات مستمرة ومتعددة المصنفات (artifacts) تحتوي على متطلبات تجارية، بيانات مهيكلة (CSV/JSON)، مصنفات برمجية، ملاحظات المحلل، وتفاعلات أصحاب المصلحة الموزعة عبر ملفات متعددة.
إعداد دورة الحياة (The Lifecycle Setting): بحوث العمليات الصناعية هي عملية تكرارية. المهندسون لا يكتفون بمجرد توليد حل لمرة واحدة؛ بل يبنون نماذج أولية، ثم يراجعونها استجابةً لتغير قواعد العمل أو ملاحظات المحلل، ويشرحون القرارات الناتجة لأصحاب مصلحة غير خبراء.

وبناءً على ذلك، لا يمكن للمعايير المرجعية الحالية تحديد ما إذا كان الوكيل قادراً على أداء عمل تحسين (optimization) موثوق عبر مساحة عمل متعددة المصنفات ومن خلال مراحل متعددة من دورة حياة النمذجة.

المنهجية

يقدم المؤلفون OR-Space، وهو معيار مرجعي لمساحة عمل كاملة دورة الحياة مصمم لتقييم وكلاء التحسين الصناعي. تعتمد المنهجية على محورين أساسيين: مساحة عمل تنفيذية مستمرة ومسار مهام موجه نحو دورة الحياة.

1. صياغة مساحة عمل بحوث العمليات (OR Workspace Formalization)

تُعرف مساحة عمل بحوث العمليات ( $W$ ) بأنها بيئة مهيكلة، مستمرة، وقابلة للتنفيذ:
$W = \langle D, P, S, E, M \rangle$

$D$ (المستندات - Documents): مصنفات باللغة الطبيعية (مثل business_requirement.md) تصف الأهداف والمتطلبات.
$P$ (المعلمات - Parameters): ملفات بيانات مهيكلة (CSV, JSON) تحتوي على مدخلات عددية، تتطلب غالباً تنظيفاً ومواءمة للمخطط (schema alignment).
$S$ (الكود - Code): مصنفات برمجية، تشمل سكربتات استدلالية، قوالب جزئية، أو تنفيذات قديمة.
$E$ (البيئة - Environment): بيئة معزولة (Sandbox) قائمة على Docker تدعم عمليات الإدخال/الإخراج للملفات، وتنفيذ المحلل (Gurobi, COPT, PuLP, HiGHS)، وقيود الموارد.
$M$ (المقياس - Metric): مقياس التقييم (المخفي عن الوكيل) المستخدم بواسطة نظام التقييم.

على عكس المعايير السابقة التي تسلسل كل السياق في مطالبة واحدة، يتطلب OR-Space من الوكلاء تحديد موقع المعلومات، وربطها، وتأصيلها عبر هذه المصنفات الموزعة.

2. أنماط المهام الموجهة لدورة الحياة

يحدد OR-Space ثلاثة أنماط مهام متسلسلة مشتقة من 100 مشكلة أساسية (ممتدة من IndustryOR):

البناء ( $T_{Build}$ ): يبني الوكيل نموذج تحسين جاهز للمحلل من الصفر باستخدام مستندات العمل وملفات البيانات، بدءاً من هيكل كود فارغ.
المراجعة ( $T_{Revise}$ ): يقوم الوكيل بتعديل سير عمل تحسين موجود بناءً على متطلبات محدثة. يتضمن ذلك متغيرات مثل Revise-code (تعديل الكود القديم)، Revise-model (تعديل الصياغة فقط)، و Revise-all. يجب على الوكيل الحفاظ على المنطق السابق الصحيح مع دمج قيود أو متغيرات جديدة.
الشرح ( $T_{Explain}$ ): يجيب الوكيل على أسئلة قائمة على أدلة حول الحلول، القيود، والآثار التجارية باستخدام أدلة موزعة عبر المستندات، البيانات، الكود، ومخرجات المحلل (مثل المتغيرات المزدوجة، وقيم الفائض/slack).

3. بروتوكول التقييم

البناء والمراجعة: يتم التقييم عبر مقاييس يتم تسجيلها بواسطة المحلل. يُعتبر التسليم صحيحاً إذا تم تنفيذه دون خطأ، وأعاد حالة "مثالية" (Optimal)، وحقق خطأ هدف نسبي $\le 1\%$ مقابل نموذج مرجعي (oracle) حقيقي.
الشرح: يتم التقييم باستخدام معيار "النموذج اللغوي كحكم" (LLM-as-judge) القائم على الأدلة. تعتمد الدرجات على التغطية الدقيقة (35%)، الاستدلال (35%)، التأصيل (20%)، جودة الإجابة (10%)، وعقوبة الهلوسة (تصل إلى -12).
تحليل الفشل: يسجل الإطار أنماط فشل محددة، بما في ذلك أخطاء التنفيذ، الصياغات غير الممكنة، الأهداف غير الصحيحة، والشروحات غير الأمينة.

المساهمات الرئيسية

تحديد أوجه القصور: يحدد البحث أن معايير بحوث العمليات الحالية تعاني من إعدادات مساحة عمل ذاتية الاحتواء وإعدادات مهام أحادية المرة، مما يقلل من تمثيل طبيعة العمليات الصناعية متعددة المصنفات والمتجهة نحو دورة الحياة.
معيار OR-Space: معيار مرجعي جديد مبني حول مساحات عمل تنفيذية مستمرة حيث تتوزع المتطلبات، البيانات، الكود، ومخرجات المحلل عبر ملفات متعددة.
أنماط المهام: تعريف ثلاثة أنماط موجهة لدورة الحياة (البناء، المراجعة، الشرح) تلتقط بناء النموذج، الصيانة، والتواصل.
إطار التقييم: بروتوكول لتحليل قدرات الوكلاء وأنماط فشلها، بما في ذلك تأصيل البيانات، اتساق المراجعة، وأمانة الشرح.

النتائج

قام المؤلفون بتقييم 20 نموذجاً (نماذج رائدة مغلقة المصدر، نماذج صغيرة تعتمد على واجهة برمجة التطبيقات، ونماذج مفتوحة المصدر) عبر المعيار. تشمل النتائج الرئيسية ما يلي:

تأصيل مساحة العمل صعب للغاية: حتى الوكلاء الرائدين يعانون في بناء النماذج القائمة على مساحة العمل. كانت أفضل درجة في "البناء" هي 72.0% (gemini-3.1-pro)، بينما وقعت معظم النماذج الرائدة في نطاق 53–68%. هذا يسلط الضوء على صعوبة استعادة مخططات البيانات والدلالات التجارية من المصنفات الموزعة مقارنة بالمطالبات النظيفة.
الكود القديم كإشارة مقابل ضجيج: في مهمة Revise (المراجعة)، غالباً ما قامت النماذج القوية (مثل gpt-5.4, claude-opus-4-6) بتحسين الأداء عبر الاستفادة من الكود القديم كإشارة (على سبيل المثال، تحسن gpt-5.4 من 59% إلى 79%). وعلى العكس من ذلك، عانت النماذج الأضعف أو "السريعة" (flash) من انخفاض في الأداء (على سبيل المثال، انخفض gemini-3-flash بمقدار 23 نقطة مئوية)، مما يشير إلى أنها عاملت التفاصيل التنفيذية كضجيج أو نسخت استيرادات غير متعلقة بالمحلل.
القدرة على الشرح متميزة: كان الأداء في Explain (الشرح) مرتبطاً ارتباطاً ضعيفاً بدرجات Build و Revise ( $r \approx 0.16-0.28$ ). بعض النماذج التي بنت نماذج قابلة للتشغيل فشلت في شرحها بأمانة (على سبيل المثال، حل gemini-2.5-pro لـ 69% من حالات المراجعة لكنه سجل 32.2 فقط في الشرح).
تأثير الواجهة: أدى استخدام واجهة نظام الملفات (مقابل تسلسل المطالبة المسطحة) عموماً إلى تقليل الأداء في مهام توليد الكود (البناء والمراجعة) بمتوسط 8.2 و 12.2 نقطة مئوية، على التوالي. يشير هذا إلى أن اكتشاف الملفات وفحص المخططات هي صعوبات جوهرية وليست مجرد أمور شكلية.
حساسية السياق: إضافة الصياغات الرسمية إلى سياق الكود ساعدت النماذج القوية بشكل عام، ولكنها قد تضر بالنماذج الخفيفة. وُجد أن السياق المقتصر على الصياغة أكثر هشاشة من السياق القائم على الكود.

الأهمية والادعاءات

يضع البحث OR-Space كتحول ضروري في نماذج التقييم من توليد النصوص المعزول إلى سير عمل هندسي قوي مدعوم بالمحلل. يدعي المؤلفون ما يلي:

فجوة الموثوقية: لا يزال التنقل في مساحة عمل مفتوحة ومتعددة المصنفات يمثل تحدياً كبياً للوكلاء الحاليين، مما يكشف عن فشل منهجي في رسم البيانات وتأصيل القيود، وهو ما تخفيه معايير بحوث العمليات المقتصرة على النصوص.
الجاهزية العملية: يوفر OR-Space أساساً صارماً لقياس الجاهزية العملية لوكلاء التحسين من خلال محاكاة الطبيعة التكرارية ومتعددة الخطوات لبحوث العمليات الصناعية.
أنماط الفشل: يتيح المعيار المرجعي تحليلاً دقيقاً لأسباب الفشل، والتمييز بين أخطاء النمذجة الرياضية، وأخطاء تأصيل البيانات، وهلوسة القيود، وهو أمر بالغ الأهمية لنشر الوكلاء في البيئات الواقعية.

يخلص العمل إلى أنه بينما تظهر النماذج اللغوية الكبيرة وعداً في مهام الصياغة المعزولة، فإن قدرتها على أداء هندسة بحوث عمليات موثوقة عبر مساحة عمل مستمرة ودورة حياة كاملة لا تزال محدودة حالياً، مما يستلزم مزيداً من البحث في موثوقية الوكلاء، وأنماط فشلهم، والتفاعل مع مساحة العمل.