🤖 AI

DynaSchedBench: Calibrated Dynamic Scheduling Benchmarks and Observability Paradox in LLM-based Scheduling Agents

تقدم هذه الورقة DynaSchedBench، وهو إطار عمل معياري لتقييم جدولة ورش العمل المرنة الديناميكية يستخدم معاير فضاء الأحداث المتسلسل لتوليد حالات مضبوطة بدقة، مما يكشف عن "مفارقة القابلية للملاحظة" حيث يؤدي الوصول الكامل إلى المعلومات وتعزيز الأدوات غالباً إلى تدهور أداء الوكلاء القائمين على النماذج اللغوية الكبيرة، مما يجعلهم يقلون أداءً عن قواعد الإرسال القوية.

المؤلفون الأصليون: Shijie Cao, Yuan Yuan, Jing Liu

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shijie Cao, Yuan Yuan, Jing Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية إدارة أرض مصنع مزدحمة حيث تتعطل الآلات، وتصل طلبات جديدة بشكل عشوائي، والمواعيد النهائية تتغير باستمرار. هذا ما يسمى بـ الجدولة الديناميكية المرنة لورش العمل (Dynamic Flexible Job Shop Scheduling).

تجادل الورقة البحثية بأننا نحاول تعليم الروبوتات باستخدام النوع الخاطئ من "الاختبارات التجريبية". إليك تفصيل لمنهجهم الجديد وما اكتشفوه، باستخدام تشبيهات بسيطة.

١. المشكلة: اختبارات تجريبية سيئة

في الوقت الحالي، يختبر الباحثون ذكاء الجدولة الاصطناعي على نوعين من المشكلات:

المعايير الثابتة (Static Benchmarks): وهي تشبه إعطاء طالب قائمة ثابتة من ٥٠ مسألة رياضية. قد يقوم الطالب بمجرد حفظ الإجابات لتلك المسائل الخمسين المحددة بدلاً من تعلم كيفية إجراء الرياضيات. وعندما يواجه مسألة جديدة، فإنه يفشل.
المولدات العشوائية (Random Generators): يحاول آخرون إنشاء عدد لا نهائي من المشكلات العشوائية. لكن هذا يشبه رمي النرد لإنشاء اختبار. أحياناً يرمي النرد اختباراً "سهلاً للغاية" بالصدفة، فيبدو الذكاء الاصطناعي ذكياً. وفي أحيان أخرى، يرمي اختباراً "صعباً للغاية"، فيبدو الذكاء الاصطناعي غبياً. لا يمكنك معرفة ما إذا كان الذكاء الاصطناعي جيداً حقاً أم أنه كان محظوظاً أو سيء الحظ فقط.

النتيجة: نحن لا نعرف ما إذا كان الذكاء الاصطناعي ذكياً حقاً أم أنه مجرد حافظ للاختبار أو محظوظ بالصدفة.

٢. الحل: DynaSchedBench (الصالة الرياضية المعايرة)

بنى المؤلفون إطار عمل جديداً يسمى DynaSchedBench. فكر في هذا كأنه صالة رياضية ذكية لروبوتات الجدولة.

بدلاً من مجرد رمي النرد، يستخدمون أداة خاصة تسمى معاير فضاء الأحداث المتسلسلة (Sequential Event-Space Calibrator - SESC).

كيف يعمل: تخيل أنك تريد اختبار سرعة عداء على مضمار مع كمية محددة من مقاومة الرياح. بدلاً من الأمل في أن تهب الرياح بالشكل الصحيح، تقوم هذه الأداة بتعديل آلة الرياح حتى تصبح المقاومة هي بالضبط ما طلبته.
"مؤشر الإجهاد" (SSI): لقد أنشأوا "درجة صعوبة" (مثل مستويات ألعاب الفيديو). يمكنهم الآن إنشاء مسألة من "المستوى ٥" تضمن أنها أصعب من "المستوى ٤" ولكنها أسهل من "المستوى ٦". هذا يلغي عامل الحظ.

٣. الاكتشاف الكبير: "مفارقة القابلية للملاحظة"

اختبر الباحثون النماذج اللغوية الكبيرة (LLMs) — وهي نفس نوع الذكاء الاصطناعي الذي يكتب المقالات ويتحدث معك — لمعرفة ما إذا كان بإمكانها العمل كمدير للمصنع. لقد أعطوا الذكاء الاصطناعي ثلاث طرق مختلفة لـ "رؤية" المصنع:

المستوى ١ (الرؤية المحلية): "هذه هي الآلة التي أمامك مباشرة. إنها فارغة. هل تريد استخدامها؟" (حقائق بسيطة).
المستوى ٢ (رؤية الإحصائيات): "هذه هي الآلة، بالإضافة إلى ملخص لمدى انشغال المصنع بأكمله." (حقائق بسيطة + لوحة تحكم).
المستوى ٣ (رؤية العراف/الخبير): "هذه هي الآلة، ولوحة التحكم، وَأيضاً المخطط السري للمصنع، والجدول الزمني المستقبلي، والاختناقات المخفية." (كل شيء).

المفاجأة:
قد تعتقد أن إعطاء الذكاء الاصطناعي معلومات أكثر (المستوى ٣) سيجعله أذكى. لكنه لم يفعل.

أدى الذكاء الاصطناعي أفضل أداء مع لوحة التحكم البسيطة (المستوى ٢).
عندما تم إعطاؤه رؤية "العراف" مع كل تلك المخططات المعقدة (المستوى ٣)، أصبح أداؤه أسوأ في الواقع.

التشبيه: تخيل أنك تقود سيارة.

المستوى ٢ هو النظر إلى الطريق وإلى عداد السرعة الخاص بك. أنت تقود بشكل جيد.
المستوى ٣ هو إعطاؤك تقرير حركة المرور بالكامل، وأنماط الطقس للأسبوع القادم، ودرجة الحرارة الداخلية للمحرك، وتاريخ نظام تحديد المواقع (GPS) لكل سيارة على الطريق.
المفارقة: المعلومات الإضافية أربكت السائق. لقد تشتت انتباهه بسبب الضجيج واتخذ قرارات أسوأ مما لو كان قد نظر إلى الطريق فحسب. تطلق الورقة على هذا اسم "مفارقة القابلية للملاحظة" (Observability Paradox).

٤. فخ "الأداة"

حاولوا أيضاً إعطاء الذكاء الاصطناعي أدوات خاصة لـ "محاكاة" ما سيحدث إذا اتخذ خطوة ما (مثل جهاز كمبيوتر يلعب الشطرنج ويتوقع الخطوات المستقبلية).

النتيجة: استخدام هذه الأدوات كلف الكثير من "الرموز" (Tokens) (أي قوة حوسبة/مال)، لكنه لم يجعل الذكاء الاصطناعي أفضل في الجدولة فعلياً. كان الأمر أشبه بالدفع مقابل نظام GPS فاخر يعطيك فقط نفس الاتجاهات التي كان بإمكانك تخمينها بنفسك.

٥. الحكم النهائي: جيد في التخمين، سيء في التحسين الأمثل

تخلص الورقة إلى أن وكلاء الجدولة من الذكاء الاصطناعي الحاليين ليسوا "محسّنين فائقين" (Super-optimizers).

هم مقربون متينون (Robust approximators). وهذا يعني أنهم جيدون في تقديم تخمينات "آمنة" ولائقة تكون قريبة جداً من القواعد السريعة التي يتبعها الخبراء البشريون.
هم لا يستطيعون باستمرار التغلب على أفضل القواعد التقليدية المصممة يدوياً (Heuristics). إنهم عالقون في "سقف أداء" معين.

الملخص

تقول الورقة: "توقفوا عن اختبار الذكاء الاصطناعي على مشكلات عشوائية أو محفوظة. استخدموا 'الصالة الرياضية المعايرة' الخاصة بنا لاختبارهم بإنصاف. وعندما تفعلون ذلك، ستجدون أن إعطاء الذكاء الاصطناعي الكثير من المعلومات يربكه في الواقع، وأنهم حالياً مجرد مخمنون جيدون جداً، وليسوا عباقرة."

ملخص تقني: DynaSchedBench

بيان المشكلة

يواجه مجال التحسين التوليفي العصبي (NCO) لمسألة جدولة ورشة العمل المرنة الديناميكية (DFJSP) توتراً منهجياً يعيق التقدم. فالنماذج المرجعية الاستاتيكية الحالية (مثل Taillard وDMU) تشجع على الإفراط في التخصيص (overfitting)، حيث تحفظ الوكلاء هياكل نماذج محددة بدلاً من تعلم سياسات قابلة للتعميم. ومن ناحيد آخر، فإن محاولات توليد نماذج ديناميكية غالباً ما تعتمد على أخذ عينات إجرائية غير معايرة، حيث تظهر الصعوبة كناتج غير منضبط لعمليات أخذ العينات العشوائية. يؤدي هذا إلى ظهور "ضباب عشوائي" (stochastic fog) عالي التباين، مما يجعل من المستحيل التمييز بين الابتكار الخوارزمي الحقيقي وبين تسلسلات الحظ السعيد للأحداث الديناميكية. علاوة على ذلك، يفتقر ظهور النماذج اللغوية الكبيرة (LLMs) كوكلاء جدولة إلى إطار تقييم صارم لاختبار قدراتهم الاستدلالية مقابل الحلول التقليدية في بيئة منضبطة وسليمة توزيعياً.

المنهجية: إطار عمل DynaSchedBench

يقدم المؤلفون DynaSchedBench، وهو إطار عمل تشخيصي مصمم لتوليد نماذج مرجعية معايرة ومؤسسة نظرياً لمسألة DFJSP. يتكون الإطار من أربعة مكونات أساسية:

1. معاير فضاء الأحداث المتسلسل (SESC)

بدلاً من تحسين المعلمات التوليدية (generative hyperparameters) في فضاء المعلمات (وهو أمر مكلف حوسبياً وعرضة لعدم الاستقرار)، يستخدم DynaSchedBench تقنية SESC. يعمل هذا المكون مباشرة على تدفق الأحداث المنفصل المحقق $E$ . ويقوم بتطبيق سلسلة من التحويلات الهيكلية المحلية (operators) لتعديل تدفق الأحداث ليتناسب مع المقاييس المستهدفة.

استراتيجيات التعديل: يستخدم الإطار كتالوجاً من الاستراتيجيات بما في ذلك: تعديل هيكل الوصول (تصحيح المعدل، وإعادة أخذ عينات التجديد)، تدرج الفراغات التكيفي (تعديل ضيق المواعيد النهائية)، إعادة أخذ عينات زمن المعالجة المتماثل (تصحيح التباين مع الحفاظ على إجمالي عبء العمل)، وهندسة الاختناقات (التحكم الدقيق في فقدان السعة).
حلقة المعايرة: يقوم البحث الجشع (greedy search) باختيار المشغلين الذين يقللون من متجه الخطأ المعياري بين المقاييس المرصودة والمقاييس المستهدفة مع الحفاظ على المقاييس التي تقع بالفعل ضمن نطاق التسامح.

2. مؤشر إجهاد الجدولة (SSI)

لقياس صعوبة النموذج، يقترح المؤلفون مؤشر إجهاد الجدولة (SSI). يقوم هذا المقياس برسم المقاييس التجريبية الخام إلى متجه صعوبة مكون من أربعة عناصر:

الازدحام ( $C$ ): يعتمد على تقريبات حركة المرور الكثيفة بأسلوب Kingman، باستخدام استغلال الاختناق الطبيعي والتباين.
الضغط الزمني ( $P$ ): مقلوب الفراغ التجريبي (slack).
التعقيد الهيكلي ( $K$ ): مقياس معياري لعدد الآلات وعمق العمليات.
شدة الاضطراب ( $S$ ): مقياس معياري لنسب الاضطراب المتحقق (مثل الأعطال).
يتم ضغط هذه المكونات لوغاريتمياً ومتوسطها لإنتاج درجة صعوبة عددية $d \in [0, 100]$ .

3. مكدس المحاكاة والتقييم النموذجي

يوفر الإطار بيئة متوافقة مع Gym تضم:

محاكاة قائمة على اللقطات (Snapshot-based): تضمن ملاحظات ثابتة للوكلاء، مما يدعم السياسات عديمة الذاكرة والمخططات ذات النظرة الاستشرافية (lookahead planners).
محرك قائم على المسارات (Trajectory-based): يحفظ آثار التنفيذ لضمان التحقق من القيود بشكل قابل للتكرار (الأسبقية، عدم تداخل الموارد) وحساب مقاييس الأداء.
مستويات الإدراك (Observability Levels): تحدد ثلاثة مستويات من الوصول إلى المعلومات للوكلاء:
- L1: رؤية محلية (الوظائف الجاهزة، توافر الآلات).
- L2: المستوى L1 + الإحصاءات المحلية (أطوال الطوابير، عوامل الفراغ).
- L3: المستوى L2 + الأولويات الهيكلية (درجات الاختناق، أهداف التصميم).

4. تقييم وكلاء النماذج اللغوية الكبيرة (LLM)

يقيم الإطار الوكلاء القائمين على LLM باستخدام أوضاع تحفيز (prompting) متنوعة (المباشر، سلسلة الأفكام CoT، والمدعوم بالأدوات) واستراتيجيات التحسين (التفكير التأملي Reflection، وBest-of-N). ويقيس الأداء عبر زمن الإنجاز النهائي المعياري ( $C_{max}$ ) بالنسبة لأفضل جدول مرصود، ويتتبع استهلاك الرموز (tokens) لتقييم مقايضات التكلفة مقابل الأداء.

النتائج الرئيسية

أداء المعايرة

الكفاءة والاستقرار: يتفوق SESC بشكل كبير على النماذج المرجعية التطورية (التحسين متعدد الأهداف والنهج الهجين) في الكفاءة الحوسبية والاستقرار. حقق SESC وسيط وقت معايرة قدره 0.2 ثانية مقارنة بـ 57.9 ثانية لـ MOO و185.8 ثانية للنهج الهجين.
الدقة: أظهر SESC استقراراً خوارزمياً فائقاً مع خطأ معياري أقل ( $\tilde{\ell}_2 \approx 0.0539$ ) وتشتت ضئيل بين البذور (seed-to-seed dispersion) مقارنة بالنماذج المرجعية.
ارتباط الصعوبة: يرتبط مؤشر SSI ارتباطاً إيجابياً بالفجوة بين المجدول العشوائي وأفضل خوارزمية استدلال ثابتة ( $\rho = 0.563$ )، مما يؤكد فائدته كمؤشر لصعوبة الجدولة.

نتائج جدولة النماذج اللغوية الكبيرة (LLM)

مفارقة الإدراك (The Observability Paradox): إن تزويد الوكلاء بالأولويات الهيكلية الكاملة (L3) يؤدي إلى تدهور الأداء مقارمة بالملخصات الإحصائية الموجزة (L2). حققت وكلاء CoT في المستوى L2 متوسط زمن إنجاز زائد معياري قدره 0.7%، بينما تدهور أداء وكلاء L3 CoT إلى 1.66%. يشير هذا إلى أن النماذج اللغوية الكبيرة الحالية تجد صعوبة في استخلاص الإشارات المفيدة من الضوضاء الهيكلية عالية الأبعاد.
عدم كفاءة الاستقصاء النشط: أدت الاستراتيجيات المدعومة بالأدوات (L1+Tool) إلى زيادة قدرها ثلاثة أضعاف في استهلاك الرموز دون تحسين الأداء مقارنة بـ L1 CoT، مما يسلط الضوء على "عنق زجاجة في دمج المعلومات".
تكافؤ الخوارزميات الاستدلالية: رغم العبء الكبير في عدد الرموز واستراتيجيات الاستدلال المتقدمة (Reflection, Best-of-N)، تفشل النماذج اللغوية الكبيرة في التفوق باستمرار على قواعد ترتيب الأولويات (PDRs) القوية المصممة يدوياً. أداء أفضل النماذج (مثل Qwen3-8B) كان متماثلاً إحصائياً مع أفضل الخوارزميات الاستدلالية الثابتة (مثل LIFO+LIT)، مما يصنفها كأدوات تقريب استدلالية قوية وليست محسنات فائقة.

الأهمية والادعاءات

يدعي البحث حل أزمة التقييم في الجدولة الديناميكية من خلال توفير إطار عمل لإنشاء نماذج مرجعية مضبوطة توزيعياً. وتكمن أهميته الأساسية في:

الدقة المنهجية: استبدال أخذ العينات غير المعاير بعملية معايرة حتمية في فضاء الأحداث تسمح بالتصنيف المنهجي لصعوبة النماذج.
الرؤية التشخيصية: الكشف عن "مفارقة الإدراك"، التي تتحدى الافتراض بأن توفر المزيد من المعلومات (الأولويات الهيكلية) يؤدي إلى اتخاذ قرارات أفضل في الوكلاء القائمين على LLM للمسائل التوليفية.
التوقعات الواقعية: ترسيخ حقيقة أن النماذج اللغوية الكبيرة الحالية، حتى مع التحفيز المتقدم واستخدام الأدوات، تعمل أساساً كمقربات قوية للخوارزميات الكلاسيكية بدلاً من كونها محسنات تحويلية، مما يشير إلى الحاجة للتحول نحو التخطيط متعدد الخطوات بدلاً من مجرد الاستجابة اللحظية (reactive dispatching).

يخلص المؤلفون إلى أنه بدون مثل هذه البيئات المعايرة، لا يمكن للمجال اختبار قدرات الاستدلال للوكلاء الناشئين بشكل موثوق، وأن الجيل الحالي من النماذج اللغوية الكبيرة مقيد بسقف أداء الخوارزميات الاستدلالية الكلاسيكية في سياقات الجدولة الديناميكية.