💻 computer science

IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models

تقترح الورقة البحثية إطار عمل IMR-LLM، وهو إطار عمل مبتكر يجمع بين النماذج اللغوية الكبيرة وطرق الحل الحتمية وأشجار العمليات لتوليد خطط مهام عالية المستوى قابلة للتنفيذ وبرامج منخفضة المستوى قابلة للتنفيذ للتعاون المعقد بين الروبوتات المتعددة في الصناعة، مما أظهر أداءً فائقاً على مقياس IMR-Bench المستحدث حديثاً.

المؤلفون الأصليون: Xiangyu Su, Juzhan Xu, Oliver van Kaick, Kai Xu, Ruizhen Hu

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangyu Su, Juzhan Xu, Oliver van Kaick, Kai Xu, Ruizhen Hu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أرض مصنع مزدحمة حيث يحتاج فريق من الأذرع الروبوتية للعمل معاً لبناء شيء معقد، مثل تلميع ونقل قطع معدنية. في الماضي، كان إخبار هذه الروبوتات بما يجب فعله يشبه محاولة توجيه ازدحام مروري فوضوي عبر جهاز لاسلكي: كان عليك إعطاء تعليمات محددة للغاية وخطوة بخطوة، وإذا فاتك تفصيل واحد، ستتعطل خطوط الإنتاج بالكامل.

يقدم هذا البحث IMR-LLM، وهو نظام "عقل فائق" جديد يساعد فريقاً من الروبوتات على التعاون بكفاءة. فكر فيه كـ مدير مشروع عالي المهارة لا يكتفي فقط بإعطاء الأوامر، بل يفهم الصورة الكبيرة، وقواعد الطريق، والأدوات المحددة التي يمتلكها كل عامل.

إليك كيف يعمل هذا النظام، مقسماً إلى ثلاثة أجزاء بسيطة:

1. المشكلة: لماذا ترتبك الروبوتات؟

في المنزل، إذا قلت لروبوت "اصنع شطيرة"، يمكنه تقطيع الخبز أولاً أو الجبن أولاً؛ فالترتيب لا يهم كثيراً. ولكن في المصنع، القواعد صارمة.

الازدحام المروري: تخيل ثلاثة روبوتات تحاول استخدام نفس آلة التلميع. يمكن لواحد فقط استخدامها في المرة الواحدة. إذا اندفعوا جميعاً، سيصطدمون.
الاعتمادية: لا يمكنك تلميع قطعة حتى يتم نقلها إلى الطاولة. إذا حاول الروبوت تلميعها وهي لا تزال على حزام النقل، فلن يحدث شيء.

حاولت طرق الذكاء الاصطناعي القديمة تخمين أفضل ترتيب عبر مجرد "الدردشة" مع الروبوتات. ولكن مع زيادة حجم المصنع، يرتبك الذكاء الاصطناعي، أو يبتدع قواعد غير موجودة، أو ينسى من يفترض به فعل ماذا.

2. الحل: "شرطي المرور" و"كتاب الوصفات"

ابتكر المؤلفون نظاماً من خطوتين لإصلاح ذلك:

الخطوة أ: شرطي المرور (تخطيط المهام)

بدلاً من طلب تخمين الجدول الزمني بأكمله من الذكاء الاصطناعي، يستخدمون الذكاء الاصطناعي لرسم خريطة لقواعد المصنع (تسمى الرسم البياني المتقطع - Disjunctive Graph).

التشبيه: تخيل أن الذكاء الاصطناعي هو شرطي مرور يرسم خريطة لمدينة. يحدد أين توجد الطرق (الروبوتات) وأين توجد التقاطعات (الآلات). هو يعلم أن "الروبوت (أ) لا يمكنه التواجد في التقاطع 1 والتقاطع 2 في نفس الوقت".
السحر: بمجرد رسم الخريطة، يستخدم النظام آلة حاسبة رياضية (حل حتمي - deterministic solver) لإيجال أسرع مسار خالٍ من الاصطدامات. لا يتعين على الذكاء الاصطناعي القيام بالرياضيات الصعبة؛ هو فقط يبني الخريطة، والآلة الحاسبة تحل مشكلة الازدحام المروري بشكل مثالي. هذا يضمن عدم اصطدام الروبوتات أبداً وإنجاز العمل بأسرع وقت ممكن.

الخطوة ب: كتاب الوصفات (توليد البرامج)

بمجرد تحديد الجدول الزمني، تحتاج الروبوتات لمعرفة كيف تحرك أذرعها لأداء المهمة.

الطريقة القديمة: كان الذكاء الاصطناعي ينظر إلى بعض الأمثلة من الأكواد البرمجية ويحاول تقليدها. هذا يشبه محاولة كتابة كتاب طهي عبر حفظ ثلاث وصفات محددة فقط. إذا طلبت منه طبقاً جديداً، يرتبك الذكاء الاصطناعي ويكتب أكواداً غير منطقية.
الطريقة الجديدة (شجرة العمليات - Process Tree): بنى المؤلفون "شجرة وصفات" نمطية.
- تخيل شجرة حيث الجذع هو "نقل قطعة ما".
- الأغصان هي طرق مختلفة للقيام بذلك: "استخدام كاميرا على حامل" مقابل "استخدام كاميرا في يد الروبوت".
- ينظر الذكاء الاصطناعي إلى المهمة المحددة، ويمشي عبر الشجرة ليجد الأغصان الصحيحة، ثم يجمع قطع الأكواد البرمجية المناسبة معاً.
- الفائدة: الأمر يشبه مجموعة "الليغو" (Lego). بدلاً من بناء قلعة كاملة من الصفر في كل مرة، يقوم الذكاء الاصطناعي فقط باختيار الجدرع والنوافذ الجاهزة مسبقاً وتركيبها معاً. هذا يجعل الكود أكثر موثوقية وأقل عرضة للتعطل.

3. النتائج: عملية سلسة

اختبر الفريق هذا النظام في مصنع افتراضي وفي مصنع حقيقي باستخدام روبوتات فعلية.

الاختبار المعياري: أنشأوا اختباراً جديداً يسمى IMR-Bench، وهو بمثابة "اختبار قيادة" للروبوتات، يتراوح من السهل (روبوت واحد) إلى الصعب (سبعة روبوتات تعمل معاً في مهام معقدة).
النتيجة: تفوقت طريقتهم على جميع طرق الذكاء الاصطناعي الموجودة حالياً. كانت أفضل في تحديد من يجب أن يفعل ماذا (تخطيط المهام) وأفضل في كتابة كود يعمل بالفعل (توليد البرامج).
العالم الحقيقي: قاموا بتجربته حتى على روبوتات حقيقية في مختبر، ونجحت الروبوتات في نقل وتلميع القطع دون اصطدام، مما يثبت أن النظام يعمل خارج نطاق الكمبيوتر.

الصورة الكبيرة

IMR-LLM يشبه ترقية مصنع من موقع بناء فوضوي إلى آلة تعمل بسلاسة وتناغم.

يستخدم الذكاء الاصطناعي لفهم الأهداف والقواعد.
يستخدم الرياضيات لحل الازدحامات المرورية.
يستخدم الأشجار النمطية لكتابة التعليمات.

هذا يعني أن المصانع يمكنها أخيراً استخدام فرق كبيرة من الروبوتات للقيام بأعمال معقدة ومنسقة دون الحاجة إلى تدخل بشري للإشراف على كل ثانية. إنها خطوة ضخمة نحو "المصانع الذكية" في المستقبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "IMR-LLM: تخطيط المهام وتوليد البرامج للروبوتات المتعددة في البيئات الصناعية باستخدام النماذج اللغوية الكبيرة."

1. بيان المشكلة

تعالج الورقة تحديات تخطيط مهام الروبوتات المتعددة وتوليد البرامج في بيئات التصنيع الصناعية. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) واعدية في المهام المنزلية أو مهام المناولة البسيطة، إلا أنها تواجه صعوبات في البيئات الصناعية بسبب:

القيود التسلسلية الصارمة: العمليات الصناعية (مثل اللحام أو التلميع) لها ترتيب تنفيذ صارم وتبعيات معقدة تختلف عن المهام المنزلية المرنة.
صراعات الموارد: غالبًا ما تتنافس الروبوتات المتعددة على موارد مشتركة محدودة (آلات، قطع عمل)، مما يتطلب جدولة دقيقة لتجنب الاصطدامات أو حالات الجمود (deadlocks).
قابلية تنفيذ البرنامج: تعتمد طرق توليد الأكواد الحالية القائمة على LLM غالبًا على "التلقين بلقطات قليلة" (few-shot prompting) مع أمثلة محددة، مما يؤدي إلى أكواد تفرط في ملاءمة الأمثلة (overfitting)، أو تفشل في التكيف مع تكوينات خطوط الإنتاج المحددة، أو تفتقر إلى خطوات العمل الحيوية.

الهدف الجوهي هو تحويل التعليمات باللغة الطبيعية تلقائيًا إلى خطة مهام عالية المستوى (تفكيك، تخصيص، جدولة) وبرامج قابلة للتنفيذ منخفضة المستوى لأسطول من الروبوتات التعاونية.

2. المنهجية: إطار عمل IMR-LLM

يقترح المؤلفون IMR-LLM، وهو إطار عمل هجين يدمج استدلال النماذج اللغوية الكبيرة مع خوارزميات الحل الحتمية وتمثيلات البيانات المهيكلة. يتكون الإطار من ثلاث مراحل رئيسية:

أ. تخطيط المهام (المستوى العالي)

بدلاً من مطالبة الـ LLM بإخراج جدول زمني معقد لجميع الروبوتات مباشرة (مما يؤدي غالبًا إلى أخطاء)، تقوم الطريقة بتفكيك المشكلة:

استدلال الـ LLM: يقوم الـ LLM بتحليل المشهد والتعليمات لتوليد:
- مجموعة العمليات ( $O$ ): تفكيك المهمة إلى عمليات ذرية (مثل النقل، التلميع).
- مجموعة التخصيص ( $A$ ): تعيين العمليات لروبوتات محددة.
- أسبقية قطعة العمل الداخلية ( $Q$ ): تحديد ترتيب العمليات لقطعة عمل واحدة.
- ملاحظة: يستخدم الـ LLM التلقين القائم على القواعد بدلاً من أمثلة "اللقطات القليلة" لتحسين القدرة على التعميم.
بناء الرسم البياني المشتت (Disjunctive Graph): يتم تحويل مخرجات الـ LLM إلى رسم بياني مشتت ( $G$ $G$ ).
- الرؤوس (Vertices): تمثل العمليات.
- الأقواس المترابطة (Conjunctive Arcs): تمثل قيود الأسبقية الثابتة داخل قطعة العمل.
- الأقواس المشتتة (Disjunctive Arcs): تمثل صراعات الموارد (التنافس على نفس الآلة أو الروبوت).
الحل الحتمي: تقوم خوارزمية استدلالية (First-In-First-Out, FIFO) بحل الرسم البياني المشتت لتحديد ترتيب التنفيذ الأمثل للموارد المتصارعة، مما ينتج رسمًا بيانيًا للجدولة ( $F$ ) قابلاً للتنفيذ. يضمن هذا أن الخطة صالحة رياضياً وفعالة، متجاوزاً ضعف الـ LLM في التحسين التوافقي المعقد.

ب. توليد البرامج (المستوى المنخفض)

لتوليد كود قابل للتنفيذ يتكيف مع بيئات محددة دون الإفراط في الملاءمة:

شجرة عملية العملية (Operation Process Tree - $T$ ): بدلاً من تقديم أمثلة كود خام، يقوم الـ LLM ببناء تمثيل هيكلي شجري لإجراءات التنفيذ بناءً على أمثلة برمجية مقدمة.
- تنظم الشجرة العمليات في عقد (مثل "كشف الجسم"، "حساب المسار").
- تتعامل مع الاختلافات (مثل كاميرا مثبتة مقابل كاميرا محمولة) عبر هياكل التفرع.
- تسمح بإعادة استخدام الخطوات الوظيفية الشائعة عبر عمليات مختلفة.
توليد الكود الموجه: يستخدم الـ LLM شجرة العملية لتوليد كود Python.
- يحدد المسار المحدد (الفرع) المطلوب لكل عملية بناءً على المشهد.
- يجمع قصاصات الكود من عقد الشجرة لإنشاء وظائف تغليف (wrapper functions) ووظائف تنفيذ.
- يحول توليد الكود إلى مشكلة اختيار مسار، مما يحسن بشكل كبير من اكتمال الكود وقابليته للتنفيذ.

ج. التنفيذ

يقوم النظام بتوجيه الروبوتات باستخدام الخطة عالية المستوى المولدة (تسلسل التنفيذ) والكود منخفض المستوى (استدعاءات الدوال). لا تبدأ العمليات إلا عند استيفاء تبعياتها.

3. المساهمات الرئيسية

إطار عمل IMR-LLM: بنية مبتكرة تجمع بين قدرات الاستدلال لـ LLM مع الرسوم البيانية المشتتة لتخطيط المهام القوي، وأشجار العمليات لتوليد البرامج النمطي.
IMR-Bench: مجموعة بيانات مرجعية جديدة تضم 23 مشهداً صناعياً و50 مهمة تصنيع عبر ثلاثة مستويات من الصعوبة (روبوت واحد، روبوتات متعددة بسيطة، روبوتات متعددة معقدة). تتضمن البيانات الحقائق الأرضية (ground truth) للعمليات، التخصيص، الجدولة، والبرامج.
التقييم الشامل: تم اختبار الطريقة في كل من المحاكاة وبيئة واقعية مع ثلاثة أذرع روبوتية، مما أظهر أداءً فائقاً على النماذج المرجعية الحالية.

4. النتائج التجريبية

قيم المؤلفون IMR-LLM مقابل نماذج مرجعية حديثة (SMART-LLM, LaMMA, LiP-LLM) باستخدام مقايسات مثل اتساق العمليات (OC)، كفاءة الجدولة (SE)، قابلية التنفيذ (Exe)، ومعدل النجاح (SR).

الأداء: تفوق IMR-LLM بشكل ملحوظ على جميع النماذج المرجعية عبر جميع تعقيدات المهام.
- مهام الروبوتات المتعددة المعقدة: حقق معدل نجاح (SR) قدره 0.68 (باستخدام GPT-4o) و 0.60 (باستخدام Qwen3-32B)، بينما حقق أفضل نموذج مرجعي (LiP-O) نسبة 0.24 فقط.
- كفاءة الجدولة (SE): حقق 1.00 للمهام ذات الروبوت الواحد والمهام المتعددة البسيطة، و 0.75 للمهام المعقدة، مقارنة بنسب تقترب من الصفر للنماذج المرجعية في السيناريوهات المعقدة.
- قابلية التنفيذ: أدت طريقة شجرة العملية إلى درجات عالية في قابلية التنفيذ (0.76–0.94)، مما يثبت أن الكود المولد يعمل في الواقع.
دراسات الاستئصال (Ablation Studies):
- إزالة الرسم البياني المشتت (الاعتماد كلياً على الـ LLM للجدولة) أدى إلى انخفاض حاد في كفاءة الجدولة، خاصة في مهام الروبوتات المتعددة.
- إزالة شجرة العملية (استخدام الأمثلة المباشرة) قلل بشكل كبير من قابلية تنفيذ الكود واسترجاع شروط الهدف.
التحقق الواقعي: تم نشر النظام بنجاح في بيئة واقعية مع ثلاثة روبوتات، حيث أكمل مهمة نقل بتخطيط وتنفيذ صحيحين.

5. الأهمية

سد الفجوة: يجسد IMR-LLM بفعالية الفجوة بين قدرات الاستدلال للنماذج اللغوية الكبيرة والمتطلبات الحتمية الصارمة للأتمتة الصناعية.
الموثوقية: من خلال نقل عبء الجدولة المعقدة إلى حلول حتمية واستخدام أشجار مهيكلة لتوليد الكود، يتجنب النظام "الهلوسة" والخطط غير القابلة للتنفيذ الشائعة في نهج الـ LLM الصرف.
القابلية للتوسع: تسمح طريقة شجرة العملية بالتوسع النمطي؛ حيث يمكن إضافة أنواع عمليات جديدة عن طريق تعديل هيكل الشجرة دون الحاجة لإعادة تدريب النموذج.
القابلية للتطبيق الصناعي: يوفر إنشاء IMR-Bench والنجاح في النشر الواقعي خطوة تأسيسية نحو روبوتات صناعية تعاونية ذاتية القيادة مدعومة بالذكاء الاصطناعي.

ختاماً، يوضح IMR-LLM أن الجمع بين استدلال النماذج اللغوية الكبيرة مع تقنيات التحسين الكلاسيكية والتمثيلات الهيكلية للبيانات هو المسار الأكثر جدوى لنشر أنظمة الروبوتات المتعددة في البيئات الصناعية المعقدة.