Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents
تقدم هذه الورقة MissionBench، وهو معيار لتقييم قدرات المهام على مستوى المهمة (zero-shot) للنماذج اللغوية الكبيرة متعددة الوسائط في البيئات الجوية ثلاثية الأبعاد، كاشفةً أنه بينما يؤدي التوسع إلى تحسين الأداء، لا تزال النماذج الحالية تتخلف بشكل كبير عن البشر في المهام المتجسدة المعقدة وطويلة الأمد التي تتطلب تخطيطاً متعدد الخطوات واستدلالاً تكيفياً.
المؤلفون الأصليون:Suman Navaratnarajah, Taehyoung Kim, Jona Ruthardt, Ishaan Bhimwal, Ryousuke Yamada, Yannik Blei, Wolfram Burgard, Yuki M Asano
تخيل أنك سلمت للتو روبوتًا جديدًا تمامًا فائق الذكاء خريطة ومهمة: "اذهب وابحث عن تلك السيارة الحمراء وأخبرني برقم لوحتها". أنت تتوقع من الروبوت أن ينطلق بسرعة، ويمسح المشهد ضوئيًا، ثم يعود بالإجابة. لكن هنا تكمن العقبة: هذا الروبوت لم يسبق له أن طار بطائرة بدون طيار (درون) من قبل. لم يتم تعليمه كيفية التحليق في مكان ثابت، أو كيفية تفادي شجرة، أو كيفية قراءة لافتة من منظور عين الطائر. هو يعرف فقط كيف يتحدث وينظر إلى الصور لأنه تدرب على كامل شبكة الإنترنت. هذا هو عالم "النماذج اللغوية الكبيرة متعددة الوسائط" (MLLMs) — وهي عقول ذكاء اصطناعي يمكنها رؤية الصور وقراءة النصوص، وتُطلب الآن التحكم في آلات مادية. السؤال الكبير الذي يطرحه العلماء هو: هل يمكن لهذه "العقول الذكية" العامة أن تكتشف كيفية قيادة طائرة بدون طيار وحل مهمة معقدة بمجرد قراءة جملة واحدة، دون أي تدريب خاص؟ الأمر يشبه سؤال شخص قرأ كل كتاب في مكتبة ليجد نفسه فجأة يقود مركبة فضائية نحو كويكب محدد لمجرد أنه قرأ قصة عنه.
في هذه الورقة البحثية، قرر الباحثون وضع هذه العقول الاصطناعية تحت الاختبار الأقصى. لقد بنوا عالمًا يشبه ألعاب الفيديو يسمى "MissionBench"، وهو في الأساس ملعب تقني ضخم للطائات بدون طيار. داخل هذا الملعب، توجد 120 مهمة مختلفة، تتراوح بين "دورية في هذا الحي" إلى "فحص سفينة تحترق" أو "إسقاط طرد على خيمة". والتحول المثير؟ تُعطى وكلاء الذكاء الاصطناي (طياري الدرون) تعليمات نصية فقط ومنظور كاميرا من وجهة نظر الطائرة. عليهم اكتشاف أين يذهبون، وكيف ينعطفون، وبأي سرعة يطيرون، وماذا يبلغون عند العودة، وكل ذلك بمفردهم. إنها لعبة مغلقة الحلقة: يتحرك الذكاء الاصطناعي، يتغير العالم، يرى الذكاء الاصطناً المنظور الجديد، وعليه أن يقرر ما سيفعله بعد ذلك.
كانت النتائج مزيجًا من "الذهول" و"الإخفاق". اختبر الباحثون 22 نموذجًا مختلفًا من الذكاء الاصطناعي، من النماذج مفتوحة المصدر إلى العمالقة التجارية الأكثر قوة. تمكن أفضل الذكاء الاصطناعي أداءً من النجاح في أقل من 35% من المهام. ولو وضعت ذلك في الاعتبار، فإن طيارًا بشريًا يلعب نفس اللعبة بنفس الضوابط المحدودة نجح في 70% من المرات، ومع التحكم الكامل بلوحة المفاتيح، حقق البشر 84.4%. لذا، بينما لا يعتبر الذكاء الاصطناعي سيئًا، إلا أنه لا يزال يكافح لمواكبة الإنسان. تشير الورقة إلى أن مجرد جعل الذكاء الاصطناعي "أكبر" (بإضافة المزيد من البيانات والمعلمات) يساعد؛ حيث حققت النماذج الأكبر أداءً أفضل بكثير من النماذج الأصغر، مما يشير إلى أن الحجم الخام يمنحهم نوعًا من الحدس "المجسد". ومع ذلك، لا يزال حتى أذكى نماذج الذكاء الاصطناعي يصاب بالارتباك؛ فهو غالبًا ما يصطدم بالأشياء، أو يطير في دوائر، أو يستسلم مبكرًا، ظانًا أنه انتهى بينما لا يزال على بعد أميال من الهدف.
كما درست الدراسة "لماذا" يفشل الذكاء الاصطناعي. اتضح أن كونك جيدًا في رصد جسم في صورة واحدة (مثل العثور على سيارة في صورة) لا يضمن قدرة الذكاء الاصطناعي على الطيران بالدرون نحو تلك السيارة. يحتاج الذكاء الاصطناعي إلى القيام بأكثر من مجرد "الرؤية"؛ يحتاج إلى تخطيط مسار، وتعديل ارتفاعه، وإبقاء الهدف في مجال الرؤية، والتكيف عندما تسوء الأمور. وجد الباحثون أن الذكاء الاصطناعي غالبًا ما يعاني من "الانجراف والتذبذب" — حيث يعلق في حركة ذهاب وإياب مثل عثة مرتبكة — أو "الإنهاء المبكر"، حيث يعلن النصر بعد ثوانٍ قليلة لأنه شعر بالتعب أو الارتباك.
في النهاية، تشير هذه الورقة إلى أنه بينما يتحسن الذكاء الاصطناعي العام في التحكم في الطائرات بدون طيار دون تدريب خاص، إلا أنه ليس مستعدًا بعد للعالم الحقيقي. الفجوة بين ما يمكن للذكاء الاصطناعي فعله وما يمكن للإنسان فعله لا تزال هائلة. يحذر المؤلفون من أنه مع زيادة حجم هذه النماذج وذكائها، قد تصبح أكثر قدرة، لكنها تحمل أيضًا مخاطر إذا تم نشرها في وقت مبكر جدًا. بالنسبة الآن، يعمل "MissionBench" كاختبار للواقع: امتلاك عقل يعرف كل شيء عن العالم لا يعني تلقائيًا أنك تعرف كيفية قيادة طائرة بدون طيار عبره. إن الرحلة من "القراءة عن الطيران" إلى "الطيران الفعلي" لا تزال طويلة.
ملخص تقني: التقييم على مستوى المهمة بنمط (Zero-Shot) للنماذج اللغوية الكبيرة متعددة الوسائط (MLLM) الموجهة للطائرات بدون طيار
بيان المشكلة
تُستخدم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد كأنظمة استدلال للوكلاء المجسدين (Embodied Agents)، حيث تقوم بربط التعليمات باللغة الطبيعية والملاحظات البصرية بالأفعال. ومع ذلك، لا يزال من غير الواضح مدى قدرة النماذج اللغوية الكبيرة متعددة الوسائط العامة والمجمدة (Frozen) على تنفيذ مهام مجسدة معقدة وطويلة الأمد من تعليمات عالية المستوى واحدة دون تكييف خاص بالمهمة. تفشل المعايكات الحالية، مثل الملاحة عبر الرؤية اللغوية (VLN) أو الملاحة عبر الأشياء، في تقييم ما إذا كانت هذه النماذج قادرة على تنسيق الإدراك، والتخطيط، والتحكم، وإعداد التقارير في حلقة مغلقة واحدة. وتوفر البيئات الجوية اختباراً صعباً بشكل خاص نظراً لحساسية زاوية الرؤية، والانفتاح، والحاجة إلى التحكم المستمر في الوضعية، ومع ذلك تركز معظم المعايكات الجوية الحالية على تتبع المسار أو البحث المنعزل عن الأشياء بدلاً من تنفيذ المهمة الكاملة.
المنهجية: MissionBench
لمعالجة هذه الفجوات، قدم المؤلفون MissionBench، وهو معيار مصمم للتقييم على مستوى المهمة للنماذج اللغوية الكبيرة متعددة الوسائط في بيئات جوية ثلاثية الأبعاد.
بناء المعيار
النطاق: يتكون المعيار من 120 مهمة موزعة على خمس بيئات محاكاة عالية الدقة (الحي، المدينة، الغابة، السافانا، وAirSimNH) مبنية على محرك Unreal Engine 5 وCosys-AirSim.
عائلات المهام: تُصنف المهام إلى أربع عائلات تستند إلى عمليات الطائرات بدون طيار في العالم الحقيقي:
إعداد التقارير (Reporting): استخراج المعلومات من الملاحظات (مثل قراءة لوحة ترخيص).
الفحص (Inspection): الوصول إلى تكوين جاهز للملاحظة لرؤية جسم ما (مثل فحص حريق).
المناورة (Manipulation): تنفيذ أفعال فيزيائية مثل تسليم الحمولة أو الهبوط.
الدورية (Patrol): اتباع مسارات على طول الهياكل البيئية.
المدخلات/المخرجات: تبدأ كل مهمة بتعليمات لغة طبيعية واحدة. يتلقى الوكيل صوراً من منظور الشخص الأول (الصورة الحالية وما يصل إلى إطارين سابقين) وسجل الأفعال. يجب عليه إخراج استجابة مهيكلة تتضمن صندوق إحاطة (Bounding Box)، وأثر استدلال (Reasoning Trace)، ولبنة حركة (Action Primitive) مع مقدار مستمر (الاتجاه والمسافة/الزاوية)، وعلامة إتمام المهمة.
التحكم: على عكس الأعمال السابقة التي تستخدم لبنات منفصلة (مثل خطوات ثابتة بطول 3 أمتار)، يتطلب MissionBench من الوكلاء التنبؤ بمقادير حركة مستمرة، مما يسمح باختيار أدق لزاوية الرؤية والتحكم.
التقييم: يقوم إطار عمل الحلقة المغلقة بتقييم الوكلاء باستخدام مقاييس متعددة:
معدل النجاح (SR): إتمام المهمة الخاصة (مثل استخراج النص الصحيح، أو عتبات القرب، أو تداخل المسار لمهام الدورية). p. معدل نجاح الأوراكل (OSR): هل مر الوكيل يوما ما ضمن مسافة عتبة معينة من الهدف، مما يميز بين فشل الملاحة وفشل الإدراك/التقارير.
قام المؤلفون بتقييم 22 نموذجاً من النماذج اللغوية الكبيرة متعددة الوسائط مفتوحة المصدر ومغلقة المصدر في إعداد (Zero-shot) (أي بدون ضبط دقيق خاص بالطيران). شملت النماذج فئات متنوعة من Gemini وGPT وClaude وQwen وInternVL بمختلف أحجامها. كما تم وضع خطوط أساس بشرية باستخدام نفس واجهة النص-الحركة والتحكم المستمر بلوحة المفاتك.
النتائج الرئيسية
فجوة الأداء: حتى أقوى نموذج، Gemini 3.1 Pro، حقق معدل نجاح (SR) قدره 34.8% فقط، وهو أقل بكثير من نسبة 84.4% التي حققها البشر باستخدام التحكم المستمر بلوحة المفاتيح (و70.0% للبشر المقيدين بواجهة النموذج اللغوي الكبير). وهذا يسلط الضوء على صعوبة المهام المجسدة متعددة الخطوات بالنسبة للنماذج العامة الحالية.
اتجاهات التوسع (Scaling): يتحسن الأداء عموماً مع حجم النموذج ضمن العائلات (على سبيل المثال، يتفوق Gemini 3.1 Pro على نسخ Flash؛ ويتفوق Qwen 27B على 2B). يشير هذا إلى أن النماذج العامة الأكبر تمتلك قدرات تجسد (Embodied Capabilities) أقوى بنمط (Zero-shot).
الإدراك مقابل التنفيذ: لم يتم العثور على ارتباط قوي بين الإدراك المكاني للإطار الواحد (تحديد موقع صندوق الإحاطة وتقدير المسافة) وبين النجاح في المهمة النهائية. فالنماذج عالية الأداء في مقاييس الإدراك الوسيطة لم تنجح بالضرورة في المهام، والعكس صحيح. يشير هذا إلى أن نجاح المهمة يتطلب قدرات تتجاوز الإدراك الساكن، بما في ذلك التخطيط متعدد الخطوات والاستدلال التكيفي.
أنماط الفشل: كشف التحليل عن أنماط فشل متميزة:
الإنهاء المبكر: وكلاء يعلنون النجاح بينما هم بعيدون عن الهدف.
الانجراف والتذبذب: وكلاء يستنزفون ميزانية الخطوات عبر الدوران حول المعالم دون التقارب.
الأهداف غير المحققة: وكلاء يصلون إلى محيط الهدف ولكن يفشلون في استخراج المعلومات الصحيحة (OSR مرتفع، SR منخفض).
دراسات الاستئصال (Ablation Studies): أظهرت التجارب على الخيارات التصميمية (درجة الحرارة، الدقة، طول التاريخ، حقول المخرجات) أن نجاح المهمة حساس للغاية لتنسيق المخرجات المهيكلة (خاصة حقل الاستدلال) وللعشوائية المتوسطة (درجة الحرارة)، بينما تساعد الدقة الأعلى في إتمام المهمة النهائية أكثر من مساعدة الملاحة الخشنة.
الأهمية والادعاءات
يزعم البحث أن MissionBench يوفر أول تقييم مشترك للنماذج اللغبية الكبيرة متعددة الوسائط المجمدة والجاهزة للاستخدام عبر عائلات مهام متعددة مع تحكم في وضعية الحركة بمقدار مستمر وإعداد تقارير صريح في إطار حلقة مغلقة.
ويجادل المؤلفون بأن:
الكفاءة على مستوى المهمة متعددة الأوجه: فهي تتطلب تنسيق الإدراك المكاني مع التخطيط متعدد الخطوات والاستدلال التكيفي، وهي قدرات تعاني النماذج اللغبية الكبيرة الحالية في دمجها دون تدريب محدد.
التوسع يقدم الوعد والمخاطرة: بينما يحسن التوسع قدرات التجسد بنمط (Zero-shot)، فإن الفجوة بين أداء المحاكاة والموثوقية في العالم الحقيقي لا تزال قائمة. إن ظهور هذه القدرات في النماذج العامة يثير مخاوف بشأن السلامة وظهور القدرات غير المنضبطة في الأنظمة الحقيقية.
ضرورة التقييم: المهام الوسيطة القياسية (مثل الإدراك الساكن) ليست مؤشرات كافية للتنبؤ بنجاح المهام المجسدة. التقييم في حلقة مغلقة وعلى مستوى المهمة ضروري لتشخيص أنماط فشل محددة مثل عدم استقرار التحكم أو الإنهاء المبكر.
يخلص العمل إلى أنه بينما تظهر النماذج اللغبية الكبيرة متعددة الوسوات إمكانات للذكاء الاصطناي المجسد، إلا أنها ليست جاهزة بعد للنشر الموثوق في المهام الجوية ذات الأهمية المتعلقة بالسلامة دون مزيد من التطوير في مجالات الاستدلال، والتخطيط، وقيود السلامة.