← أحدث الأبحاث
🤖 AI

Rule-Compliant Visual Spatial Planning for Multimodal Large Language Models

تقدم هذه الورقة RuleMaze، وهو معيار قابل للتحكم لتقييم التخطيط البصري المكاني المتوافق مع القواعد في النماذج اللغوية الكبيرة متعددة الوسائط، إلى جانب إطار عمل هجين لتوليد القواعد وطريقة التخطيط متعدد الوسائط المنفصل (DMP) التي تحسن بشكل كبير من الالتزام بالقواعد والتعميم من خلال فصل الإدراك والتنفيذ والتحقق.

المؤلفون الأصليون: Yu Chen, Ting Lei, Yaoyi Li, Jia Cai, Zhecen Wu, Yang Liu

نُشر 2026-08-21
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Yu Chen, Ting Lei, Yaoyi Li, Jia Cai, Zhecen Wu, Yang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يستطيع فيه الحاسوب النظر إلى صورة لا ليفهم فقط ما بداخلها، بل كيف يتحرك من خلالها. هذا هو الوعد الذي تقدمه النماذج اللغوية الكبيرة متعددة الوسائط، وهي جيل جديد من الذكاء الاصطناعي يجمع بين القدرة على القراءة والاستنتاج والقدرة على الرؤية. لقد تعلمت هذه الأنظمة بالفعل وصف الصور، والإجابة عن أسئلة حول الصور الفوتوغرافية، وحل الألغاز البصرية. ولكن هناك فجوة في معرفتها؛ فبينما يمكنها التنقل في مسار بسيط، فإنها تواجه صعوبة عندما يكون المسار مسدوداً بمجموعة محددة من التعليمات التي تتغير من لحظة إلى أخرى. في العالم الحقيقي، يجب على مركبة ذاتية القيادة أو روبوت مساعد ألا يجد طريقاً من النقطة (أ) إلى النقطة (ب) فحسب، بل يجب عليه أيضاً الالتزام بمجموعة متغيرة باستمرار من القواعد، مثل "لا تنعطف يساراً عند الإشارة الحمراء" أو "تجنب الأرضية المبللة". وغالباً ما تفشل النماذج الحالية هنا، حيث تتعامل مع القواعد كاقتراحات بدلاً من كونها قيوداً صارمة، أو تنساها تماماً أثناء تخطيطها لخطوتها التالية.

ولفهم سبب صعوبة ذلك، أنشأ الباحث يو تشن وفريقه في جامعة بكين وشركة "يين وانغ" للتقنيات الذكية بيئة اختبار جديدة تسمى "RuleMaze" (متاهة القواعد). لقد بنوا بيئة رقمية مليئة بالمتاهات، لكنها لم تكن مجرد ألغاز من الجدران والمساحات المفتوحة؛ بل جاءت كل متاهة مع مجموعة فريدة من القواعد باللغة الطبيعية، مكتوبة بلغة إنجليزية بسيطة، والتي تحدد بدقة كيفية تحرك الشخصية. كانت بعض القواعد بسيطة، مثل "لا يمكنك الخطو على المربعات الوردية". وكانت بعضها الآخر معقدة، تتطلب من الشخصية تذكر أين كانت أو تغيير سلوكها بناءً على موقعها الحالي، مثل "إذا كنت تقف على مربع برتقالي، يجب أن تكون خطوتك التالية للأعلى". وقد قام الباحثون بتوليد آلاف من هذه السيناريوهات باستخدام طريقة تحول القواعد المكتوبة بشرياً تلقائياً إلى منطق صارم يمكن للآلة التحقق منه. وقد سمح هذا باختبار ما إذا كان بإمكان الذكاء الاصطناعي فهم واتباع قاعدة ما حقاً أثناء التنقل في مساحة بصرية، بدلاً من مجرد التخمين للمسار الصحيح بناءً على الأنماط التي رآها من قبل.

اكتشف الفريق أن مجرد مطالبة نموذج قوي بالنظر إلى المتاهة وكتابة قائمة بالتحركات لا يعمل بشكل جيد، خاصة عندما تكون القواعد جديدة أو معقدة. فعندما تتغير القواعد، غالباً ما تنسى النماذج التعليمات أو تنتهكها دون أن تدرك ذلك. ولحل هذه المشكلة، اقترح الباحثون طريقة جديدة للتفكير تسمى "التخطيط متعدد الوسائط المنفصل" (Disentangled Multimodal Planning). وبدلاً من إجبار النموذج على القيام بكل شيء في آن واحد —رؤية الصورة، والتفكير في القواعد، واتخاذ الخطوة التالية كلها في خطوة واحدة— قاموا بتقسيم المهمة إلى ثلاث وظائف منفصلة وواضحة. أولاً، يستخدم النموذج أداة للنظر في المتاهة وتحديد مكان وجوده والرموز الخاصة القريبة منه. ثانياً، يستخدم أداة لتجربة حركة ما ورؤية كيف سيبدو الشكل الجديد. ثالثاً، والأهم من ذلك، يستخدم أداة مخصصة للتحقق مما إذا كانت الحركة التي قام بها للتو تتبع القواعد. تعمل أداة التحقق هذه كحكم صارم يقول "نعم" أو "لا" فوراً لكل خطوة قبل أن يُسمح للنموذج بالاستمرار.

لقد غير هذا النهج النتيجة بشكل دراماتيكي. ففي اختباراتهم، سمحت الطريقة الجديدة للنماذج باتباع القواعد بنسبة نجاح بلغت 90 بالمائة في مهام لم يسبق لها رؤيتها، وهو تحسن هائل مقارنة بالطرق السابقة التي كانت تفشل تماماً أمام القواعد الجديدة. ووجد الباحثون أنه عندما أُجبر النموذج على مراجعة عمله عند كل خطوة، توقف عن ارتكاب أنواع الأخطاء التي تحدث عندما يحاول النظام التخطيط لرحلة كاملة في ذهنه دون التحقق من كل خطوة. تعلم النموذج أن يتوقف، وينظر إلى القاعدة، ويتحقق من الحركة، ثم يمضي قدماً فقط. وقد نجح هذا حتى عندما كانت القواعد صعبة، وتتضمن شروطاً متعددة أو تتطلب من النموذج تذكر الأشياء التي التقطها في طريقه. تشير الدراسة إلى أنه لكي يكون الذكاء الاصطناعي موثوقاً حقاً في البيئات المعقدة المقيدة بالقواعد، لا يمكنه أن يكون مجرد "مخمن ذكي"؛ بل يجب تزويده بنظام يجبره على التحقق من أفعاله مقابل القيود التي يواجهها في العالم الذي يتنقل فيه. ومن خلال فصل فعل الرؤية، وفعل الحركة، وفعل التحقق، أظهر الباحثون أن الآلات يمكنها تعلم اتباع التعليمات بمستوى من الانضباط كان بعيد المنال سابقاً.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →