LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?
تقدم الورقة البحثية LEGO-Puzzles، وهو معيار لتقييم قدرات الاستدلال المكاني متعدد الخطوات لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs) من خلال مهام أولية وتخطيط التجميع، كاشفةً أن حتى أقوى النماذج لا تزال أداؤها ضعيفاً بشكل ملحوظ مقارنة بالبشر وتكافح للحفاظ على الدقة مع زيادة تعقيد التخطيط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية بناء قلعة معقدة من المكعبات، ولكن لا يمكنك سوى التحدث إليه وعرض صور عليه. هذا هو عالم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). فكر في هذه النماذج كأدمغة رقمية فائقة الذكاء يمكنها قراءة النصوص و"رؤية" الصور، وهي تحاول فهم العالم تماماً كما يفعل البشر. أحد أصعب الأشياء التي يمكن لأي دماغ تعلمها هو الاستدلال المكاني — وهو القدرة على فهم كيفية توافق الأشياء مع بعضها البعض في فضاء ثلاثي الأبعاد، ومعرفة أي مكعب يوضع في الأعلى، وأيها يحتاج إلى تدويره، وكيف يتغير الهيكل بأكامل عند إضافة قطع جديدة. وبينما تتحسن نماذج الذكاء الاصطناتي هذه في الدردشة ووصف الصور، لا يزال العلماء يتساءلون: هل يمكنها حقاً تخطيط تسلسل من الحركات لبناء شيء ما؟ فمن ناحية، من السهل النظر إلى برج مكتمل والقول: "هذا طويل"، ولكن من الصاب تماماً تحديد الـ 5al خطوات الدقيقة لبنائه من الصفر. إذا أردنا من الروبوتات أن تصلح سياراتنا أو تساعدنا في تجميع الأثاث، فيجب عليها إتقان هذا النوع من التفكير المتسلسل خطوة بخطوة.
هنا يأتي دور LEGO-Puzzles، وهو "امتحان" جديد صممه الباحثون لاختبار هذه المهارة تحديداً. بدلاً من استخدام قطع بلاستيكية حقيقية، أنشأ الباحثون ساحة لعب رقمية ضخمة باستخدام تعليمات "ليغو" ليروا مدى قدرة أذكى نماذج الذكاء الاصطناعي في العالم على التعامل مع الألغاز المكانية. لقد قسموا الاختبار إلى مستويين رئيسيين. المستوى الأول، المجموعة الابتدائية (Elementary Set)، يشبه الإحماء؛ حيث يطرح على الذكاء الاصطناعي أسئلة بسيطة حول صورة واحدة: "أي مكعب هو الأطول؟" "هل هاتان القطعتان متلامستان؟" أو "إذا قمت بتدوير هذه القطعة، كيف ستبدو من الجانب؟" هذا يختبر "الفهم المكاني" الأساسي. أما المستوى الثاني، مجموعة التخطيط (Planning Set)، فهو معركة "الوحش الأخير" الحقيقية. هنا، لا يكتفي الذكاء الاصطناعي بالإجابة على الأسئلة فحسب، بل يجب عليه أن يعمل كبناء ماهر؛ حيث يُعطى مجموعة أولية من المكعبات وصورة للهدف النهائي، ويجب عليه إنشاء خطة خطوة بخطوة للوصول إلى هناك. اختبر الباحثون 29 من أكثر نماذج الذكاء الاصطناعي تقدماً، بما في ذلك الأسماء الكبرى مثل GPT-5 وGemini، بل وسألوا خبراء بشريين خوض نفس الاختبار.
كانت النتائج بمثابة "إعادة تقييم للواقع" لعالم الذكاء الاصطناعي. فحتى أقوى النماذج عانت مع الأساسيات. في الأسئلة الابتدائية، تراجعت أفضل نماذج الذكاء الاصطناعي بنسبة 20% على الأقل عن الأداء البشري. فعلى سبيل المثال، عندما طُلب منها الحكم على ارتفاع المكعبات في فضاء ثلاثي الأبعاد، ارتبكت العديد من النماذج، حيث نظرت إلى الصورة ثنائية الأبعاد المسطحة على الشاشة بدلاً من تخيل الشكل ثلاثي الأبعاد الحقيقي. لكن المشكلة ساءت كثيراً كلما طالت المهام؛ فعندما كان على الذكاء الاصطناعي التخطيط لتسلسل من الخطوات باستخدام أسئلة الاختيار من متعدد، بدأت دقة النماذج تنخفض بشكل كبير بمجرد أن تجاوزت الخطة 3 خطوات، لتنخفض إلى أقل من 50%. وبحلول الوقت الذي تطلبت فيه الخطة 8 خطوات، انخفضت دقة أفضل النماذج إلى 0%. في المقابل، حل المشاركون البشريون كل مهام التخطيط بشكل مثالي، بغض النظر عن طول السلسلة.
حاول الباحثون أيضاً شيئاً أكثر صعوبة: وهو مطالبة الذكاء الاصطناعي ليس فقط بوصف الخطوات، بل بـ رسم الصور المتوسطة لعملية البناء فعلياً. أرادوا معرفة ما إذا كان بإمكان الذكاء الاصطناعي تخيل شكل القلعة بعد الخطوة الأولى، ثم الخطوة الثانية، وهكذا. كانت النتائج صارخة؛ فحتى بالنسبة لخطة قصيرة مكونة من 3 خطوات فقط، فشلت النماذج تماماً في إنتاج التسلسل البصري الصحيح. كان بإمكانها أحياناً رسم صورة تبدو مثل قطعة الليغو، لكنها لم تستطع وضعها في المكان الصحيح أو ضبط اتجاهها. وتشير الورقة البحثية إلى أنه نظراً لفشل النماذج الذريع في توليد الصور عند 3 خطوات فقط، لم يقم الباحثون حتى باختبار آفاق زمنية أطول لهذه المهمة المحددة. وهذا يشير إلى أنه بينما تجيد هذه النماذج التعرف على الأنماط، إلا أنها تفتقر إلى القدرة على "تخيل" عواقب أفعالها بمرور الوقت؛ فهي لا تستطيع الاحتفاظ بخريطة ذهنية لعملية البناء في رؤوسها دون أن تفقد التركيز.
باختاً، يكشف اختبار LEGO-Puzzles أنه على الرغم من أن نماذج الذكاء الاصطناعي الحالية مثيرة للإعجاب، إلا أنها لا تزال بعيدة جداً عن امتلاك ذكاء مكاني حقيقي. فهي لا تستطيع التخطيط بشكل موثوق لعملية تجميع متعددة الخطوات، وتفشل فشلاً ذريعاً عندما يُطلب منها تصور الحالات المستقبلية لجسم ما. وتخلص الورقة إلى أن أمامنا طريق طويل قبل أن يتمكن الذكاء الاصطناعي حقاً من فهم العالم المادي بما يكفي لمساعدتنا في بناء الأشياء، أو إصلاح الأشياء المكسورة، أو التنقل في البيئات المعقدة بمفرده. إن الفجوة بين الحدس البشري والحساب الآلي في العالم المادي لا تزال واسعة، وهذا الاختبار الجديد يوفر لنا خريطة واضحة تحدد بالضبط المواضع التي تتعثر فيها النماذج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.