Trace, Verify, and Correct: A Training-Free Framework for Spatial Reasoning in Multimodal LLMs
تقترح هذه الورقة إطار عمل لا يتطلب تدريباً يعزز الاستدلال المكاني في النماذج اللغوية الكبيرة متعددة الوسائط من خلال بناء "رسم بياني للأدلة المكانية" للتحقق من مدى صدق سلاسل الاستدلال مقابل الأدلة البصرية، وتحديد التناقضات، وتوجيه النموذج لتصحيح الأخطاء، مما يحسن الدقة بشكل كبير عبر مختلف الاختبارات المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل حاسوباً يمكنه النظر إلى صورة والإجابة على أسئلة حولها، تماماً كما يفعل المراقب البشري. لقد أصبحت هذه الأنظمة، المعروفة باسم النماذج اللغوية الكبيرة متعددة الوسائط، ماهرة بشكل ملحوظ في وصف المشاهد، وتحديد الأشياء، وحتى حل الألغاز. ومع ذلك، عندما تُسأل عن التفكير في الفضاء — مثل تحديد ما إذا كان جسم ما يقع إلى يسار جسم آخر، أو ما إذا كان الكوب موضوعاً خلف الكتاب — فإنها غالباً ما تتعثر. المشكلة لا تكمن دائماً في عدم قدرة الحاسوب على رؤية الصورة؛ بل في أن عملية التفكير الداخلي للحاسوب، أي المنطق خطوة بخطوة الذي يستخدمه للوصول إلى إجابة، يمكن أن ينحرف عن الواقع المرئي. إذا ارتكب النظام خطأً صغيراً في مرحلة مبكرة من استدلاله، مثل الخطأ في تحديد موقع عنصر واحد، فإن هذا الخطأ يمكن أن يتراكم ككرة الثلج. قد يعامل الحاسوب هذا الملاحظة الخاطئة كحقيقة، ويستخدمها لبناء استنتاجات أخرى، ليصل في النهاية إلى إجابة خاطئة بكل ثقة، رغم أن الصورة تظهر خلاف ذلك بوضوح.
لقد حاول الباحثون لفترة طويلة إصلاح ذلك عبر تعليم هذه النماذج المزيد عن الفضاء أو إضافة طبقات إضافية من البيانات لمساعدتها على الرؤية بشكل أفضل. لكن دراسة جديدة تشير إلى أن الحل الأكثر فعالية لا يكمن في تعليم النموذج حقائق جديدة، بل في التحقق من عمله أثناء حدالوثه. الفريق وراء هذا البحث، بقيادة يانغ يانغ وزملائه، طور طريقة للتحقق من استدلال الحاسوب مقابل الصورة في الوقت الفعلي، دون الحاجة إلى إعادة تدريب النموذج أو تغيير كوده الأساسي. وقد وجدوا أنه عندما يكون تسلسل استدلال النموذج وفياً للأدلة المرئية، فإن إجاباته تكون أكثر دقة بشكل ملحو-ظ. وفي الواقع، في اختبار قياسي للأسئلة الواقعية، نجحت النماذج التي التزمت بالحقائق المرئية في الوصول إلى الإجابة الصحيحة بنسبة 51 بالمائة، بينما نجحت تلك التي انحرفت نحو التخمينات غير المدعومة بنسبة 34 بالمائة فقط.
ولحل مشكلة انحراف المنطق، أنشأ الباحثون إطار عمل يعمل بمثابة محرر صارم لأفكار الحاسوب. فعندما يولد النموذج تسلسلاً من الاستدلال، يقوم النظام بتفكيك هذا النص إلى ادعاءات ذرية صغيرة حول الصورة، مثل "التفاحة موجودة" أو "الوعاء يقع على يمين الطبق". ثم يبني خريطة مهيكلة، يسمونها "رسم بياني للأدلة المكانية"، تربط كل ادعاء من هذه الادعاءات بالجزء المحدد من الصورة الذي يشير إليه. تسمح هذه الخريطة للنظام بتتبع كل عبارة وصولاً إلى مصدرها، مما يضمن عدم بقاء أي قطعة من الاستدلال عائمة في فراغ.
الخطوة التالية هي الأكثر أهمية: التحقق من موثوقية الدليل المرئي الداعم لكل ادعاء. فالنظام لا يثق بشكل أعمى في أدوات الكشف الخاصة به. بدلاً من ذلك، يقيم ما إذا كان الجسم مرئياً بوضوح، وما إذا كان موقعه غير غامض، وما إذا كانت القياسات مثل العمق مستقرة. إذا اكتشف النظام أن جسماً ما مخفي جزئياً أو أن الصورة ضبابية جداً بحيث لا يمكن التأكد، فإنه يصنف ذلك الجزء من الدليل على أنه غير مؤكد بدلاً من فرض قرار ما. وهذا يمنع الحاسوب من إجراء تصحيح واثق بناءً على بيانات مهتزة. ثم يقوم النظام بمسح تسلسل الاستدلال من البداية تماماً للعثور على أول نقطة يتناقض فيها ادعاء ما مع الأدلة المرئية الموثوقة.
بمجرد تحديد هذا الخطأ المبكر، يوجه النظام النموذج لإعادة كتابة استدلاله بدءاً من ذلك الخطأ المحدد. فهو يخبر النموذج: "لقد قلت إن التفاحة كانت على يمين الوعاء، لكن الدليل المرئي يظهر أن التفاحة في الواقع على اليسار. يرجى تصحيح هذه الخطوة وتحديث استنتاجك". ومن خلال إصلاح السبب الجذري للخطأ وإعادة توليد الخطوات اللاحقة، يتجنب النموذج تسلسل الأخطاء الذي كان سيؤدي إلى إجابة خاطئة. هذه العملية تتم بالكامل دون الحاجة لتدريب (training-free)، مما يعني أنها تعمل مع النماذج الحالية دون الحاجة لتعلم مهارات جديدة أو الوصول إلى مجموعات بيانات جديدة.
تم اختبار نتائج هذا النهج عبر خمسة عشر مزيجاً مختلفاً من النماذج ومجموعات البيانات، لتغطي مجموعة واسعة من مهام الاستدلال البصري. وقد حسّن هذا الأسلوب متوسط دقة النماذج إلى ما يقرب من 69 بالمائة، متفوقاً على التقنيات الرائدة السابقة بفارق كبير. والأهم من ذلك، أظهرت الدراسة أن النماذج أصبحت أكثر اتساقاً في استدلالها؛ حيث ارتفحت نسبة خطواتها الوسيطة الوفية للصورة بشكل كبير، مما أثبت أن الطريقة نجحت في منع انتشار الأخطاء. كما وجد الباحثون أن عملية التصحيح القائمة على العملية (process-oriented correction) تعمل بشكل جيد جنباً إلى جنب مع الأساليب الأخرى التي تحاول تعزيز الإدراك المكاني، مما يشير إلى أن التحقق من المنطق لا يقل أهمية عن توفير أدوات أفضل للرؤية.
بينما يعد النظام فعالاً للغاية، إلا أن الباحثين يقرون بحدوده. فهو يمكنه فقط تصحيح الأخطاء المكتوبة صراحة في خطوات استدلال النموذج. فإذا ارتكب النموذج خطأً ظل مخفياً أو ضمنياً داخل معالجته الداخلية، فلا يمكن للنظام العثور عليه لإصلاحه. علاوة على ذلك، أجريت الاختبارات الحالية على صور ثابتة، لذا يبقى من المسأور معرفة مدى قدرة هذا النهج على التعامل مع الفيديو المتحرك أو السيناريوهات المعقدة متعددة الزوايا. ومع ذلك، تقدم الدراسة مساراً واضحاً للمستقبل: من خلال معاملة عملية الاستدلال كشيء يمكن تدقيقه وتصحيحه في الوقت الفعلي، يمكننا جعل هذه الأنظمة الذكية الاصطناعية القوية أكثر موثوقية وجدارة بالثقة، وضمان أن تكون إجاباتها متجذرة في واقع ما تراه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.