Explainable and Resource-Efficient Spatial Reasoning in Multimodal LLMs for Decision-Critical Applications
تقدم هذه الورقة ByDeWay-V2، وهو إطار عمل لا يتطلب تدريباً يعزز الاستدلال المكاني والقابلية للتفسير في النماذج اللغوية الكبيرة متعددة الوسائط للتطبيقات الحرجة في اتخاذ القرار، وذلك من خلال دمج علاقات هندسية ثنائية صريحة وقابلة للقراءة البشرية إلى جانب إشارات العمق، مما يقلل بشكل كبير من الهلوسة ويحسن الأداء في الاختبارات المرجعية المكانية مع العمل بكفاءة ضمن قيود الموارد الصارمة.
تخيل أنك تعلم روبوتًا فائق الذكاء كيف يرى العالم. هذا الروبوت ليس مجرد كاميرا؛ إنه "نموذج لغوي كبير متعدد الوسائط" (أو MLLM اختصارًا)، وهو نوع من الذكاء الاصطناعي يمكنه النظر إلى صورة والتحدث عنها، والإجابة على الأسئلة، وحتى اتخاذ القرارات. فكر فيه كطالب عبقري قرأ كل كتاب في المكتبة ولكنه لم يمشِ قط خارجًا. ولأنه تعلم غالبًا من النصوص، فإنه قد يخطئ أحيانًا في فهم العالم المادي. قد يخبرك بثقة أن قطة تجلس على الطاولة بينما هي في الواقع تحت الطاولة في الصورة. هذا الخطأ يسمى "الهلوسة".
في العالم الحقيقي، يمكن أن تكون هذه الأخطاء خطيرة. إذا كان من المفترض أن يلتقط الروبوت كوبًا دون إسقاطه، أو إذا كان نظام سلامة يحتاج إلى رصد شخص يقف أمام سيارة متحركة، فإن كون الروبوت "صحيحًا نوعًا ما" ليس كافيًا. نحن بحاجة إلى أن يكون الروبوت دقيقًا، والأهم من ذلك، نحتاج إلى معرفة لماذا اتخذ ذلك القرار. هل يمكننا الوثوق به؟ السؤال الكبير الذي يطرحه العلماء هو: كيف نمنع نماذج الذكاء الاصطناعي هذه من اختلاق حقائق عن المساحة والموقع، وكيف نجعل تفكيرها واضحًا بما يكفي ليتمكن البشر من التحقق منه؟
هنا يأتي بحث جديد يقدم حلاً ذكيًا ومنخفض التكلفة يسمى ByDeWay-V2. أدرك الباحثون أن المحاولات السابقة لإصلاح هذه الروبوتات كانت تشبه إعطاءها خريطة ضبابية. فقد عرفوا تقريبًا مدى بعد الأشياء (مثل "قريب"، "متوسط"، أو "بعيد")، لكنهم لم يعرفوا بدقة موقع جسم ما بالنسبة لجسم آخر. الأمر يشبه معرفة أن شخصًا وثلاجة كلاهما في الجزء "الأقرب" من الغرفة، ولكن عدم معرفة ما إذا كان الشخص يقف بجانب الثلاجة أم داخلها.
ولحل هذه المشكلة، بنى الفريق نظامًا يعمل مثل مرشد سياحي فائق التنظيم لعين الروبوت. قبل أن يحاول الروبوت الإجابة على سؤال، يلتقط النظام أولاً صورة سريعة للمشهد ويستخدم أداة متخصصة (تسمى YOLO-World-L) لرسم صناديق غير مرئية حول كل جسم يراه. ثم يقوم ببعض العمليات الحسابية السريعة لتحديد الهندسة الدقيقة: "الكوب يبعد 5 بوصات إلى يسار الكمبيوتر المحمول"، أو "القطة تلمس المزهرية". يحول هذا النظام الحقائق الرياضية إلى جمل بسيطة يمكن للبشر قراءتها ويغذي بها الروبوت مباشرة كـ "ورقة غش".
النتائج مثيرة للإعجاب حقًا. فعندما اختبروا هذه الطريقة الجديدة على نماذج ذكاء اصطناعي مختلفة، كان التحسن دراماتيكيًا. بالنسبة لنموذج أصغر وأخف يسمى BLIP-Base، حول النظام تخمينًا يقترب من العشوائية (بدرجة 0.05) إلى أداء قوي وتنافسي (بدرجة 0.53). وفي اختبار صعب يسمى BLINK، والذي يسأل تحديدًا عن موقع الأشياء بالنسبة لبعضها البعض، ساعد النظام أحد النماذج رفيعة المستوى على تحسين درجته بنسبة 46%. ولعل الأمر الأكثر إثارة للاستخدام في العالم الحقيقي هو أن هذه العملية برمتها لا تتطلب إعادة تدريب الروبوت أو استخدام حواسيب فائقة الضخمة. فالنسخة الأخف من نظامهم يمكنها العمل على معالج كمبيوتر عادي (CPU) باستخدام أقل من 40 كلمة من "الذاكرة" (الرموز/tokens)، مما يثبت أنك لست بحاجة إلى عقل عملاق ليكون لديك فهم واضح وموثوق للمساحة.
باختًا، ByDeWay-V2 لا يجعل الروبوت أكثر ذكاءً فحسب؛ بل يجعله صادقًا أيضًا. فمن خلال تزويده بأدلة صريحة وخطوة بخطوة حول مكان وجود الأشياء، يتوقف الروبوت عن التخمين ويبدأ في شرح منطقه، مما يجعله أكثر أمانًا وموثوقية للوظائف الحرجة التي نريد منه القيام بها.
ملخص تقني: الاستدلال المكاني القابل للتفسير وذو الكفاءة في الموارد في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) للتطبيقات الحرجة في اتخاذ القرار
بيان المشكلة
يتم نشر النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد في خطوط العمل الحرجة لاتخاذ القرار مثل الروبوتات، والذكاء الاصطناعي المتجسد، ومراقبة السلامة. ومع ذلك، فإن موثوقيتها تعوقها تحديان مستمران: الهلوسة البصرية (توليد محتوى غير مرتبط بالمدخلات البصرية) وعجز الاستدلال المكاني (صعوبة تفسير العلاقات الهندسية، والإسقاطية، والطوبولوجية بين الأشياء).
بينما قدم العمل السابق، ByDeWay، أسلوب التلقين القائم على الطبقات والعمق (LDP) للتخفيف من الهلوسة باستخدام تقديرات العمق أحادية العين، إلا أنه يعمل على مستوى إقليمي كلي. يفشل LDP في حل التفاعلات المكانية الدقيقة بين الأشياء الموجودة في نفس المستوى الهندسي (على سبيل المثال، تحديد ما إذا كان جسم ما "يسار" أو "داخل" أو "يلامس" جسماً آخر). هذا القصور يعد أمراً حرجاً في بيئات دعم القرار حيث يتطلب المشغلون مبررات قابلة للتدقيق وقابلة للقراءة من قبل البشر، وليس مجرد مخرجات "الصندوق الأسود". غالباً ما تعمل الطرق الحالية التي لا تتطلب تدريباً على تحسين الدقة دون توفير أدلة وسيطة يمكن فحصها.
المنهجية: ByDeWay-V2
يقترح المؤلفون ByDeWay-V2، وهو إطار عمل كامل لا يتطلب تدريباً يعزز مسار LDP الأصلي من خلال دمج سياق علاقات مكاني صريح. يعمل النظام عبر فرعين متوازيين لمعالجة صورة الإدخال، ودمج مخرجاتهما في تلقين مهيكل للنموذج اللغوي الكبير (MLLM) اللاحق:
فرع الوعي بالعمق (LDP):
يستخدم DepthAnything V2 لتوليد خريطة عمق عكسي ثابتة التباين (affine-invariant).
يقسم المشهد إلى ثلاث طبقات عمق (الأقرب، والمتوسطة، والأبعد) باستخدام عتبات المئويات.
يوظف KOSOMAS-2 لتوليد أوصاف لغوية طبيعية لكل طبقة، مما يوفر تنظيماً ثلاثي الأبعاد خشناً للعمق.
فرع المحلل المكاني (SpatialAnalyser) (وحدة جديدة):
يستخدم YOLO-World-L، وهو كاشف آني مفتوح المفردات، لتحديد وتحديد مواقع جميع الأشياء ذات الصلة في المشهد مع صناديق إحاطة دقيقة.
يحسب الاستدلالات الهندسية الزوجية بين الأشياء المكتشفة، بما في ذلك:
العلاقات الرأسية/الأفقية: بناءً على إحداثيات المركز (مثل "يسار"، "فوق").
الاحتواء والتلامس: يتم حسابه عبر نسب التقاطع فوق الاتحاد (IoU) (مثل "داخل"، "يلامس").
التقارب: بناءً على المسافة الإقليدية المعيارية بين المراكز.
يحل هذه العلاقات بترتيب الأولوية (الاحتواء > التلامس > الرأسي/الأفقي > التقارب) ويحولها إلى محمولات (predicates) قابلة للقراءة من قبل البشر (مثل "الكوب يسار الحاسوب المحمول").
بناء التلقين الهجين:
يجمع التلقين النهائي بين أوصاف طبقات العمق (CLDP)، والمحمولات المكانية الصريحة (CSpatial)، واستعلام المستخدم (Q).
يجسر هذا النهج الفجوة بين عمق المشهد ثلاثي الأبعاد والدلالات المكانية ثنائية الأبعاد بين الأشياء دون الحاجة إلى أي تحديثات للمعلمات (parameters) في النموذج اللغبي الكبير (MLLM).
المساهمات الرئيسية
إطار عمل محسّن: يقدم ByDeWay-V2، وهو امتداد لـ LDP لا يتطلب تدريباً، يدمج وحدة SpatialAnalyser مخصصة لاستخراج العلاقات المكانية الصريحة.
التلقين الهجين: يقدم منهجية تجمع بين تفكيك المشهد الواعي بالعمق الخشن وبين المحمولات الهندسية الزوجية المستمدة من صناديق الإحاطة الدقيقة.
النمطية (Modularity): يظهر نهجاً مستقلاً عن النموذج (model-agnostic) لا يتطلب أي ضبط دقيق (fine-tuning) للنماذج اللغوية الكبيرة متعددة الوسائط اللاحقة.
كفاءة الموارد: تم تصميم الإطار للعمل تحت ميزانيات رموز (tokens) صارمة (على سبيل المثال، حد 40 رمزاً على وحدة المعالجة المركزية لـ ViLT)، مما يجعله مناسباً لبيئات دعم القرار المحدودة الموارد والآنية.
النتائج التجريبية
تم تقييم الإطار على ثلاثة معايير (VSR, BLINK, POPE) عبر ثلاثة نماذج لغوية كبيرة متعددة الوسائط: Qwen2.5-VL-7B، و BLIP-Base، و ViLT-B/32.
المجموعة الفرعية المكانية لـ BLINK: حقق ByDeWay-V2 تحسناً نسبياً بنسبة 46% في درجة F1 مقارنة بـ LDP لنموذج Qwen2.5-VL (مرتفعاً من 0.496 إلى 0.727). يستهدف هذا المعيار تحديداً الاستعلامات الدقيقة بين الأشياء ("هل الشيء A يسار الشيء B؟")، حيث توفر المحمولات الصريحة دليلاً مباشراً.
معيار VSR: بالنسبة لنموذج BLIP-Base الخفيف، استعاد إضافة السياق المكاني الأداء من المستويات القريبة من العشوائية (F1 0.053) إلى F1 تنافسي قدره 0.525. وبالنسبة لـ ViLT-B/32، أدى استبدال أوصاف العمء المطولة بمحمولات مكانية مدمجة إلى زيادة الدقة من 0.549 إلى 0.575، مما يثبت كفاءة الرموز (tokens).
معيار POPE (تقليل الهلوسة): حسن ByDeWay-V2 باستمرار مقاومة الهلوسة. شهد BLIP-Base ارتفاعاً في الدقة الإجمالية من 86.00% (LDP) إلى 90.67% (LDP+Spatial)، مع زيادة في F1 من 0.873 إلى 0.919.
التحليل لكل فئة: لوحظت أكبر المكاسب في علاقات التقارب والإسقاط (مثل "قريب من"، "يسار")، حيث تحسنت درجات F1 لـ BLIP-Base بأكثر من +0.50، مما يؤكد أن التأسيس الهندسي يرسخ أحكام النماذج اللغوية الكبيرة بشكل فعال.
الأهمية والادعاءات
يزعم البحث أن ByDeWay-V2 يعالج بنجاح "فجوة الاستدلال المكاني" حيث تفشل الطرق المعتمدة على العمق فقط في حل التفاعلات الدقيقة بين الأشياء. من خلال حقن محمولات مكانية صريحة وقابلة للتدقيق، لا يحسن الإطار الدقة فحسب، بل يوفر أيضاً القابلية للتفسير المطلوبة للتطبيقات الحرجة في اتخاذ القرار.
يؤكد المؤلفون أن هذا النهج فعال بشكل خاص للنماذج المدمجة التي تعمل تحت قيود حوسبية صارمة. وبينما يشيرون إلى وجود مقايضة بين الدقة والاستدعاء (precision-recall trade-off) في Qwen2.5-VL (يُعزى ذلك إلى تجاوز تعليمات "الرؤية أولاً" للسياق)، فإن النتائج تؤكد أن التأسيس الهندسي الصريح يقلل الهلوسة بشكل موثوق ويحسن الاستدلال المكاني دون الحاجة إلى بيانات تدريب مكلفة أو تحديث للمعلمات. يضع هذا العمل نفسه كحل عملي وفوري لتعزيز موثوقية النماذج اللغبية الكبيرة متعددة الوسائط في المجالات الحرجة للسلامة.