💻 computer science

Vision-aligned Latent Reasoning for Multi-modal Large Language Model

تقدم الورقة البحثية إطار عمل "الاستدلال الكامن المتوافق مع الرؤية" (VaLR)، الذي يعزز قدرات الاستدلال في سياق النصوص الطويلة للنماذج اللغوية الكبيرة متعددة الوسائط من خلال التوليد الديناميكي لرموز كامنة متوافقة بصرياً للحفاظ على المعلومات المرئية، مما يحقق مكاسب كبيرة في الأداء وتوسعاً في وقت الاختبار على معايير مثل VSI-Bench.

المؤلفون الأصليون: Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "الاستدلال الكامن المتوافق مع الرؤية للنماذج اللغوية الكبيرة متعددة الوسائط" (VaLR)، مقسمة إلى مفاهيم بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: "الذاكرة الباهتة" للذكاء الاصطناعي

تخيل أنك تنظر إلى مخطط معقد (مثل مخطط هندسي أو خريطة) وشخص ما يسألك سؤالاً طويلاً ومعقداً حوله. تبدأ بالإجابة: "أولاً، أرى الباب هنا..." وبينما تستمر في الحديث، يتعين عليك الاحتفاظ بصورة المخطط في ذهنك.

المشكلة في نماذج الذكاء الاصطناي الحالية (التي تسمى النماذج اللغوية الكبيرة متعددة الوسائط، أو MLLMs) هي أنه بينما يكتب النموذج إجابة طويلة، تبدأ "الصورة" في ذهنه بالبهتان. الأمر يشبه محاولة تذكر صورة بينما تقرأ كتاباً طويلاً؛ فبحلول الوقت الذي تصل فيه إلى الصفحة الأخيرة، تكون قد نسيت كيف كان شكل الصورة.

بسبب هذه "الذاكرة الباهتة"، تعاني هذه النماذج من مهام تتطلب خطوات كثيرة من التفكير (الاستدلال) أثناء النظر إلى صورة. غالباً ما يفقدون المسار، أو يتخيلون تفاصيل غير موجودة (هلوسة)، أو يتجاهلون الجزء المرئي من السؤال.

الحل: VaLR (الاستدلال الكامن المتوافق مع الرؤية)

ابتكر المؤلفون طريقة جديدة تسمى VaLR. فكر في VaLR كأنها تمنح الذكاء الاصطناعي نظام "نقاط تفتيش بصرية".

بدلاً من مجرد التفكير بالكلمات، يتم تدريب الذكاء الاصطناعي على التوقف عند كل خطوة من خطوات استدلاله وأخذ "لقطة ذهنية سريعة" للصورة. هذه اللقطات ليست نصوصاً مرئية؛ بل هي "رموز كامنة" مخفية (ملاحظات ذهنية غير مرئية) تحافظ على حداثة الصورة في ذهن الذكاء الاصطناائي.

كيف يعمل: تشبيه "المدرب والرياضي"

لفهم كيفية تدريب الذكاء الاصطناعي على القيام بذلك، تخيل مدرباً ورياضياً:

الرياضي (الذكاء الاصطناعي): هذا هو نموذج الذكاء الاصطناعي الرئيسي الذي يجيب على الأسئلة.
المدرب (مشفر الرؤية): هذا خبير منفصل، عالي المهارة، متخصص فقط في النظر إلى الصور وفهم كل تفصيل صغير فيها (مثل مصور فوتوغرافي فائق الدقة).

عملية التدريب:

الخطوة 1 (الإحماء): أولاً، يعلمون الرياضي كيفية حل المشكلات خطوة بخطوة باستخدام الكلمات (سلسلة الأفكب - Chain-of-Thought).
الخطوة 2 (المواءمة): الآن، يقدمون "نقاط التفتيش البصرية". في كل مرة يتوقف فيها الرياضي للتفكير، يتدخل المدرب. ينظر المدرب إلى الصورة ويقول: "مهلاً، انظر إلى هذا الجزء المحدد من الصورة".
الهدف: يحاول الرياضي مطابقة "ملاحظته الذهنية" الداخلية (الرمز الكامن) مع وصف المدرب. لا يُسمح للرياضي بمجرد التخمين؛ بل يجب عليه مواءمة تفكيره مع ما يراه المدرب.

هذه العملية تجبر الذكاء الاصطناعي على إبقاء "ملاحظاته الذهنية" متوافقة تماماً مع الصورة الفعلية، مما يمنع المعلومات المرئية من التلاشي مع طول الإجابة.

لماذا هو مميز: "توسع وقت الاختبار"

عادةً، عندما تحاول نماذج الذكاء الاصطناعي التفكير لفترة أطول وبجهد أكبر، فإنها تسوء في المهام المرئية لأنها تنسى الصورة.

تزعم الورقة أن VaLR هو الأول الذي يظهر "توسع وقت الاختبار" (Test-Time Scaling).

الطريقة القديمة: كلما فكر الذكاء الاصطناعي لفترة أطول، نسي الصورة أكثر، وساء أداؤه.
طريقة VaLR: كلما فكر الذكاء الاصطناعي لفترة أطول، أصبح أفضل. لأنه يستمر في أخذ تلك "النقاط التفتيشية البصرية" (الرموز الكامنة) المتوافقة مع الصورة، يمكنه الاستدلال لفترة طويلة جداً دون فقدان السياق المرئي. إنه يشبه المحقق الذي يعيد قراءة صورة مسرح الجريمة في كل مرة يكتب فيها دليلاً جديداً في دفتر ملاحظاته، مما يضمن عدم فقدان مسار الأدلة أبداً.

النتائج: الفوز في لعبة "الاستدلال المكاني"

اختبر المؤلفون هذا على معيار يسمى VSI-Bench، وهو بمثابة امتحان صعب للاستدلال المكاني ثلاثي الأبعاد (فهم كيفية ترتيب الأشياء في الفضاء).

قبل VaVR: حصل نموذج الذكاء الاصطناعي الأساسي على حوالي 33% من الإجابات الصحيحة.
مع VaLR: حصل الذكاء الاصطناعي على 52.9% من الإجابات الصحيحة.

هذه قفزة هائلة. تظهر الورقة أنه باستخدام نظام "نقاط التفتيش البصرية" هذا، يمكن للذكاء الاصطناعي التعامل مع الأسئلة المرئية المعقدة ومتعددة الخطوات بشكل أفضل بكثير من ذي قبل، ولا يهم إذا كان السؤال يتطلب إجابة قصيرة أو شرحاً طويلاً ومفصلاً.

الملخص

باختصار، تقدم الورقة طريقة لمنع نماذج الذكاء الاصطناعي من "نسيان" الصورة أثناء التفكير. من خلال إجبار الذكاء الاصطناعي على مواءمة أفكاره الخفية باستمرار مع الصورة الفعلية باستخدام "مدرب" (مشفر الرؤية)، يمكن للذكاء الاصطناعي حل الألغاز المرئية الأكثر صعوبة وطولاً دون أن يفقد طريقه.

ملخص تقني: الاستدلال الكامن المتوافق مع الرؤية للنماذج اللغوية الكبيرة متعددة الوسائط

1. بيان المشكلة

على الرغم من التقدم الكبير في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) لمهام مثل وصف الصور والإجابة على الأسئلة البصرية (VQA)، إلا أن هذه النماذج تعاني في المسائل التي تتطلب استدلالاً مكثفاً متعدد الخطوات. العائق الأساسي هو التخفيف التدريجي للمعلومات البصرية أثناء توليد السياق الطويل. فكلما طال تسلسل النص المولد، تضعف قدرة النموذج على الاحتفاظ بالإشارات البصرية واستغلالها، مما يعيق تطبيق قوانين التوسع (scaling laws) الملحوظة في نماذج اللغة الصرفة أثناء وقت الاختبار.

تعتمد الأساليب الحالية لتعزيز الاستدلال غالباً على:

الأساليب المتمحورة حول النص: الضبط الدقيق الخاضع للإشراف (SFT) أو التعلم المعزز الذي يركز على سلاسل التفكير (CoT) اللغوية، لكنه يعاني من تلاشي الإشارة البصرية عبر التسلسلات الطويلة.
إعادة إدخال بصري ثابت: دمج الرموز البصرية (tokens) أو توليد الصور. ومع ذلك، تتعامل هذه الأساليب عادةً مع الميزات البصرية كـسياق أولي ثابت أو تعتمد على ميزات أحادية الرؤية ثابتة، مما يؤدي إلى فقدان تدريجي للسياق البصري مع تقدم عملية الاستدلال.

2. المنهجية: الاستدلال الكامن المتوافق مع الرؤية (VaLR)

يقترح المؤلفون الاستدلال الكامن المتوافق مع الرؤية (VaLR)، وهو إطار عمل مصمم لتوليد رموز كامنة متوافقة مع الرؤية ديناميكياً قبل كل خطوة استدلال. يخلق هذا النهج "نقاط تفتيش بصرية" تربط عملية الاستدلال بالدلالات الإدراكية داخل الفضاء الكامن، مما يمنع تدهور المعلومات البصرية.

الآلية الجوهرية

يعمل VaLR من خلال التناوب بين نمطين أثناء الاستدلال:

نمط اللغة: توليد رموز نصية قياسية للاستجابة.
النمط الكامن: توليد "رموز استدلال كامنة" غير نصية، لا تكون مرئية بشكل مباشر ولكنها تعمل كخطوات استدلال وسيطة.

من الضروري ملاحظة أنه خلال النمط الكامن، يتم تدريب النموذج على محاذاة حالاته الخفية الوسيطة مع التمثيلات البصرية الكثيفة المستخرجة من مشفرات رؤية خارجية مدربة مسبقاً (مثل DINOv2/v3، وCLIP، وSigLIP، و $\pi^3$ ).

مسار التدريب

يستخدم VaLR استراتيجية تعلم منهجي مكونة من مرحلتين:

المرحلة 1 (SFT القياسي): يتم ضبط النموذج بدقة على مجموعات بيانات CoT VQA العامة لتأسيس قدرات الاستدلال متعدد الوسائط الأساسية. يتم تجميد مشفر الرؤية، ويتم تدريب العمود الفقي اللغوي فقط.
المرحلة 2 (تدريب الرموز الكامنة باستخدام REPA): يتم تدريب النموذج على إدراج $K$ $K$ من الرموز الكامنة قبل كل خطوة استدلال لغوي. تم تقديم خسارة محاذاة التمثيل (REPA) لمحاذاة الميزات الوسيطة لـ MLLM مع الميزات من مشفرات الرؤية الخارجية.
- هدف المحاذاة: تعمل دالة الخسارة على تعظيم تشابه جيب التمام (cosine similarity) بين الميزات الوسيطة المسقطة لـ MLLM والميزات البصرية المعتمدة على الرقع (patch-wise) المستخرجة من إطار الصورة المقابل بواسطة مشفر الرؤية.
- المحاذاة متعددة المشفرات: يدعم الإطار المحاذاة مع عدة مشفرات رؤية في آن واحد لالتقاط نقاط القوة المتكاملة (مثل الفهم الدلالي من CLIP، والمظهر الدقيق من DINO، والبنية المكانية ثلاثية الأبعاد من $\pi^3$ ).

ومن الجدير بالذكر أن مشفرات الرؤية الخارجية تُستخدم فقط أثناء التدريب. في وقت الاختبار، يعتمد النموذج على التأسيس البصري المتعلم داخل رموزه الكامنة دون الحاجة إلى المشفرات الخارجية.

3. المساهمات الرئيسية

التأسيس البصري الديناميكي: على عكس الأساليب التي تستخدم ميزات بصرية ثابتة، يقوم VaLR بتخصيص التفاصيل البصرية ديناميكياً عند كل مرحلة استدلال، مما يضمن الحفاظ على المعلومات طوال عملية الاستدلال طويل السياق.
التوسع في وقت الاختبار: يتيح الإطار للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) إظهار سلوك التوسع في وقت الاختبار، حيث يتحسن الأداء مع زيادة سلاسل الاستدلال، وهي ظاهرة لم تكن ملحوظة سابقاً في MLLMs بسبب تلاشي الإشارة البصرية.
تصميم مستقل عن النموذج: يمكن تكييف VaLR مع مختلف مشفرات الرؤية (DINO, SigLIP, CLIP, $\pi^3$ ) ويعمل بفعالية حتى مع مشفرات الرؤية المستقلة للنموذج الأصلي.
منهج تعليمي مرحلي: مسار تدريب مهيكل يؤسس أولاً قدرات الاستدلال ثم يصقلها بالمحاذاة البصرية، مما يسهل الفهم القوي طويل السياق.

4. النتال تجريبية

أُجريت تقييمات واسعة النطاق على عدة معايير، بما في ذلك VSI-Bench (الاستدلال المكاني ثلاثي الأبعاد)، وBLINK، وMMVP، وMMStar، وMathVista.

الاستدلال طويل السياق (VSI-Bench): تفوق VaLR بشكل كبير على النماذج المرجعية الحالية. وتحديداً، في VSI-Bench، رفع VaLR دقة النموذج الأساسي Qwen2.5-VL من 33.0% إلى 52.9%، بزيادة قدرها 19.9 نقطة مئوية. كما تفوق على نماذج استدلال قوية مثل R1-OneVision وOcean-R1.
مهام الإدراك: أظهر VaLR أداءً فائقاً في معايير الإدراك (BLINK, MMVP, V*)، محققاً نتائج هي الأفضل بين النماذج المفتوحة ومتفوقاً على نماذج واجهة برمجة التطبيقات (API) مثل GPT-4o في تكوينات محددة.
تحليل طول الاستدلال: على عكس النماذج المرجعية التي تصل إلى ذروتها عند أطوال استدلال متوسطة ثم تتدهور (حيث تزداد معدلات الهلوسة)، أظهر Va-LR تحسناً رتيباً في الأداء مع زيادة طول الاستدلال، مما يؤكد قدرته على الحفاظ على التأسيس البصري عبر السلاسل الممتدة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة مكون محاذاة التمثيل (REPA) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة المحاذاة البصرية.
- استخدام مشفرات متعددة (VaLR-M) أدى إلى تأثيرات تآزرية، خاصة في المهام المكانية ثلاثية الأبعاد، مقارنة بنسخ المشفر الواحد.
- أظهرت الطريقة قابلية عالية للتوسع في البيانات، حيث حققت أداءً مماثلاً لنماذج SFT التقليدية بعدد أقل بكثير من عينات التدريب (تقارب أسرع).

5. الأهمية والادعاءات

يزعم البحث أن VaLR يعالج قصوراً حرجاً في النماذج اللغوية الكبيرة متعددة الوسائط الحالية: عدم القدرة على الحفاظ على السياق البصري أثناء الاستدلال المعقد متعدد الخطوات. ومن خلال حقن رموز كامنة متوافقة مع الرؤية، يقلل هذا النهج بفعالية من تخفيف الإشارات البصرية، مما يتيح تخطيطاً واستدلالاً قوياً طويل الأمد.

يؤكد المؤلفون أن هذا العمل يسهل نشر MLLMs في التطبيقات المعقدة التي تتطلب فهماً طويل السياق، مثل وكلاء استخدام الكمبيوتر (CUA) ونماذج الرؤية-اللغة-الفعل (VLA). إن القدرة على تحقيق توسع حقيقي في وقت الاختبار في المجال متعدد الوسائط تفتح مساراً نحو وكلاء ذاتي التشغيل أكثر موثوقية وقدرة، يمكنهم الاستدلال عبر تسلسلات ممتدة دون فقدان الرؤية للبيئة البصرية.