ملخص تقني: UniVLR

بيان المشكلة

يُتوقع من النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد أن "تفكر بالصور"، لا سيما في السيناريوهات التي تعتمد بكثافة على الإدراك مثل حل المسائل الهندسية والفهم البصري عالي الدقة. تندرج النهج الحالية للتفكير البصري عموماً تحت فئتين، وكلاهما يعاني من قيود:

1. التفكير البصري القائم على الأدوات: تدمج هذه الأساليب سلسلة التفكير النصية (CoT) الصريحة مع صور مساعدة يتم إنشاؤها خارجياً (مثل عمليات القص أو الرسومات التخطيطية). ورغم فعاليتها، إلا أن هذا النموذج يعاني من جمود الأدوات المحددة مسبقاً، وزمن الاستجابة الناتج عن الاستدعاءات الخارجية، وعدم استقرار الصور المولدة.
2. التفكير البásico في الفضاء الكامن البصري الحالي: لتجنب الأدوات الخارجية، تولد الأساليب الحديثة رموزاً بصرية كامنة (latent visual tokens) بشكل تلقائي (autoregressively). ومع ذلك، لا تزال معظم الأساليب الحالية تتبنى تصميماً متداخلاً، حيث تتناوب بين سلسلة التفكير النصية الصريحة والرموز البصرية الكامنة. وقد حدد المؤلفون عيبين حرجين في هذا التصميم:
   • عدم الكفاءة: يتطلب النموذج المتداخل أجزاء نصية صريحة كاملة بين الخطوات البصرية الكامنة، مما يفشل في تقليل تكاليف التوليد بشكل جوهري مقارنة بسلسلة التفكير النصية القياسية.
   • تشتت الانتباه: نظرًا لأن النصوص والرموز الكامنة تظهر في أشكال غير متجانسة، فإن النماذج غالباً ما تعتمد على الرموز النصية القريبة بينما تفشل في الانتباه باستمرار إلى الصور المساعدة السابقة. ويظهر التحليل أن رموز (CoT) اللاحقة تظهر انتباهاً متفرقاً ومشتتاً للصور المساعدة، مما يعني أن الأدلة البصرية لا يتم دمجها بالكامل في عملية التفكير.

السؤال الجوهري المطروح هو: هل يجب أن تظل سلسلة التفكير النصي الصريح قناة تفكير منفصلة، أم يمكن تصويرها وتنظيمها داخل مساحة عمل إدراكية مشتركة جنباً إلى جنب مع الصور المساعدة؟

المنهجية: UniVLR

يقترح المؤلفون UniVLR (التفكير الكامن البصري الموحد)، وهو إطار عمل يعامل التفكير النصي والأدلة البصرية المساعدة كفضاء عمل بصري مشترك. بدلاً من الحفاظ على سلسلة التفكير النصي (CoT) كمسار استدلال مستقل، يقوم UniVLR بتصوير مسارات التفكير والصور المساعدة في "لوحة بصرية موحدة" (unified visual canvas)، ثم يضغط هذا التمثيل إلى رموز بصرية كامنة مدمجة، ويتفكر حصرياً من خلال هذه الرموز أثناء الاستدلال.

1. تصوير اللوحة البصرية الموحدة

يقوم UniVLR بتحويل مسارات التفكير غير المتجانسة إلى تمثيل بصري واحد باستخدام دالة تصوير $\Phi(\cdot)$:

• البناء: بالنسبة لنموذج تدريبي يحتوي على استدلال نصي $R$ وصور مساعدة $U$، تقوم الدالة بتركيبها في لوحة موحدة $c = \Phi(R, U)$.
• التصوير التكيفي: يطبق النظام استراتيجيات خفيفة لضمان الإيجاز والقابلية للقراءة. يتم تصوير النص بأحجام خطوط وتفاف (wrapping) تكيفي، بينما يتم تغيير حجم الصور المساعدة وإبرازها بعلامات بصرية (مثل الصناديق والأسهم).
• استخراج الهدف: تتم معالجة اللوحة الموحدة بواسطة مشفر الرؤية الخاص بالنموذج الأساسي لاستخراج خريطة سمات ثنائية الأبعاد. بعد ذلك، يتم تجميع هذه الخريطة تكيفياً (باستخدام تجميع ثنائي الأبعاد مراعٍ للنسب) إلى تسلسل ثابت الطول من الأهداف الكامنة $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$.

2. المحاذاة الكامنة على مرحلتين

يتم تدريب النموذج عبر منهج تعليمي من مرحلتين لمحاذاة حالاته الداخلية مع هذه التمثيلات البصرية الموحدة:

• المرحلة الأولى: التجذر البصري الكامن (Visual Latent Grounding): يتم تدريب النموذج على توليد رموز كامنة مستمرة بشكل تلقائي باستخدام الصور البصرية المساعدة فقط كأهداف للمحاذاة. يؤسس هذا واجهة تفكير مستمرة أساسية بين النموذج (MLLM) وفضاء التضمين البصري.
• المرحلة الثانية: المحاذاة الموحدة بين النص والرؤية: يتم ضبط النموذج بدقة باستخدام أهداف اللوحة الموحدة (التي تحتوي على كل من النص المصور والصور المساعدة). تعلم هذه المرحلة النموذج تمثيل مسارات التفكير الصريحة والأدلة البصرية من خلال نفس القناة البصرية الكامنة.
• الهدف: يجمع هدف التدريب بين نمذجة اللغة القياسية (للإجابة النهائية ورموز التحكم) وفقدان الانحدار الطبيعي ($L_{align}$) الذي يحاذي الرموز الكامنة المتوقعة مع التضمينات البصرية المستهدفة. يتضمن الفقد كلاً من خطأ متوسط المربعات (MSE) وتشابه جيب التمام (cosine similarity).

3. الاستدلال التلقائي المستمر

في وقت الاستدلال، يتم التخلص من دالة التصوير، ومشفر الرؤية، وأهداف المعلم. يعمل النموذج كما يلي:

1. يستقبل المطالبة متعددة الوسائط الأصلية $(Q, I)$.
2. عند توليد رمز <|univlr_start|>، ينتقل إلى وضع التفكير الكامن.
3. يقوم بتوليد $K$ من الرموز البصرية الكامنة المستمرة بشكل تلقائي، حيث يتم تغذية كل رمز متوقع كمدخل للخطوة التالية.
4. عند توليد <|univlr_end|>، يعود إلى المفردات المنفصلة لفك تشفير الإجابة النهائية باللغة الطبيعية.
   الأمر الحاسم هو أنه لا يتم توليد أي سلسلة تفكير نصي (CoT) وسيطة صريحة أثناء مرحلة التفكير.

المساهمات الرئيسية

1. النموذج الموحد: يقدم UniVLR نموذجاً حيث يتم توحيد التفكير النصي والأدلة البصرية المساعدة في قناة كامنة بصرية واحدة، مما يلغي الحاجة إلى تداخل النصوص والرموز الكامنة.
2. الكفاءة: من خلال إزالة توليد النص الصريح أثناء التفكير، يقلل UniVLR بشكل كبير من عدد الرموز المولدة مع الحفاظ على دقة التفكير أو تحسينها.
3. تحسين الانتباه: يحفز التصميم الموحد انتباهاً أكثر كثافة وتركيزاً على الصور المساعدة مقارنة بالتصاميم المتداخلة، حيث يعالج النموذج جميع أدلة التفكير عبر المسار البصري نفسه.
4. التدريب على مرحلتين: يوفر المنهج المقترح (التجذر يليه التوحيد) استقراراً في تعلم التفكير الكامن المستمر، مما يمنع انهيار التمثيل.

النتائج التجريبية

أُجريت التجارب على معايمات الإدراك والتفكير الواقعية (V*, HRBench4K/8K, MME-RealWorld-Lite) باستخدام Qwen2.5-VL-7B كنموذج أساسي.

• الأداء: يتفوق UniVLR على طرق التفكير الكامن البصري السابقة (Monet, LVR, SkiLa, CoVT) وعلى نماذج التفكير النصي المرجعية. في المتوسط، يحسن دقة التفكير بنسبة 5.4% مقارم بأفضل النماذج المرجعية.
• الكفاءة: يحقق UniVLR هذه المكاسب مع استخدام عدد أقل بكثير من الرموز المولدة. فقد قلل عدد رموز التفكير المولدة بمقدار 15.2 ضعفاً مقارنة بالطرق المتداخلة (باستخدام 12 رمزاً كامناً فقط مقابل 190-270 رمزاً نصياً).
• تحليل التمثيل الكامن:
  • التجذر البصري: تتوافق توزيعات الحالة الخفية لرموز UniVLR الكامنة بشكل وثيق مع تمثيلات رموز الصور أكثر من تمثيلات الرموز النصية، مما يؤكد أن النموذج يستخدم قناة متجذرة بصرياً.
  • المحتوى المعلوماتي: يتسبب تحليل الاضطراب (تصفير أو إضافة ضجيج إلى الحالات الكامنة) في انخفاض كبير في الدقة، مما يثبت أن الرموز الكامنة تحمل معلومات تفكير ذات صلة بالمهمة وليست مجرد رموز مؤقتة.
• دراسات الاستئصال (Ablation Studies):
  • استراتيجية التصوير: وُجد أن تصوير التخطيط الرأسي (Vertical layout) والتفاف النصوص التكيفي كانا حاسمين للتعامل مع المنطق المعقد.
  • تصفية البيانات: كان التصفية الصارمة لبيانات التدريب (إزالة العينات التي يمكن حلها بدون تفكير بصري أو تلك التي تحتوي على أهداف مشوشة) ضرورياً لاستقرار تدريب المرحلة الثانية.
  • فرض المعلم (Teacher Forcing): حقق فرض المعلم الكامن الكامل أثناء التدريب نتائج أفضل من أخذ العينات المجدولة، مما يشير إلى أن استقرار الفضاء الكامن (latent manifold) أهم من تقليل انحياز التعرض في هذا السياق المستمر.
• التعميم: لا يظهر UniVLR نسياناً كارثياً في المهام متعددة الوسائط العامة (TextVQA, POPE, MME-translation)، بل يحسن بالفعل الأداء في فهم الصور الغنية بالنصوص (TextVQA) وهلوسة الأشياء (POPE).

الأهمية والادعاءات

يزعم البحث أن UniVLR يدفع التفكير الكامن البصري نحو نموذج أكثر توحيداً وكفاءة للتفكير متعدد الوسائط. ومن خلال إثبات إمكانية استيعاب سلسلة التفكير النصي الصريح داخل قناة كامنة بصرية موحدة، يشير العمل إلى أن النماذج (MLLMs) يمكنها إجراء تفكير معقد ومتعدد الخطوات دون عبء توليد النصوص المطولة أو استدعاء الأدوات الخارجية.

يؤكد المؤلفون أنه بينما يحسن الأسلوب الكفاءة والأداء، فإنه يأتي مع مقايضات: عملية التفكير الكامن أقل قابلية للفحص المباشر من سلسلة التفكير النصي الصريح، مما قد يجعل التصحيح والتدقيق أكثر صعوبة. علاوة على ذلك، يعتمد الأسلوب على قدرات مشفر الرؤية في التعرف الضوئي على الحروف (OCR) وفهم التخطيط. يضع العمل UniVLR ليس كبديل للتفكير القائم على الأدوات في المهام التي تتطلب قياسات دقيقة أو بحثاً شاملاً، بل كخطوة هامة نحو داخليّة المداولة البصرية ضمن مساحة كامنة موحدة ومدمجة.