🤖 machine learning

Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

تقدم الورقة البحثية نموذج GAP (نموذج المحاذاة الحبيبية)، وهو إطار عمل مبتكر يعالج عدم التطابق في فضاء الميزات في الاستدلال البصري الكامن للنماذج اللغوية الكبيرة متعددة الوسائط من خلال محاذاة مخرجات فك التشفير مع تضمينات المدخلات عبر مستويات الميزة والسياق والسعة، مما يحقق أداءً فائقاً في الإدراك والاستدلال على نموذج Qwen2.5-VL 7B.

المؤلفون الأصليون: Yanting Miao, Yutao Sun, Dexin Wang, Mengyu Zhou, Pascal Poupart, Lei Lv, Qi Zhao, Li Wang, Hao Li, Xiaoxi Jiang, Guanjun Jiang

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yanting Miao, Yutao Sun, Dexin Wang, Mengyu Zhou, Pascal Poupart, Lei Lv, Qi Zhao, Li Wang, Hao Li, Xiaoxi Jiang, Guanjun Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم الروبوت كيف "يرى" بدون كاميرا

تخيل أن لديك مساعداً آلياً ذكياً جداً (نموذج لغوي كبير متعدد الوسائط، أو MLLM) يمكنه قراءة النصوص والنظر إلى الصور. هو بارع في الإجابة على أسئلة مثل: "ما هو لون السيارة؟". ولكن عندما يصبح السؤال معقداً — مثل مسألة رياضية صعبة تتضمن رسماً بيانياً أو لغزاً هندسياً — غالباً ما يتعثر الروبوت. فهو يحاول تخمين الإجابة باستخدام كلماته فقط، متجاهلاً الأدلة البصرية الحاسمة.

عادةً، لإصلاح ذلك، نعطي الروبوت "صندوق أدوات". نخبره بأن يستدعي برنامجاً خارجياً لقص صورة، أو البحث في الإنترنت، أو رسم صورة جديدة لمساعدته على التفكير. لكن هذا الأمر بطيء، ومكلف، ومعقد.

تساءل مؤلفو هذه الورقة البحثية سؤالاً أبسط: هل يمكننا تعليم الروبوت توليد "صور ذهنية" خاصة به داخل دماغه، دون الحاجة إلى أدوات خارجية؟

لقد حاولوا ذلك من قبل، لكن الأمر كان يشبه محاولة توصيل خط طاقة عالي الجهد بمقبس بطارية صغيرة. نجح الأمر أحياناً، لكنه غالباً ما تسبب في تعطل الروبوت أو إعطاء إجابات غير مستقرة. تقدم هذه الورقة طريقة جديدة تسمى GAP (نموذج المحاذاة الحبيبية) لإصلاح هذا الاتصال.

المشكلة: "عدم تطابق الجهد الكهربائي"

لفهم المشكلة، تخيل أن دماغ الروبوت يتكون من غرفتين رئيسيتين:

غرفة المدخلات: حيث يستقبل المعلومات (مثل النظر إلى صورة). الإشارات هنا هادئة ومنخفضة الجهد.
غرفة المخرجات: حيث يفكر ويحل المشكلات. وبحلول الوقت الذي ينتهي فيه الروبوت من فكرة معقدة، تكون الإشارات الكهربائية هنا ضخمة وذات جهد عالٍ جداً.

الطريقة القديمة: حاولت الطرق السابقة أخذ تلك "إشارات التفكير" الضخمة وعالية الجهد من غرفة المخرجات وتغذيتها مباشرة مرة أخرى في غرفة المدخلات كما لو كانت صوراً جديدة.

النتيجة: الأمر يشبه توصيل صاعقة برق بمحمصة خبث (توستر). يصاب الروبوت بالارتباك لأن "الصورة الجديدة" صاخبة وفوضوية للغاية مقارنة بالصور الحقيقية التي تدرب عليها. وهذا ما يسميه المؤلفون "عدم تطابق مساحة السمات" (feature-space mismatch).

الحل: طريقة GAP

بنى المؤلفون نظاماً من ثلاث خطوات (GAP) لإصلاح ذلك، مما يضمن أن "الصور الذهنية" الداخلية للروبوت آمنة، ومفيدة، وتُستخدم فقط عند الضرورة.

1. منظم الجهد (المحاذاة على مستوى السمات)

التشبيه: تخيل محطة تحويل تأخذ صاعقة البرق الضخمة من غرفة المخرات وتقوم بخفض جهدها إلى جهد قياسي آمن قبل إرسالها إلى غرفة المدخلات.
كيف يعمل: يستخدم الروبوت مرشحاً رياضياً خاصاً (يسمى رأس PCA-aligned). يأخذ أفكار الروبوت الخام والفوضوية ويعيد تشكيلها لتبدو تماماً مثل "إشارات الصور" الهادئة والقياسية التي يتوقع الروبوت رؤيتها. هذا يمنع الروبوت من الانغمار بأفكاره الخاصة.

2. المخطط والمراقب (المحاذاة على مستوى البيانات)

التشبيه: تخيل أنك تعلم طالباً الرسم. بدلاً من مجرد قول "ارسم صورة"، تعطيه مخططاً محدداً لما يجب رسمه ومراقباً يتحقق من العمل.
كيف يعمل: أنشأ الباحثون مجموعة بيانات خاصة حيث يأتي كل سؤال صعب مع "نموذج إجابة المعلم". يتضمن هذا النموذج:
- المخطط: وصف دقيق لما هو الدليل البصري المفقود (مثلاً: "ارسم خطاً يصل بين هاتين النقطتين").
- المراقب: وصف نصي يشرح لماذا نحتاج إلى هذا الدليل البصري.
- يضمن هذا أن الروبوت لا يقوم فقط بتوليد صور عشوائية؛ بل يولد أدلة بصرية محددة ومفيدة لحل المشكلة.

3. المفتاح الذكي (المحاذاة على مستوى النموذج)

التشبيه: تخيل نظام منزل ذكي لا يشغل الأضواء عالية الطاقة إلا عندما تكون الغرفة مظلمة بالفعل. إذا كانت الغرفة مضيئة بالفعل، فإنه يوفر الطاقة بإبقاء الأضواء مطفأة.
كيف يعمل: لا يحاول الروبوت توليد "صور ذهنية" لكل سؤال. فهو يتحقق أولاً: "هل يمكنني حل هذه المسألة بسهولة باستخدام كلماتي فقط؟"
- إذا كانت الإجابة نعم: يتخطى الخطوة البصرية لتوفير الوقت وتجنب الارتباك.
- إذا كانت الإجابة لا: يقوم بتبديل المفتاح ويولد الأدلة البصرية الداخلية للمساعدة في حل المشكلة الصعبة. هذا يمنع الروبوت من الإفراط في التفكير في المهام البسيطة.

النتائج: روبوت أكثر ذكاءً واستقراراً

عندما اختبر المؤلفون هذا النظام الجديد على نموذج يسمى Qwen2.5-VL:

رؤية أفضل: أصبح الروبوت أفضل بكثير في رصد التفاصيل في الرسوم البيانية، وعدّ الأشياء، وفهم الهندسة المعقدة.
تفكير أفضل: لم يصبح أفضل في الرؤية فحسب؛ بل أصبح أفضل في التفكير بما يراه. لقد حل مسائل الرياضيات والمنطق بدقة أكبر من الطرق السابقة.
الاستقرار: من خلال إصلاح "عدم تطابق الجهد الكهربائي"، توقف الروبوت عن التعطل أو إعطاء إجابات جامحة وغير مستقرة.

الخلاصة

تظهر هذه الورقة البحثية أنه لجعل الذكاء الاصطناعي أكثر ذكاءً في التفكير البصري، لا نحتاج بالضرورة إلى بناء أدوات خارجية أكبر وأكثر تعقيداً. بدلاً من ذلك، نحتاج إلى تعليم الذكاء الاصطناعي كيفية توليد "صوره ذهنية" داخلية تتناسب مع بنية دماغه.

من خلال معايرة الإشارة (إصلاح الجهد)، وتوفير مخططات واضحة (بيانات مهيكلة)، واستخدام الأداة فقط عند الحاجة (التبديل الذكي)، يمكن للروبوت أن "يرى" القطع المفقودة من اللغز ويحل مشكلات لم يكن قادراً على حلها سابقاً.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models" (ملء الفجوة: نموذج محاذاة حبيبي للاستدلال البصري في النماذج اللغوية الكبيرة متعددة الوسائط).

1. بيان المشكلة

غالبًا ما تفشل النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) في المهام البصرية المعقدة (مثل المخططات، الإدراك عالي الدقة، والرياضيات البصرية) بسبب فقدان أو ضعف تحديد الأدلة البصرية الموضعية. وبينما يمكن للأدوات الخارجية (القص، البحث، التوليد) توفير هذا الدليل، إلا أنها تسبب تأخيرًا، وتعقيدًا، ومشاكل في التعميم. والبديل هو الاستدلال اللاتنتي البصري (visual latent reasoning)، حيث يطلق النموذج رموزًا كامنة مستمرة لتمثيل الأدلة البصرية الوسيطة داخليًا.

وم ذلك، تعاني طرق الاستدلال اللاتنتي الحالية من مكاسب غير مستقرة وغالبًا ما تسفر عن تحسينات ضئيلة بعد مرحلة ما بعد التدريب. وقد حدد المؤلفون عدم تطابق في فضاء الميزات (feature-space mismatch) كسبب رئيسي:

مشكلة بنية الـ Pre-norm: تستخدم النماذج اللغوية الكبيرة متعددة الوسائط الحديثة (مثل Qwen2.5-VL، وGemma 4) محولات الـ pre-norm. في هذه البنيات، تتراكم معايير (norms) الحالات المخفية بشكل كبير عبر الطبقات، مما يؤدي إلى حالات في الطبقة النهائية أكبر بعدة مراتب (على سبيل المثال، ~~8.7× للرؤية، و~~546× للنص) من تضمينات المدخلات التي تدرب النموذج على استهلاكها.
عدم التطابق: تعيد طرق اللاتنت (latent) الحالية استخدام هذه الحالات المخفية ذات المعيار العالي مباشرة كمدخلات للرمز اللاتنتي التالي ("المخرج كمدخل"). وهذا يخلق حلقة تغذية راجعة حيث يتلقى النموذج مدخلات من توزيع لم يتم تدريبه على معالجته، مما يؤدي إلى زعزعة استقرار التحسين وجعل القناة اللاتنتة غير موثوقة.

2. المنهجية: إطار عمل GAP

يقترح المؤلفون GAP (نموذج المحاذاة الحبيبية)، وهو استراتيجية محاذاة ثلاثية المستويات لتثبيت وتحسين الاستدلال اللاتنتي البصري.

أ. المحاذاة على مستوى الميزة: رأس لاتنتي محاذٍ لـ PCA

لحل مشكلة عدم تطابق المعيار والفضاء الجزئي، لا يقوم GAP بتغذية حالات الـ decoder الخام مرة أخرى في النموذج. بدلاً من ذلك:

الإسقاط (Projection): يتم رسم الحالات المخفية النهائية للعمود الفقري (بعد عملية RMSNorm الأصلية) عبر رأس لاتنتي محاذٍ لـ PCA خفيف الوزن إلى الفضاء الجزئي الرئيسي لتضمينات الرؤية للصور المساعدة.
إعادة البناء (Reconstruction): يتنبأ النموذج بمعاملات PCA منخفضة الأبعاد ( $c_t$ ) بدلاً من المتجهات كاملة الأبعاد. ويتم إعادة بناء هذه المعاملات باستخدام المتوسط التجريبي ( $\mu$ ) والمتجهات الذاتية العليا ( $P_k$ ) لتضمينات الرؤية في مجموعة التدريب: $\hat{v}_t = P_k c_t + \mu$ .
الأثر: هذا يجبر الرموز المولدة على البقاء في نفس نظام المعيار والفضاء الجزئي لتضمينات الرؤية المدخلة، مما يصحح عدم تطابق فضاء الميزات دون الحاجة لإعادة تدريب العمود الفقري.

ب. المحاذاة على مستوى البيانات: الإشراف المرتبط بالسياق

لضمان أن تكون الأهداف اللاتنتية قابلة للتفسير والفحص، قام المؤلفون ببناء مجموعة بيانات مكونة من 49,309 مثالاً منسقاً حيث:

الصور المساعدة: يتم إقران كل استعلام بصورة "مساعدة" مولدة تمثل الدليل البصري المفقود.
المخرجات المهيكلة: يتضمن الرد التدريبي نطاق <latent> (مشرف عليه بواسطة ميزات ViT المجمدة للصورة المساعدة) ونطاق <parser> (وصف نصي للإشارة البصرية المقصودة).
الهدف: هذا يربط المتجهات اللاتنتية المستمرة بنوايا بصرية محددة وقابلة للقراءة من قبل البشر، مما يجعل عملية التدريب شفافة.

ج. المحاذاة على مستوى النموذج: التعيين الواعي بالصعوبة

لمنع الضجيج الناتج عن تطبيق الإشراف اللاتنتي على الأمثلة التي يحلها النموذج الأساسي بالفعل:

استراتيجية الاختيار: يقدر النظام دقة النموذج الأساسي على استعلام ما عبر أخذ عينات متكررة.
الإشراف الشرطي: يتم تعيين الأهداف اللاتنتية فقط عندما يفشل النموذج الأساسي (الدقة $\le \tau$ ). أما الأمثلة السهلة فتتلقى إشرافاً نصياً قياسياً فقط.
الفائدة: يركز هذا القدرة اللاتنتية على الحالات الصعبة حيث تبرز الحاجة الفعلية للاستدلال البصري، متجنباً انزياح التوزيع في المهام السهلة.

3. المساهمات الرئيسية

تشخيص عدم تطابق فضاء الميزات: تُظهر الورقة تجريبياً أن الحالات المخفية في نماذج pre-norm المخرجة تشغل نظام معيار مختلف عن تضمينات المدخلات، مما يسبب عدم استقرار في التغذية الراجعة اللاتنتية (output-as-input). وقد أدى تغيير المعيار البسيط (EMA) إلى تحسين الأداء، مما يؤكد صحة هذه الفرضية.
نموذج GAP: وصفة خفيفة الوزن تجمع بين:
- إسقاط محاذٍ لـ PCA لرسم الخرائط اللاتنتية مرة أخرى إلى فضاء مدخلات الرؤية.
- إشراف مرتبط بالسياق لضمان قابلية الفحص.
- تعيين واعي بالصعوبة لاستقرار التدريب.
مجموعة بيانات مفتوحة: إصدار مجموعة بيانات عالية الجودة مكونة من 49 ألف مثال للإشراف اللاتنتي متعدد الوسائط تغطي الاستدلال البصري المتسلسل (CoT)، والمخططات، والهندسة، والرياضيات.
التحقق التجريبي: إثبات أن الرموز اللاتنتية المحاذية تحمل إشارات بصرية ذات صلة بالمهمة تتجاوز مجرد كونها خانات للرموز (token slots).

4. النتائج التجريبية

تم التقييم على نموذج Qwen2.5-VL 7B، حيث تمت مقارنة نموذج GAP الكامل (LH+PCA+DA) بالنموذج الأساسي، ونماذج الوصف الكثيف (dense captioning) المرجعية، والطرق اللاتنتية السابقة (Monet, LVR).

الأداء: حقق GAP أفضل متوسط أداء إجمالي عبر مقاييس الإدراك (HR4K, MMStar, MME-RealWorld-Lite) والاستدلال (MathVista, WeMath).
- حسّن إجمالي الاستدلال (Avg-R) بمقدار +5.98 عن Monet و +6.31 عن LVR.
- حسّن إجمالي الإدراك (Avg-P) بمقدار +1.74 عن Monet.
دراسات الاستئصال (Ablation Studies):
- محاذاة PCA: ضرورية لاستعادة دقة الاستدلال المفقودة بسبب رؤوس اللاتنت البدائية.
- التعيين الواعي بالصعوبة: أمر بالغ الأهمية لمنع تدهور الأداء في الأمثلة السهلة.
- ميزانية الرموز (Token Budget): يصل الأداء إلى ذروته عند 36 رمزاً لاتنتياً (شبكة 6×6)؛ وزيادتها أكثر تؤدي إلى عوائد تناقصية أو تشبع.
فحص التدخل (Intervention Probing):
- نقطة تفتيش الصفر-لاتنت (Zero-Latent Checkpoint): حتى بدون توليد رموز لاتنتية أثناء الاستنتاج، تفوق النموذج المدرب بإشراف لاتنتي على الوصف الكثيف، مما يشير إلى أن عملية التدريب نفسها تشكل تمثيلات أفضل.
- حقن الضجيج: استبدال معاملات PCA المتوقعة بضجيج غاوسي (Gaussian noise) أدى إلى تدهور الأداء بشكل كبير، مما يؤكد أن الرموز المولدة تحتوي على إشارات بصرية ذات صلة بالمهمة، وليست مجرد نواتج شكلية.

5. الأهمية والادعاءات

تدعي الورقة أن الاستدلال اللاتنتي البصري يمكن جعله قوياً وفعالاً في النماذج متعددة الوسائط من خلال معالجة عدم التوافق الهيكلي في نماذج pre-norm transformers.

ادعاءات متواضعة: لا يدعي المؤلفون حل مشكلة الهلوسة تماماً أو إمكانية تطبيق النهج عالمياً على جميع الـ backbones دون مزيد من التحقق. كما يشيرون إلى أن "عتبة الصعوبة" هي عملية تجريبية (heuristic) وأن النهج يعتمد على القدرة على توليد صور مساعدة ذات معنى أثناء بناء البيانات.
الرؤية الجوهرية: المساهمة الرئيسية هي تحديد عدم تطابق المعيار/الفضاء كنمط فشل، وإثبات أن مسار إعادة البناء القائم على PCA الخفيف يمكنه محاذاة التغذية الراجعة البصرية المستمرة مع توزيع المدخلات للنموذج، مما يتيح استدلالاً بصرياً مستقراً وقابلاً للتفسير دون أدوات خارجية.