💬 NLP

A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

تقدم هذه الورقة إطار عمل مبتكرًا باستخدام تفكيك المعلومات الجزئي للتحليل الكمي لعمليات اتخاذ القرار الداخلية لـ 26 نموذجًا ضخمًا من نماذج الرؤية واللغة، مما يكشف عن أنظمة مهام متميزة، واستراتيجيات متباينة على مستوى العائلة، والدور الحاسم لضبط التعليمات البصرية في تحقيق دمج متعدد الوسائط حقيقي.

المؤلفون الأصليون: Lixin Xiu, Xufang Luo, Hideki Nakayama

نُشر 2026-04-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lixin Xiu, Xufang Luo, Hideki Nakayama

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من خبيرين يحاولان حل لغز: المحقق البصري (الذي يرى الصورة) وساحر الكلمات (الذي يعرف اللغة). معاً، يشكلان نموذج لغة ورؤية ضخم (LVLM)، وهو ذكاء اصطناعي فائق الذكاء يمكنه النظر إلى صورة والإجابة على الأسئلة حولها.

لفترة طويلة، كنا نعرف فقط ما إذا كانت هذه النماذج "جيدة" أو "سيئة" بناءً على درجتها النهائية (الدقة). لكننا لم نكن نعرف كيف تحل هذه المشكلات. هل قامت حقاً بدمج الصورة والكلمات لخلق فهم جديد؟ أم أنها تجاهلت الصورة واكتفت بالتخمين بناءً على ما تعرفه مسبقاً من قراءة الكتب؟

تقدم هذه الورقة البحثية "جهاز أشعة سينية" جديداً يسمى تفكيك المعلومات الجزئية (PID) للنظر داخل عقل الذكاء الاصطناعي ورؤية كيف يستخدم المعلومات بدقة.

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. الأنواع الأربعة لـ "قوة الدماغ"

قسم الباحثون عملية اتخاذ القرار لدى الذكاء الاصطناعي إلى أربعة مكونات:

التكرار (الصدى): الصورة والنص يقولان الشيء نفسه. (مثلاً: الصورة تظهر قطة، والنص يقول "قطة". إنهما مجرد تكرار لبعضهما البعض.)
التفرد البصري (العين): الصورة وحدها هي التي تعطي الإجابة. (مثلاً: "ما لون القميص؟" النص لا يذكر ذلك، لذا يجب على الذكاء الاصطناعي النظر إلى الصورة.)
التفرد اللغوي (الذاكرة): النص وحده (أو تدريب الذكاء الاصطناعي) هو الذي يعطي الإجابة. (مثلاً: "من هو الرئيس؟" الصورة غير ذات صلة؛ الذكاء الاصطناعي يستدعي هذه المعلومة من ذاكرته فقط.)
التآزر (شرارة السحر): هذا هو الجزء الأهم. إنه عندما تندمج الصورة والنص لإنشاء إجابة لا يمكن لأي منهما تقديمها بمفرده. الأمر يشبه خلط الدقيق والماء لصنع العجين؛ لا يمكنك الحصول على العجين من الدقيق وحده أو الماء وحده.

2. نوعان من المهام (القائمة)

وجد الباحثون أن الأسئلة المختلفة تجبر الذكاء الاصطناعي على استخدام استراتيجيات مختلفة:

مهام "شرارة السحر" (المدفوعة بالتآزر): هذه ألغاز تحتاج فيها إلى كل من الصورة والنص لحلها.
- مثال: "هل الكلب يجلس على الكرسي الأحمر؟"
- النتيجة: أفضل نماذج الذكاء الاصطناعي هنا هي تلك التي تخلق شرارة "تآزر" قوية. إنها تدمج المدخلين معاً حقاً.
مهام "كتاب الذاكرة" (المدفوعة بالمعرفة): هذه أسئلة تكون الإجابة فيها موجودة غالباً في رأس الذكاء الاصطناعي، والصورة ليست سوى زينة.
- مثال: "ما هو المصطلح الطبي للعظم المكسور؟" (حتى لو كانت الصورة تظهر عظمة مكسورة، يحتاج الذكاء الاصطناعي إلى قاموسه الطبي الداخلي للإجابة).
- النتي نتيجة: هنا، "التفرد اللغوي" (الذاكرة) هو النجم. الصورة لا تضيف قيمة تذكر.

3. نوعان من عائلات الذكاء الاصطنا_ (الشخصيات)

تماماً مثل البشر، تمتلك عائلات الذكاء الاصطنا المختلفة شخصيات مختلفة:

عائلة "الاندماج" (مثل Qwen، InternVL): هذه النماذج تشبه المحققين الحقيقيين. إنها تحب دمج الأدلة. حتى عندما تكون الإجابة واضحة من النص، فإنها لا تزال تحاول النظر إلى الصورة للتأكد. إنها تعتمد بشكل كبير على "شرارة السحر" (التآزر).
عائلة "المركزية اللغوية" (مثل Gemma، Cambrian): هذه النماذج تشبه دودة الكتب. إنها تثق في قاعدة معرفتها الداخلية أكثر من الصورة. إذا عرفت الإجابة من تدريبها، فقد تتجاهل الصورة تماماً. إنها تعتمد على "التفرد اللغوي".

4. كيف يتعلم الذكاء الاصطناعي (سنوات الدراسة)

راقب الباحثون ذكاءً اصطناعياً يتعلم من الصفر، مثل مراقبة طالب ينمو:

المرحلة 1 (المحاذاة): يتعلم الذكاء الاصطناعي مطابقة الصور بالكلمات، لكنه لا "يفكر" حقاً بعد. إنه مجرد حفظ بأن صورة الكلب غالباً ما ترتبط بكلمة "كلب".
المرحلة 2 (ضبط التعليمات): هذه هي لحظة "وجدتها!". عندما يبدأ الذكاء الاصطناعي في تلقي تعليمات (مثل "أجب عن هذا السؤال بناءً على الصورة")، فإن التآزر (شرارة السحر) ينفجر فجأة. هذه هي المرحلة المحددة التي يتعلم فيها الذكاء الاصطنا_ في الواقع دمج المدخلين معاً.

5. الرحلة عبر الطبقات (خط التجميع)

داخل الذكاء الاصطناعي، توجد العديد من طبقات المعالجة (مثل محطات في خط مصنع). وجد الباحثون نمطاً ثابتاً:

الطبقات المبكرة: يجمع الذكاء الاصطناعي البيانات الخام.
الطبقات الوسطى: يبدأ الذكاء الاصطناعي في بناء إجابته باستخدام معرفته اللغوية (قراءة السؤال).
الطبقة النهائية: هذه هي الذروة! في الخطوة الأخيرة تماماً، يقوم الذكاء الاصطناعي فجأة بدمج اللغة مع الصورة لاتخاذ القرار النهائي. الأمر يشبه طباخاً يتذوق الحساء ويضيف الرشة الأخيرة من الملح قبل التقديم مباشرة.

لماذا يهم هذا؟

قبل هذه الورقة البحثية، كنا نعرف فقط ما إذا كان الذكاء الاصطناعي قد أصاب الإجابة أم لا. الآن، نحن نعرف كيف حصل عليها.

إذا أصاب ذكاء اصطناعي مهمة "شرارة السحر" عن طريق تجاهل الصورة والتخمين من الذاكرة، فهو في الواقع "يغش" (إنه ليس متعدد الوسائط حقاً).
إذا أصاب ذكاء اصطناعي مهمة "الذاكرة" عن طريق النظر إلى الصورة، فقد يكون مرتبكاً.

هذا "الأشعة السينية" الجديد يساعد العلماء على بناء ذكاء اصطناعي أفضل في المستقبل. يمكنهم الآن ضبط الذكاء الاصطناعي ليكون محقق "اندماج" أفضل أو عالِم "ذاكرة" أفضل، حسب الوظيفة التي يحتاجونها. إنه ينقلنا من مجرد السؤال "هل هو ذكي؟" إلى السؤال "هل هو ذكي بالطريقة الصحيحة؟"

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحليل شامل لتفكيك المعلومات في النماذج اللغوية البصرية الكبيرة"، المنشورة كبحث في مؤتمر ICLR 2026.

1. بيان المشكلة

حققت النماذج اللغوية البصرية الكبيرة (LVLMs) أداءً فائقاً في المهام متعددة الوسائط. ومع ذلك، لا تزال عمليات اتخاذ القرار الداخلية لهذه النماذج غامضة. تعتمد التقييمات الحالية بشكل كبير على مقاييس الدقة الإجمالية، والتي تفشل في التمييز ما إذا كان نجاح النموذج ناتجاً عن:

الدمج الحقيقي متعدد الوسائط: التكامل التآزري بين المعلومات البصرية واللغوية.
الأولويات أحادية الوسائط: الاعتماد على المعرفة اللغوية فقط (تخيل التفاصيل البصرية بناءً على الأولويات النصية) أو الإشارات البصرية فقط.

تركز طرق التفسير الحالية غالباً على تحليلات "المجهر الصغير" (مثل خرائط الانتباه لوسيط واحد) أو تفتقر إلى إطار نظري صارم لتفكيك كيفية تدفق المعلومات ودمجها داخل النموذج كمياً. هناك حاجة لأداة كمية مبدئية لتشريح الاستراتيجيات الداخلية التي تستخدمها النماذج اللغوية البصرية الكبيرة لمعالجة المعلومات متعددة الوسائط.

2. المنهجية

قدم المؤلفون إطار عمل جديداً يعتمد على تفكيك المعلومات الجزئي (PID) لتحليل النماذج اللغوية البصرية الكبيرة.

المفهوم الجوهري: تفكيك المعلومات الجزئي (PID)

يقوم الـ PID بتفكيك المعلومات المتبادلة بين المدخلات ( $X_1$ : الرؤية، $X_2$ : اللغة) والمخرج ( $Y$ : التنبؤ) إلى أربعة مكونات غير سالبة:

التكرار ( $R$ ): المعلومات المشتركة بين كل من الرؤية واللغة.
تفرد الرؤية ( $U_1$ ): المعلومات التي توفرها الوسيط البصري حصرياً.
تفرد اللغة ( $U_2$ ): المعلومات التي توفرها الوسيط اللغوي حصرياً.
التآزر ( $S$ ): معلومات جديدة تنشأ فقط من الجمع بين الرؤية واللغة (وهو جوهر الدمج الحقيقي).

الإطار التقني والتعديلات

لتطبيق PID على النماذج اللغوية البصرية الكبيرة الحديثة وعالية الأبعاد، قام المؤلفون بتكييف مقدر BATCH (Liang et al., 2023a)، المصمم أصلاً للأنماط المستمرة. تشمل التعديلات الرئيسية ما يلي:

تعريف المدخلات: يتم تعريف الرؤية ( $X_1$ ) واللغة ( $X_2$ ) كمتجهات تمثيل (embeddings) مجمعة بالمتوسط من الطبقات الداخلية للنموذج.
الاشتراط أحادي الوسيط عبر القناع (Masking): لتقدير التنبؤات أحادية الوسيط ( $P(Y|X_1)$ و $P(Y|X_2)$ )، قام المؤلفون بحجب أحد الوسائط عن طريق استبدال تسلسل المتجهات الخاص به بضجيج غاوسي مُعاير (يتوافق مع المتوسط والتباين للمتجهات الأصلية). يحافظ هذا على مقياس المتجهات مع إزالة المحتوى الدلالي.
عتبة الثقة: لمنع آثار الإفراط في الثقة عند حصر التنبؤات في مجموعة مرشحة محدودة (مثل خيارات الاختيار من متعدد)، يتم تطبيق عتبة ثقة؛ فإذا كان إجمالي درجة النموذج للمجموعة المرشحة منخفضاً، يتم إعادة تطبيع التوزيع ليكون موحداً.
التجميع الناعم (Soft Aggregation): بدلاً من استخدام argmax (الذي يخلق قممًا اصطناعية للتنبؤات غير المؤكدة)، يتم تقدير توزيع المخرجات الهامشي $P(Y)$ عن طريق متوسط التوزيعات التنبؤية المنتظمة عبر العينات.

التصميم التجريبي

تحلل الدراسة 26 نموذجاً لغوياً بصرياً كبيراً من 11 عائلة (تتراوح من 0.5 مليار إلى 90 مليار معلمة) عبر 4 مجموعات بيانات (MMBench, POPE, Reefknot, PMC-VQA). يتم إجراء التحليل عبر ثلاثة أبعاد:

الاتساع: مقارنة عبر النماذج والمهام.
العمق: ديناميكيات المعلومات عبر الطبقات باستخدام تقنية "عدسة اللوجيت" (logit lens) لفحص الحالات المخفية.
الزمن: ديناميكيات التعلم من خلال تتبع مكونات PID عبر نقاط التحقق من التدريب (تحديداً خلال مرحلتي التدريب لنموذج LLaVA-1.5).

3. المساهمات الرئيسية

أول تحليل شامل لـ PID للنماذج اللغوية البصرية الكبيرة: هذه هي الدراسة الأولى التي تطبق PID بشكل منهجي وعلى نطاق واسع لتشريح طيف المعلومات في النماذج الحديثة، متجاوزةً مجرد الدقة لتحليل كيفية اتخاذ القرارات.
تحديد نظامين للمهام: أظهر المؤلفون أن الاختبارات تقع ضمن نظامين متميزين:
- المهام المدفوعة بالتآزر: المهام التي يعتمد أداؤها بشدة على الدمج عبر الوسائط (مثل MMBench و POPE).
- المهام المدفوعة بالمعرفة: المهام التي تعتمد على الأولويات الجانبية للغة والمعرفة بالمجال (مثل Reefknot و PMC-VQA).
اكتشاف استراتيجيات العائلات المستقرة: تظهر عائلات النماذج استراتيجيات متسقة ومتناقضة:
- النماذج المتمحورة حول الدمج: العائلات (مثل InternVL و Qwen2.5-VL) التي تعتمد بشكل كبير على التآزر ( $S$ ).
- النماذج المتمحورة حول اللغة: العائلات (مثل Gemma3 و Cambrian) التي تعتمد بشكل كبير على التفرد اللغوي ( $U_2$ ).
الديناميكيات عبر الطبقات والزمن:
- نمط الثلاث مراحل: يتبع تدفق المعلومات نمطاً ثابتاً: الظهور في الطبقات الوسطى، بناء التمثيل اللغوي في الطبقات المتأخرة، ثم طفرة دمج تآزرية حاسمة في الطبقة النهائية.
- ضبط التعليمات البصرية: تحدد الدراسة ضبط التعليمات البصرية (المرحلة الثانية من التدريب) باعتبارها المرحلة الحاسمة التي يتم فيها إطلاق التآزر ( $S$ )، بينما لا يحقق محاذاة ما قبل التدريب (المرحلة الأولى) دمجاً يُذكر.

4. النتائج الرئيسية

النتيجة 1: أنظمة المهام

المهام المدفوعة بالتآزر: في MMBench و POPE، ترتبط الدقة بقوة مع التآزر ( $S$ ) ( $\rho \approx 0.75$ ). يؤدي إزالة الصورة إلى انخفاض كبير في الدقة للنماذج ذات الـ $S$ المرتفع.
المهام المدفوعة بالمعرفة: في Reefknot و PMC-VQA، ترتبط الدقة أكثر مع التفرد اللغوي ( $U_2$ ). التآزر موجود ولكنه محدود؛ لا يمكن للنماذج تعويض نقص المعرفة بالمجال عبر الدمج وحده.

النتيجة 2: استراتيجيات عائلات النماذج

العائلات المتمحورة حول الدمج: تظهر نماذج مثل InternVL و Qwen2.5-VL باستمرار قيم $S$ أعلى و $U_2$ أقل. يميل توسيع هذه النماذج (زيادة عدد المعلمات) إلى زيادة $S$ والدقة، بدلاً من مجرد تضخيم الأولويات اللغوية.
العائلات المتمحورة حول اللغة: تعتمد نماذج مثل Gemma3 و Cambrian أكثر على $U_2$ . حتى عندما يجيبون بشكل صحيح، فإنهم غالباً ما يفعلون ذلك عن طريق تجاوز الأولويات اللغوية غير الصحيحة باستخدام الإشارات البصرية (عالية $U_1$ ) بدلاً من توليد رؤى تآزرية جديدة.

النتيجة 3: الديناميكيات عبر الطبقات

لوحظ نمط ثابت من ثلاث مراحل عبر النماذج:
1. الظهور: تظهر المعلومات في الطبقات المتوسطة إلى المتأخرة.
2. بناء التمثيل: يرتفع التفرد اللغوي ( $U_2$ ) في الطبقات المتأخرة.
3. الدمج الحاسم: في الطبقة النهائية، ينخفض $U_2$ بشكل حاد بينما يرتفع التآزر ( $S$ ) بشكل حاد، مما يشير إلى التكامل النهائي للوسائط قبل المخرج.

النتيجة 4: ديناميكيات التعلم

خلال محاذاة ما قبل التدريب لغوي-بصري (المرحلة 1)، يظل كل من $S$ و $U_2$ منخفضين ومستقرين.
خلال ضبط التعليمات البصرية (المرحلة 2)، يزداد كلا المكونين بشكل ملحوظ.
تأثير الحجم: في نموذج 7B، يهيمن التآزر ( $S$ ) على الزيادة. في نموذج 13B، يهيمن التفرد اللغوي ( $U_2$ ) على الزيادة، مما يشير إلى أن النماذج الأكبر تعطي الأولوية لتقوية الأولويات اللغوية أثناء الضبط الدقيق.

5. الأهمية

يوفر هذا العمل عدسة كمية تكمل التقييم التقليدي القائم على الدقة. ومن خلال تفكيك "طيف المعلومات"، يقدم المؤلفون رؤى قابلة للتنفيذ من أجل:

التشخيص: تحديد ما إذا كان فشل النموذج ناتجاً عن ضعف الدمج أم نقص المعرفة.
التصميم: توجيه تطوير النماذج اللغوية البصرية الكبيرة من الجيل التالي عبر موازنة الاستراتيجيات المتمحورة حول الدمج وتلك المتمحورة حول اللغة.
التدريب: تحسين مراحل التدريب (على سبيل المثال، التأكيد على ضبط التعليمات البصرية لإطلاق التآزر).
الاختبار: إنشاء اختبارات جديدة تختبر صراحةً التآزر ( $S$ ) أو تعزل الأولويات اللغوية ( $U_2$ ).

تخلص الورقة إلى أن فهم آلية المعالجة متعددة الوسائط لا يقل أهمية عن مقياس الأداء النهائي، مما يوفر مساراً نحو أنظمة ذكاء اصطناي أكثر شفافية وقوة. الكود والبيانات متاحة للعموم.