💻 computer science

Focusing Where Vision Matters: Selective Training for Large Vision Language Models via Visual Information Gain

تقدم هذه الورقة "كسب المعلومات البصرية" (VIG)، وهو مقياس قائم على الحيرة (perplexity) يحدد كمياً مساهمة المدخلات البصرية في عدم اليقين من التنبؤ، ويستفيد منه لتطوير مخطط تدريب انتقائي يعطي الأولوية للعينات والرموز (tokens) ذات المعلومات البصرية الغنية، مما يقلل بفعالية من الانحياز اللغوي في النماذج اللغوية البصرية الكبيرة مع تقليل الإشراف.

المؤلفون الأصليون: Seulbi Lee, Sangheum Hwang

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Seulbi Lee, Sangheum Hwang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التدريب الانتقائي لنماذج الرؤية واللغة الكبيرة عبر اكتساب المعلومات البصرية"، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: "الطالب الكسول" الذي يرتدي نظارات

تخيل طالباً ذكياً جداً (نموذج رؤية ولغة كبير - LVLM) كان يدرس من أجل اختبار ما. هذا الطالب يرتدي نظارات (المدخلات البصرية) تسمح له برؤية الصور. ومع ذلك، فقد اكتسب هذا الطالب عادة سيئة: وهي أنه كسول.

حتى عندما يريّه المعلم صورة لقارب، غالباً ما يتجاهل الطالب الصورة تماماً. بدلاً من ذلك، يقوم ببساطة بتخمين الإجابة بناءً على ما سمعه في الردهة (الانحياز اللغوي).

السؤال: "ما هو الأثر الذي يتركه القارب في الماء؟"
الطالب الكسول: "أوه، لقد سمعت هذه الكلمة من قبل. من المحتمل أن تكون 'الأثر المائي' (wake)." (لقد خمن الإجابة بشكل صحيح، لكنه لم ينظر إلى الصورة فعلياً).
المشكلة: إذا كانت الصورة تظهر سيارة، فسيظل الطالب يخمن "الأثر المائي" لأنه يعتمد على ذاكرته للكلمات، وليس على الدليل البصري. يؤدي هذا إلى "الهلوسة"، حيث يصف الطالب بثقة أشياء غير موجودة.

الحل: قياس "القيمة البصرية"

تساءل الباحثون: كيف نعلم الطالب أن ينظر فعلياً إلى الصورة؟

أدركوا أن ليست كل المواد الدراسية متساوية في القيمة. فبعض الأسئلة يمكن الإجابة عليها بمجرد قراءة النص، بينما تتطلب أسئلة أخرى ضرورة النظر إلى الصورة للحصول على الإجابة الصحيحة.

لحل هذه المشكلة، اخترعوا أداة جديدة تسمى اكتساب المعلومات البصرية (VIG). فكر في VIG كـ "مقياس للقيمة" لكل جملة وكلمة في بيانات التدريب.

كيف يعمل المقياس: يسأل الباحثون الطالب سؤالين:
1. "ما هي الإجابة إذا أعطيتك النص فقط؟" (يقوم الطالب بالتخمين).
2. "ما هي الإجابة إذا أعطيتك النص والصورة؟" (ينظر الطالب ويخمن).
الدرجة: إذا تغيرت إجابة الطالب بشكل كبير أو أصبح أكثر ثقة عندما رأى الصورة، فإن هذه البيانات تحصل على درجة VIG عالية. وهذا يعني أن الصورة كانت ضرورية.
الدرجة المنخفضة: إذا قدم الطالب نفس الإجابة سواء رأى الصورة أم لا، فإن هذه البيانات تحصل على درجة VIG منخفضة (أو سالبة). وهذا يعني أن الصورة كانت عديمة الفائدة لهذا السؤال المحدد.

الاستراتيجية: "التدريب الانتقائي"

بدلاً من جعل الطالب يدرس كل صفحة من كتابه المدرسي (والذي يتضمن العديد من الصفحات التي يخمن فيها بناءً على النص فقط)، استخدم الباحثون مقياس VIG لإنشاء دليل دراسي مخصص.

طبقوا استراتيجية "التدريب الانتقائي" عبر خطوتين:

اختيار أفضل الفصول (على مستوى العينة): قاموا باستبعاد الأسئلة التي لم يكن الطالب بحاجة فيها إلى الصورة للإجابة. واحتفظوا فقط بـ "فصول VIG العالية" حيث كانت الصورة حاسمة.
تحديد الكلمات المفتاحية (على مستوى الرمز/Token): حتى داخل الفصل الجيد، هناك كلمات مجردة (مثل "الـ"، "هو"، "هي"). وجد الباحثون أن الطالب يحتاج فقط للنظر إلى الصورة لتعلم كلمات محددة مثل الألوان ("أحمر")، أو المواقع ("يسار")، أو الأفعال ("يطير"). أخبروا الطالب: "لا تضيع طاقتك في دراسة كلمات الحشو؛ بل ركز كل انتباهك على الكلمات البصرية."

النتيجة: طالب أكثر حدة وذكاءً

من خلال تدريب النموذج فقط على البيانات التي كانت فيها الصورة مهمة حقاً، كانت النتائج مبهرة:

دراسة أقل، درجات أفضل: حقق النموذج درجات أعلى في الاختبارات البصرية أثناء دراسة كمية أقل من الكلمات الإجمالية (بنسبة تصل إلى 34% أقل من البيانات في بعض النماذج).
لا مزيد من التخمين: توقف النموذج عن الهلوسة. لقد تعلم أن يثق في "نظاراته" (الصورة) بدلاً من "إشاعات الردهة" (الانحياز النصي).
لا يزال ذكياً: والأهم من ذلك، لأنهم لم يتخلصوا من الأسئلة التي تعتمد على النص فقط تماماً (بل توقفوا فقط عن التركيز على التدريب البصري عليها)، لم يفقد النموذج قدرته على فهم اللغة. لقد ظل جيداً في القراءة، ولكنه أصبح أفضل بكثير في الرؤية.

الخلاصة

تجادل الورقة البحثية بأننا لسنا بحاجة لبناء نماذج أكبر أو أكثر تعقيداً لحل مشكلة "الطالب الكسول". بدلاً من ذلك، نحتاج فقط لنكون أكثر ذكاءً بشأن ما ندرّسه لهم. من خلال استخدام مقياس اكتساب المعلومات البصرية (VIG) لتصفية البيانات "المملة" والتركيز فقط على اللحظات التي تساعد فيها الصورة حقاً، يمكننا تدريب نماذج أكثر موثوقية، وأقل عرضة للتأليف، وأكثر كفاءة.

ملخص تقني: التدريب الانتقائي لنماذج اللغة والرؤية الكبيرة عبر كسب المعلومات البصرية

بيان المشكلة

حققت نماذج اللغة والرؤية الكبيرة (LVLMs) تقدماً ملحوظاً في المهام متعددة الوسائط، لكنها غالباً ما تعاني من التحيز اللغوي. وتحدث هذه الظاهرة عندما تعتمد النماذج بشكل مفرط على الأولويات النصية والمختصرات اللغوية بدلاً من ترسيخ استجاباتها في الأدلة البصرية. ونتيجة لذلك، تظهر هذه النماذج غالباً جهلاً بصرياً (تجاهل المحتوى الصوري البارز) وهلوسات (وصف أشياء أو سمات موجودة في الصورة بثقة رغم عدم وجودها).

تنقسم استراتيجيات التخفيف الحالية إلى فئتين:

التدخلات على مستوى النموذج: أساليب خالية من التدريب مثل فك التشفير التبايني أو التعديلات الهيكلية (مثل تعزيز الانتباه للصورة). وغالباً ما تسبب هذه الأساليب عبئاً إضافياً أثناء الاستدلال أو تفشل في حل مشكلات توزيع البيانات الأساسية.
الجهود المتمحورة حول البيانات: بناء مجموعات بيانات تعليمية عالية الجودة عبر التصفية أو استخدام نماذج أقوى. ومع ذلك، تفتقر هذه الأساليب عادةً إلى مقياس كمي لتحديد مدى اعتماد العينات الفردية أو الرموز (tokens) فعلياً على المعلومات البصرية. ونتيجة لذلك، يتم تدريب النماذج بشكل موحد على بيانات غير متجانسة، حيث تُعامل الأمثلة المهيمن عليها النص (والتي يمكن حلها عبر المنطق العام) بنفس أهمية الأمثلة التي تتطلب فهماً بصرياً دقيقاً.

المنهجية: كسب المعلومات البصرية (VIG)

يقترح المؤلفون نهجاً متمحوراً حول البيانات يعتمد على كسب المعلومات البصرية (VIG)، وهو مقياس قائم على الارتباك (perplexity) مصمم لقياس مساهمة المدخلات البصرية في تنبؤات النموذج.

1. تعريف VIG

يقيس VIG مدى انخفاض عدم اليقين في التنبؤ (الارتباك) الناتج عن المدخلات البصرية. رسمياً، بالنسبة لسؤال $Q$ وإجابة $A$ معينة، يُعرف VIG بأنه نسبة اللوغاريتم لفرق الارتباك بين حالة عدم وجود شرط بصري وحالة وجوده:

$\text{VIG} = \log \left( \frac{\text{PPL}(A | Q)}{\text{PPL}(A | Q, I)} \right)$

حيث أن:

$\text{PPL}(A | Q)$ هو الارتباك الذي يتم تقييمه باستخدام شرط نصي فقط (يتم محاكاته باستخدام صورة مموهة لإزالة الإشارات البصرية).
$\text{PPL}(A | Q, I)$ هو الارتباق الذي يتم تقييمه مع الصورة الفعلية $I$ .

تشير قيمة VIG العالية إلى أن المدخلات البصرية تقلل بشكل كبير من عدم اليقين لدى النموذج، مما يعني أن الإجابة تعتمد بشدة على الأدلة البصرية. وعلى العكس من ذلك، فإن قيم VIG المنخفضة أو السالبة تشير إلى أن الإجابة يمكن استخلاصها من الأولويات النصية وحدها.

2. التفكيك والتحليل

المقياس قابل للتفكيك على مستوى الرمز (token). إجمالي VIG لعينة ما هو متوسط فروق الخسارة لكل رمز:
$\text{VIG}_i = \frac{1}{T_i} \sum_{t=1}^{T_i} \left[ -\log q_\theta(a_t | a_{<t}, Q) - (-\log q_\theta(a_t | a_{<t}, Q, z_v)) \right]$
ويكشف التحليل أن VIG يميز بفعالية بين:

الرموز المرتكزة بصرياً: الألوان، العلاقات المكانية، سمات الأشياء، والحالات الفيزيائية (VIG موجب مرتفع).
الرموز المهيمن عليها نصياً: أدوات التعريف، حروف الجر، وعلامات الخطاب (VIG قريب من الصفر أو سالب).

3. التدريب الانتقائي الموجه بـ VIG

بالاستفيد من VIG، يقترح المؤلفون مخطط تدريب انتقائي يتكون من مرحلتين:

الاختيار على مستوى العينة: ترتيب جميع عينات التعليمات متعددة الوسائط حسب درجة VIG الخاصة بالعينة، والاحتفاظ فقط بأعلى نسبة $p\%$ (مثلاً 70%). هذا يؤدي إلى تصفية الأمثلة المهيمن عليها نصياً.
الاختيار على مستوى الرمز: ضمن العينات التي تم الاحتفاظ بها، يتم حساب VIG على مستوى الرمز. أثناء الضبط التعليمي (instruction tuning)، يتم حساب الخسارة حصرياً على الرموز التي يتجاوز فيها VIG الخاص بالرمز نفس العتبة المستخدمة في اختيار العينات. يتم حجب الرموز ذات الكسب البصري المنخفض من حساب الخسارة.

يضمن هذا النهج تركيز جهود التحسين للنموذج على الأجزاء الأكثر إفادة بصرياً من البيانات، مما يؤدي بفعالية إلى تقليم الإشارات ضعيفة الارتكاز.

المساهمات الرئيسية

تقديم VIG: مقياس مستقل عن النموذج وقائم على الارتباك، يقيس المساهمة البصرية على مستويي العينة والرمز، مما يتيح تحليلاً دقيقاً للاعتماد البصري.
التحقق التجريبي: إثبات أن VIG يتوافق مع تبعات الوسائط على مستوى الاختبارات المعيارية (مثل VIG مرتفع في مهام الوصف مثل COCO، ومنخفض/سالب في المهام الكثيفة نصياً مثل GQA) وينجح في تحديد الرموز المرتكزة بصرياً (الأسماء، الأفعال، الصفات) مقابل كلمات الربط.
مخطط التدريب الانتقائي: استراتيجية تدريب مبتكرة تعطي الأولوية لعينات ورموز VIG العالية. يحسن هذا الأسلوب الارتكاز البصري ويخفف من التحيز اللغوي مع تقليل كمية الإشراف المطلوبة بشكل كبير.

النتائج التجريبية

قيم المؤلفون التدريب الموجه بـ VIG على عدة نماذج (LLaVA-1.5 7B/13B, ShareGPT4V 7B, Open-Qwen2VL 2B) عبر اختبارات فهم الرؤية والهلوسة.

كفاءة البيانات: يحقق الأسلوب أداءً فائقاً باستخدام عدد أقل بكثير من الرموز. على سبيل المثال، استخدم نموذج LLaVA-1.5 13B المدرب باستخدام اختيار VIG فقط 12.14 مليون رمز نشط (انخفاض بنسبة 79% مقارنة بالنموذج المرجعي التقليدي) ومع ذلك تفوق على النموذج المرجعي الذي استخدم كامل البيانات عبر جميع الاختبارات.
مكاسب الأداء:
- فهم الرؤية: تحسينات متسقة في LLaVAW، MMVet، MMBench، CV-Bench، وDocVQA.
- تقليل الهلوسة: انخفاضات كبيرة في معدلات الهلوسة (على سبيل المثال، تحسن درجات CHAIR وMMHal)، مما يشير إلى اعتماد أقوى على الأدلة البصرية.
المقارنة مع SOTA: تفوق تدريب VIG أو عادل الطرق الحالية الخالية من التدريب (VCD, PAI, VAR) والطرق القائمة على التدريب (LACING). ومن الجدير بالذكر أن تدريب VIG هو متعامد مع هذه الطرق؛ حيث أدى دمج VIG مع استراتيجيات وقت الاستدلال أو التعديلات الهيكلية إلى مكاسب تراكمية.
المتانة: أظهرت النماذج المدربة بـ VIG مقاومة أعلى لـ "الإيمان الأعمى بالنص" عند اختبارها ضد تسميات توضيحية فاسدة تحتوي على أوصاف مضللة، متفوقة على طرق إزالة التحيز في وقت الاستدلال.
الحفاظ على القدرات النصية: ظل الأداء في الاختبارات النصية فقط (GSM8K, MMLU, HellaSwag, TruthfulQA) دون تغيير إلى حد كبير، مما يؤكد أن تحسينات الارتكاز البصري لا تأتي على حساب الفهم اللغوي العام.
توزيع البيانات: أظهر التحليل أن تصفية VIG تحافظ على المفاهيم ذات الذيل الطويل (احتفاظ موحد عبر مستويات تكرار الأشياء) بينما تستبعد انتقائياً المهام المهيمن عليها نصياً (مثل GQA) وتحتفظ بالمهام الكثيفة بصرياً (مثل OCR-VQA).

الأهمية والادعاءات

يزعم البحث أن القياس الصريح للمساهمة البصرية لبيانات التدريب هو خطوة أساسية نحو بناء نماذج LVLM أكثر موثوقية. ومن خلال الانتقال من هدف تدريب موحد إلى هدف انتقائي بناءً على كسب المعلومات البصرية، أثبت المؤلفون أن:

التحيز اللغوي هو مشكلة بيانات في المقام الأول: انتشار الأمثلة الضعيفة الارتكاز والمهيمن عليها نصياً في مجموعات البيانات القياسية يدفع النماذج لتجاهل المدخلات البصرية.
الجودة فوق الكمية: التركيز حصرياً على العينات والرموز الأكثر إفادة بصرياً يسمح للنماذج بتعلم ارتكاز بصري قوي بجزء ضئيل من تكلفة الإشراف.
تحسين جوهري: على عكس حيل وقت الاستدلال التي تلتف حول المشكلة، يعالج التدريب الموجه بـ VIG التحيز على مستوى التمثيل، مما يجبر النموذج على تعلم التمييز بين الأولويات النصية والأدلة البصرية الحقيقية.

يقر المؤلفون بوجود قيد عملي: العبء الحسابي لحساب درجات VIG (الذي يتطلب عمليات تمرير أمامية إضافية). ومع ذلك، يشيرون إلى أن هذه خطوة معالجة مسبقة تتم لمرة واحدة وقابلة للتوازي، ويمكن إعادة استخدام الدرجات الناتجة عبر دورات التدريب المختلفة، مما يجعل النهج قابلاً للتطبيق لتعظيم كفاءة البيانات في تدريب نماذج LVLM قوية.