🤖 AI

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

تقدم هذه الورقة البحثية VisNec، وهو إطار عمل مبني على أسس منهجية يقيس الضرورة البصرية لتصفية العينات الزائدة وغير المتوافقة من مجموعات بيانات التعليمات متعددة الوسائط، مما يمكن النماذج من تحقيق أداء فائق باستخدام كمية أقل بكثير من بيانات التدريب.

المؤلفون الأصليون: Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً كيف يفهم العالم. لديك مكتبة ضخمة من الكتب والصور، ولكن هناك عقبة: ليست كل هذه الكتب مفيدة حقاً.

بعض الكتب تحتوي على صور هي مجرد ديكور (يمكنك تخمين الإجابة بمجرد قراءة النص). وبعض الكتب تحتوي على صور تناقض النص تماماً (النص يقول "يوم مشمس"، لكن الصورة تظهر عاصفة). وبعض الكتب هي "الجوهر الحقيقي"، حيث تكون الصورة ضرورية تماماً لحل اللغز.

ورقة البحث "VisNec" تتحدث عن أمين مكتبة ذكي جداً يمكنه فرز هذه المكتبة الضخمة واختيار أفضل وأكثر الكتب ضرورة فقط لتعليم الروبوت.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "تأثير ورقة الغش" (The Cheat Sheet Effect)

تخيل أنك تؤدي اختباراً.

السؤال المكرر (Redundant Question): "ما هو لون العشب؟"
- الفخ: أنت لا تحتاج للنظر إلى صورة العشب لتعرف أن الإجابة هي "أخضر". أنت تعرف ذلك بالفعل من معلوماتك العامة. إذا تعلم الروبوت من هذا، فسيصبح كسولاً؛ سيتوقف عن النظر إلى الصور ويبدأ في التخمين بناءً على الكلمات فقط.
السؤال غير المتوافق (Misaligned Question): "هل هذا يوم مشمس؟" (لكن الصورة تظهر كهفاً مظلماً وممطراً).
- الفخ: النص يقول "نعم"، لكن الصورة تقول "لا". إذا حاول الروبوت التعلم من هذا، فسيصاب بالارتباك ويبدأ في "الهلوسة" (اختلاق أشياء من خياله).

الطرق الحالية غالباً ما تأخذ مجموعة عشوائية من الأسئلة من المكتبة. وهذا يعني أن الروبوت يضيع وقته في دراسة "أوراق الغش" (بيانات مكررة) ويصاب بالارتباك بسبب "التعليمات السيئة" (بيانات غير متوافقة).

2. الحل: "اختبار عصب العينين" (VisNec)

ابتكر المؤلفون أداة تسمى VisNec (درجة الضرورة البصرية - Visual Necessity Score). فكر فيها كأنها اختبار عصب العينين لكل سؤال في المكتبة.

إليك العملية:

الجولة "العمياء": يحاول الروبوت الإجابة على سؤال دون النظر إلى الصورة (وهو معصوب العينين). يسجل مدى صعوبة التخمين.
الجولة "المبصرة": يحاول الروبوت الإجابة على نفس السؤال مع النظر إلى الصورة. يسجل مدى صعوبة الأمر هذه المرة.
الدرجة (Score): تحسب VisNec الفرق بين التجربتين.
- درجة عالية (ضرورة بصرية): عانى الروبوت عندما كان معصوب العينين، لكنه أجاب بشكل صحيح مع الصورة. الحكم: "هذه الصورة أساسية! احتفظ بهذه العينة."
- درجة صفرية (مكررة): أجاب الروبوت بشكل صحيح حتى وهو معصوب العينين. الحكم: "هذه الصورة عديمة الفائدة هنا. استبعد هذه العينة."
- درجة سالبة (غير متوافقة): أدى الروبوت بشكل أسوأ مع الصورة مقار بحالته بدونها. الحكم: "هذه الصورة مربكة أو خاطئة. تخلص منها فوراً!"

3. الاستراتيجية: "القائمة المتوازنة" (Semantic Clustering)

إذا اخترت فقط أعلى 15% من الأسئلة ذات "الدرجات العالية"، فقد ينتهي بك الأمر بمكتبة مليئة بأسئلة "الهندسة" فقط وتفتقر لأسئلة "الطبخ". سيصبح الروبوت عبقرياً في الهندسة لكنه سيكون طباخاً سيئاً.

لحل هذه المشكلة، تستخدم VisNec استراتيجية القائمة (Menu Strategy):

تقوم بتجميع الأسئلة حسب الموضوع (مثلاً: "الطبخ"، "السيارات"، "الحيوانات").
داخل كل مجموعة، تختار أفضل الأسئلة ذات "الدرجات العالية".
النتيجة: يحصل الروبوت على نظام غذائي متوازن من المعرفة، ولكن كل لقمة منه مليئة بالقيمة البصرية.

4. النتيجة: القليل يعني الكثير

اختبرت الورقة هذه الطريقة على مجموعات بيانات ضخمة (مثل LLaV-665K، التي تحتوي على 665,000 عينة).

الطريقة القديمة: التدريب على جميع الـ 665,000 عينة. أمر مكلف، بطيء، ويجعل الروبوت يكتسب عادات سيئة.
طريقة VisNec: التدريب على 15% فقط من العينات (حوالي 98,000)، ولكنها الـ 15% المثالية.

النتيجة النهائية:
الروبوت الذي تدرب على هذه المجموعة المختارة بعناية (15%) أدى في الواقع بشكل أفضل من الروبوت الذي تدرب على مجموعة البيانات الكاملة!

تعلم بشكل أسرع.
ارتكب أخطاء أقل.
لم يرتبك بسبب البيانات السيئة.

الخلاصة الكبرى

تثبت VisNec أنه في عالم الذكاء الاصطناعي، الجودة تتفوق على الكمية. بدلاً من إغراق الروبوت بالملايين من الأمثلة المتوسطة، يجب أن نعطيه مجموعة مختارة وصغيرة من الأمثلة حيث تلعب الصور دوراً جوهرياً. إنه الفرق بين إطعام طالب موسوعة كاملة لا يستطيع قراءتها، وبين إعطائه بعض القصص المصورة المثالية التي تعلمه بالضبط ما يحتاج لمعرفته.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "VisNec: قياس واستغلال الضرورة البصرية لضبط التعليمات متعدد الوسائط".

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل كبير على ضبط التعليمات (Instruction Tuning) لتعلم الاستدلال عبر الوسائط. ومع ذلك، تعاني مجموعات بيانات التعليمات واسعة النطاق الحالية (مثل LLaVA-665K) من مشكلتين حرجتين تعيقان التدريب الفعال والقوي:

الفائض البصري (Visual Redundancy): يمكن الإجابة على جزء كبير من العينات باستخدام الأولويات اللغوية وحدها (اختصارات نصية فقط) دون الحاجة إلى مدخل بصري. التدريب على هذه العينات يهدر الموارد ويشجع النماذج على تجاهل الأدلة البصرية.
عدم التطابق متعدد الوسائط (Multimodal Misalignment): تحتوي بعض العينات على أخطاء في التوصيف أو أزواج صور-نصوص مشوشة حيث يتناقض المحتوى البصري مع النص. التدريب على هذه العينات يؤدي فعلياً إلى تدهور أداء النموذج وتضخيم الهلوسة.
عدم كفاءة طرق الاختيار الحالية: غالباً ما تتعامل استراتيجيات اختيار البيانات الحالية (مثل تأثير التدرج، أو التجميع، أو درجات الصعوبة النصية فقط) مع البيانات متعددة الوسائط ككتلة واحدة. وهي تفشل في التمييز صراحةً بين المساهمة المستقلة للوسيط البصري، مما يؤدي إلى اختيار عينات "متعددة الوسائط زائفة" تعزز الاختصارات اللغوية بدلاً من الاستدلال الحقيقي عبر الوسائط.

2. المنهجية: إطار عمل VisNec

يقترح المؤلفون VisNec (درجة الضرورة البصرية)، وهو إطار عمل مبدئي لاختيار البيانات يقيس المساهمة الهامشية للمدخل البصري في عدم اليقين التنبئي للنموذج. يعمل الإطار في مرحلتين رئيسيتين:

أ. حساب درجة الضرورة البصرية (VisNec)

مستوحى من نظرية المعلومات القابلة للاستخدام بصرياً (V-usable information)، يقيس VisNec مدى تقليل المدخل البصري لعدم اليقين التنبئي بما يتجاوز ما هو متاح بالفعل من النص.

التمرير الأمامي الأعمى (Blind Forward Pass): بالنسبة لعينة معينة $(v, t, y)$ (صورة، تعليمات نصية، استجابة مستهدفة)، يقوم النموذج بتمرير أمامي حيث يتم استبدال رموز الصورة برموز حشو (padding tokens) ويتم كبت مساهمات الانتباه الخاصة بها. ينتج عن ذلك خسارة نصية فقط ( $\mathcal{L}_{\text{Blind}}$ )، والتي تمثل عدم يقين النموذج باستخدام السياق اللغوي فقط.
التمرير الأمامي متعدد الوسائط (Multimodal Forward Pass): يقوم النموذج بتمرير أمامي قياسي مع كل من الصورة والنص، مما ينتج عنه خسارة متعددة الوسائط ( $\mathcal{L}_{\text{MM}}$ ).
حساب الدرجة: درجة VisNec ( $S_{\text{VisNec}}$ $S_{VisNec}$ ) هي الفرق بين هاتين الخسارتين:
$S_{\text{VisNec}} = \mathcal{L}_{\text{Blind}} - \mathcal{L}_{\text{MM}}$
- $S_{\text{VisNec}} > 0$ (حرج بصرياً): الصورة تقلل الخطأ بشكل كبير. تتطلب العينة استدلالاً بصرياً حقيقياً.
- $S_{\text{VisNec}} \approx 0$ (فائض/زائد عن الحاجة): الصورة لا تضيف أي قيمة؛ يمكن حل الإجابة عبر النص وحده.
- $S_{\text{VisNec} < 0}$ (غير متطابق): الصورة تزيد من الخطأ (على سبيل المثال، بسبب التوصيفات المتناقضة)، مما يشير إلى وجود ضجيج أو عدم تطابق.

ب. أخذ العينات الطبقي الواعي دلالياً

لمنع انحياز المجموعة المختارة نحو أنواع مهام محددة (مثل اختيار المهام الهندسية ذات التعقيد البصري العالي مع تجاهل مهام التعرف الضوئي على الحروف OCR)، يستخدم الإطار استراتيجية اختيار من الخشن إلى الناعم:

تجميع التعليمات: يتم تضمين (Embedding) التعليمات النصية وتجميعها باستخدام K-Means ( $K=20$ ) بناءً على القصد الدلالي (مثل تجميع "صف الصورة" مقابل "حل المسألة الرياضية").
الاختيار داخل المجموعات (Intra-Cluster Selection): داخل كل مجموعة دلالية، يتم استبعاد العينات التي تكون فيها $S_{\text{VisNec}} \leq 0$ . يتم ترتيب العينات المتبقية بناءً على درجات VisNec الخاصة بها، ويتم اختيار أعلى نسبة $r\%$ (على سبيل المثال 15%). يضمن ذلك أن تكون المجموعة النهائية ضرورية بصرياً ومتنوعة المهام في آن واحد.

3. المساهمات الرئيسية

تحديد فجوة حرجة: تسلط الورقة الضوء على أن طرق اختيار البيانات الحالية تهمل المساهمة المستقلة للوسيط البصري، مما يؤدي إلى الاحتفاظ بعينات "متعددة الوسائط زائفة" تعيق الاستدلال الحقيقي عبر الوسائط.
إطار عمل VisNec: تقديم طريقة اختيار بيانات خفيفة الوزن وتعتمد على النموذج، تقيس صراحةً القيمة الهامشية للمدخل البصري من خلال مقارنة الخسارة المقابلة (الأعمى مقابل متعدد الوسائط).
أداء يضاهي أحدث المعايايت (SOTA): إثبات أن اختيار مجموعة فرعية صغيرة من البيانات بناءً على الضرورة البصرية يحقق أو يتجاوز أداء تدريب البيانات الكاملة عبر معايير متنوعة ومقاييس نماذج مختلفة.

4. النتائج التجريبية

قيم المؤلفون VisNec على مجموعتي بيانات LLaVA-665K و Vision-Flan-186K، من خلال ضبط نماذج LLaVA-v1.5-7B و Qwen2.5-VL عبر 10 معايير (بما في ذلك VQAv2، MME، MM-Bench، و POPE).

الكفاءة والأداء:
- على LLaVA-665K، حقق التدريب على 15% فقط من البيانات المختارة بواسطة VisNec نسبة 100.2% من أداء البيانات الكاملة، متفوقاً على جميع النماذج المرجعية (Random, IFD, XMAS, CoIDO, إلخ).
- على Vision-Flan-186K، حقق VisNec أداءً نسبياً قدره 115.8%، متفوقاً بشكل كبير على النموذج المرجعي للبيانات الكاملة.
التعميم: تعمم الطريقة بفعالية عبر مقاييس نماذج مختلفة (3B, 7B, 32B) وبنيات مختلفة (LLaVA, Qwen2.5-VL)، مما يثبت أنها تلتقط القيمة الجوهرية للبيانات بدلاً من التحيزات الخاصة بالنموذج.
دراسات الاستئصال (Ablation Studies):
- مكونات الخسارة: أدى استخدام الخسارة النصية فقط أو الخسارة متعددة الوسائط فقط إلى أداء أقل (95.6% و 94.0% على التوالي) مقارنة بالفرق الكامل لـ VisNec (100.2%)، مما يؤكد ضرورة إشارة التباين (Contrastive Signal).
- التجميع: أدى إزالة التجميع الدلالي (استخدام Top-VisNec فقط) إلى انخفاض الأداء بنسبة ~3.2%، مما يسلط الضوء على أهمية الحفاظ على تنوع المهام.
تحليل التكلفة: يتميز VisNec بكفاءة عالية. بلغت التكلفة الإجمالية (الاختيار + الضبط الدقيق) 23.0 ساعة GPU، مقارنة بـ 76.0 ساعة GPU للضبط الدقيق للبيانات الكاملة. وهو أسرع بكثير من طرق الاختيار الأخرى مثل Self-Filter (84.5 ساعة) ولا يتطلب واجهات برمجة تطبيقات (APIs) مكلفة لنماذج لغوية كبيرة خارجية.

5. الأهمية

يمثل VisNec تحولاً جذرياً في تنسيق البيانات متعددة الوسائط. فبدلاً من مجرد التصفية من أجل "الصعوبة" أو "التنوع"، فإنه يفلتر من أجل الضرورة البصرية.

كفاءة البيانات: يثبت أن "الأقل هو الأكثر" في الضبط متعدد الوسائط؛ حيث إن مجموعة فرعية صغيرة وعالية الجودة من العينات التي تعتمد حقاً على البصر هي أكثر فعالية من مجموعات البيانات الضخمة والمشوشة.
القوة (Robustness): من خلال التصفية الصريحة للعينات غير المتطابقة والفائضة، يحسن VisNec من قوة النموذج ويقلل من الهلوسة.
القابلية للتوسع: الطريقة خفيفة الوزن حاسوبياً ومستقلة عن البنية، مما يجعلها حلاً عملياً لتوسيع نطاق النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من الجيل التالي باستخدام موارد حوسبة محدودة.