🤖 AI

VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models

تقدم هذه الورقة VLM-RobustBench، وهو معيار شامل لتقييم متانة أربع عائلات من نماذج الرؤية واللغة عبر 133 إعداداً للفساد، كاشفةً أن النماذج الحالية قوية دلالياً ولكنها هشة مكانياً، حيث تسبب التشوهات الهندسية منخفضة الشدة انخفاضات في الأداء أكبر بكثير من الفسادات الضوئية شديدة الوضوح بصرياً.

المؤلفون الأصليون: Rohit Saxena, Alessandro Suglia, Pasquale Minervini

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rohit Saxena, Alessandro Suglia, Pasquale Minervini

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً جديداً يُدعى نموذج الرؤية واللغة (VLM). هذا الطالب ذكي للغاية في قراءة الكتب والنظر إلى الصور. إذا عرضت عليه صورة عالية الدقة لقطة وسألته: "ما هذا؟"، فسيجيب بشكل صحيح بنسبة 99% من المرات. إنه يتصدر فصله في الاختبارات القياسية.

ولكن، تكمن المشكلة في أن: الحياة الواقعية ليست صورة استوديو مثالية.

في العالم الحقيقي، تصبح الصور ضبابية لأنك تحركت بسرعة كبيرة، أو تصبح مغبشة بسبب المطر، أو تصبح مشوشة (بكسلات) بسبب بطء الإنترنت، أو تصبح مقلوبة لأن شخصاً ما أمسك الكاميرا بشكل خاطئ.

ورقة البحث التي شاركتها، VLM-RobustBench، هي بمثابة "اختبار جهد" لهؤلاء الطلاب الأذكياء جداً. أراد الباحثون معرفة: ماذا يحدث عندما نلقي بالفوضى الواقعية على هذه النماذج؟

إليك تفصيل نتائجهم، باستخدام بعض التشبيهات البسيطة:

1. مفاجأة "ضباب الزجاج" (المفارقة)

قد تعتقد أنه إذا جعلت الصورة تبدو سيئة للغاية (مثل تغطيتها بالطين السميك أو تحويلها إلى الأبيض والأسود)، فإن الطالب سيصاب بالارتباك.

الواقع: النماذج قوية جداً ضد الصور "القبيحة". يمكنها التعامل مع الضجيج الشديد أو الإضاءة السيئة بشكل مدهش.
الصدمة: النماذج تنهار أمام التغييرات البسيطة والدقيقة.
- التشبيه: تخيل طباخاً ماهراً يمكنه طهي وجبة مثالية حتى لو كان المطبخ يحترق (شدة عالية). لكن، إذا أعدت ترتيب التوابل على الطاولة قليلاً بحيث تغير ترتيبها (شدة منخفضة)، فسينسى الطباخ كيف يطبخ تماماً.
- النتيجة: تسبب "ضباب الزجاج" (الذي يبدو كأنك تنظر من خلال نافذة متسخة قليلاً) ذو الشدة المنخفضة في فشل النماذج بشكل أكبر بكثير مما فعله انخفاض السطوع ذو الشدة العالية. النماذج قوية دلالياً (تعرف ماهية الأشياء) ولكنها هشة مكانياً (تصاب بالارتباك إذا تغير شكل أو موقع الأشياء قليلاً).

2. كارثة "القط المقلوب"

حاول الباحثون استخدام بعض الحيل البسيطة جداً، مثل قلب الصورة رأسياً (مقلوبة) أو عكس الألوان (جعل القطة السوداء تبدو بيضاء).

التشبيه: الأمر يشبه سؤال إنسان: "هل هذا كوب؟" بينما تمسك الكوب مقلوباً. الإنسان سيقول: "إنه لا يزال كوباً، لكنه مقلوب فقط".
النتيجة: أصيبت نماذج (VLMs) بالذعر. تسبب قلب الصورة في انخفاض هائل في الأداء، وأحياناً كان أسوأ مما لو كنت قد كرمشت الصورة في كرة. هذا يشير إلى أن النماذج لديها "عادة" قوية في توقع أن تكون الأشياء قائمة، وكسر هذه العادة يكسر عقلها.

3. فخ "إعادة أخذ العينات" (Resampling)

كان القاتل الأكبر لهذه النماذج هو إعادة أخذ العينات (تغيير حجم الصورة، مثل التكبير أو التصغير، أو التمدد).

التشبيه: تخيل لغزاً (بازل). إذا أخذت قطعة من اللغز وقمت بتمديدها قليلاً، فإن الصورة الموجودة عليها ستتشوه. النموذج يشبه روبوتاً حفظ الشكل الدقيق لكل قطعة. إذا مددت القطعة، فلن يتعرف الروبوت عليها على الإطلاق.
النتيجة: تسببت عمليات مثل رفع العينات (جعل الصورة الصغيرة كبيرة) أو التحويل المرن (تشويه الصورة مثل الجيلي) في فقدان النماذج لما يصل إلى 34% من دقتها. هذا يعتبر "فشلاً كارثياً".

4. نوعان مختلفان من الاختبارات

اختبر الباحثون النماذج على نوعين مختلفين من الأسئلة:

MMBench (اختبار "العيون"): أسئلة تتطلب النظر بدقة إلى الصورة (مثلاً: "ما لون السيارة؟"). هنا، كانت النماذج هشة للغاية.
MMMU-Pro (اختبار "الدماغ"): أسئلة تتطلب تفكيراً معقداً (مثلاً: "بناءً على هذا الرسم البياني، ما هو الاتجاه الاقتصادي؟"). هنا، اعتمدت النماذج أكثر على معرفتها النصية وأقل على الصورة. إذا كانت الصورة ضبابية، كانوا ببساطة يخمنون بناءً على النص، لذا لم يفشلوا بنفس القدر.

5. كذبة "الشدة"

عادةً ما نفترض أنه كلما كانت الصورة أكثر تشوهاً، زادت صعوبة فهمها.

النتيجة: هذا خاطئ بالنسبة للذكاء الاصطنا Artificial Intelligence.
التشبيه: فكر في سيارة. سيارة بإطار مسطح (شدة عالية) قد يكون من الصعب قيادتها. لكن سيارة ببرغي مرتخٍ في عجلة القيادة (شدة منخفضة) قد تتحطم فوراً. "البرغي المرتخي" (ضباب الزجاج ذو الشدة المنخفضة) كان أكثر خطورة على الذكاء الاصطناعي من "الإطار المسطح" (الضجيج ذو الشدة العالية).

ماذا يعني هذا للمستقبل؟

تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطري الحالية تشبه العباقرة الذين يعانون من أيدٍ مرتجفة. هم يعرفون الكثير من الحقائق، لكنهم سيئون جداً في التعامل مع الخصائص الفيزيائية للعالم الحقيقي.

التوصيات:

تدريبهم على بيانات "فوضوية": لا تكتفِ بعرض صور مثالية عليهم. اعرض عليهم صوراً مقلوبة، وصوراً ممددة، وصوراً ضبابية.
اختبارهم على بيانات "فوضوية": لا تعطهم اختباراً نظيفاً فقط. إذا كان النموذج لا يستطيع التعامل مع صورة مقلوبة قلياً، فهو ليس جاهزاً للسيارات ذاتية القيادة أو للروبوتات الطبية.
إصلاح "الأيدي المرتجفة": نحن بحاجة لتعليم هذه النماذج أن القطة تظل قطة، حتى لو كانت الصورة ممددة أو كانت القطة مقلوبة.

باختصار: نماذج الذكاء الاصطنا هذه هي دودة كتب بارعة، لكنها مرعوبة من إطار صورة مائل قليلاً. وإلى أن نصلح ذلك، لا يمكننا الوثوق بها تماماً في العالم الحقيقي الفوضوي وغير المتوقع.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VLM-RobustBench: معيار شامل لمتانة نماذج الرؤية واللغة".

1. بيان المشكلة

بينما حققت نماذج الرؤية واللغة (VLMs) أداءً فائقاً في المعايير المنسقة وعالية الجودة، إلا أن موثوقيتها في ظل تغيرات التوزيع في العالم الحقيقي لا تزال غير مفهومة بشكل كافٍ. تعتمد تقييمات المتانة الحالية غالباً على افتراضات مستمدة من الرؤية الحاسوبية (مثل ImageNet-C)، حيث يرتبط زيادة التشوه البصري خطياً بزيادة الصعوبة. ومع ذلك، تختلف نماذج الرؤية واللغة جوهرياً لأنها تربط الإدراك البصري بالاستدلال اللغوي.

تحدد الورقة ثلاث فجوات حرجة:

الافتقار إلى التقييم المنهجي: لا يوجد معيار شامل لنماذج الرؤية واللغة يغطي طيفاً واسعاً من التشويهات الطبيعية (الضوضاء، الطقس، الهندسة، الرقمية) ومستويات شدة متنوعة.
مفارقة الشدة (The Severity Paradox): من غير الواضح ما إذا كانت التشويهات "شديدة بصرياً" (مثل الضوضاء الكثيفة) هي في الواقع أكثر ضرراً لنماذج الرؤية واللغة من الاضطرابات المكانية "الخفيفة بصرياً" (مثل إعادة أخذ العينات الطفيفة أو التمويه).
الهشاشة المكانية: من غير المعروف ما إذا كانت بنيات نماذج الرؤية واللغة الحالية قوية تجاه العيوب الهندسية وإعادة أخذ العينات (resampling)، والتي تعد شائعة في النشر الواقعي (مثل لقطات الشاشة، تغيير الحجم، الضغط).

2. المنهجية

2.1. بناء المعيار (VLM-RobustBench)

قام المؤلفون ببناء معيار واسع النطاق يتكون من 133 تكويناً مختلفاً للتعزيز تم تطبيقها على مجموعتي بيانات متنوعتين:

مجموعات البيانات:
- MMBench: معيار يركز على الإدراك البريء بصرياً وفهم الصور والنصوص الدقيق.
- MMMU-Pro: معيار موجه نحو الاستدلال يغطي المعرفة الخبيرة عبر العلوم والتكنولوجيا والعلوم الإنسانية.
تصنيف التعزيز (Augmentation Taxonomy): تتضمن المجموعة 49 نوعاً من التعزيز مصنفة إلى:
- 42 تشويهاً قائماً على الشدة: مقسمة إلى 9 فئات (التمويه، الضوضاء، الطقس، الرقمية، الهندسية، الانسداد، اللون/النغمة، الدقة، والخاص بنماذج الرؤية واللغة). يتم تقييم كل منها عند ثلاث درجات شدة: منخفضة، متوسطة، عالية.
- 7 تحويلات ثنائية: تحويلات (تشغيل/إيقاف) (مثل التدرج الرمادي، عكس الألوان، القلب، تبديل القنوات) تُطبق دون معاملات شدة.
النماذج التي تم تقييمها: 11 نموذجاً من فئة الأوزان المفتوحة من أربع عائلات: Qwen3-VL، InternVL3.5، Molmo2، و Gemma 3.

2.2. مقاييس التقييم

لقياس المتانة بما يتجاوز مجرد الدقة، تقدم الورقة عدة مقاييس:

انخفاض الدقة ( $\Delta$ ): الفرق بين الدقة في الحالة النظيفة والدقة في الحالة المشوهة ( $Acc_{clean} - Acc_{corrupted}$ ).
الربح البصري (VG): $Acc_{clean} - Acc_{\emptyset}$ (حيث تُزال الصور). يقيس هذا مدى اعتماد النموذج على المدخلات البصرية مقابل الأولويات اللغوية.
خطأ التشويه النسبي (RCE): يقوم بتطبيع انخفاض الدقة بالنسبة للربح البصري ( $\Delta / VG$ ). وهذا يسمح بالمقارنة بين النماذج ذات الاعتماد البصري الأساسي المختلف.
مقاييس مخاطر الذيل (Tail-Risk Metrics):
- أسوأ انخفاض (Worst-Case Drop): أقصى انخفاض في الدقة عبر جميع التكوينات الـ 133.
- معدل الفشل الشديد (Severe-Failure Rate): نسبة التكوينات التي تسببت في انخفاض $>10\%$ من الدقة الأساسية.
- أسوأ حالة عند الشدة المنخفضة (Worst@Low): أقصى انخفاض لوحظ عند الشدة المنخفضة، مما يختبر الحساسية للاضطرابات الطفيفة.
متوسط خطأ التشويه (mCE): مقتبس من ImageNet-C لمقارنة النماذج مقابل مرجع أساسي (النموذذ صاحب أدنى دقة نظيفة).

3. المساهمات والنتائج الرئيسية

3.1. اكتشاف "الهشاشة المكانية"

الاكتشاف الأكثر أهمية هو أن نماذج الرؤية واللغة قوية دلالياً ولكنها هشة مكانياً.

كوارث إعادة أخذ العينات (Resampling Catastrophes): العمليات مثل Upsample و Elastic Transform تسبب فشلاً كارثياً، حيث تصل انخفاضات الدقة إلى 34 نقطة مئوية (pp).
الحساسية الهندسية: حتى الاضطرابات الهندسية الطفيفة (مثل Glass Blur منخفض الشدة) تضعف الأداء بشكل كبير (على سبيل المثال، انخفاض ~8 نقاط مئوية في MMBench)، وغالباً ما تكون أكثر تأثيراً من التشويهات الضوئية الشديدة مثل الضوضاء عالية الكثافة أو الضغط.
ضعف التحويلات الثنائية: التحويلات التافهة مثل القلب الرأسي (Vertical Flip) و عكس الألوان (Color Inversion) تسبب انخفاضات كارثية (>10 نقاط مئوية) في MMBetch، متجاوزة تأثير العديد من التشويهات عالية الشدة. يشير هذا إلى أن نماذج الرؤية واللغة تشفر أولويات قوية للاتجاه واللون، والتي عندما تُنتهك، تكسر النموذج.

3.2. عدم التطابق في الشدة (مفارقة الشدة)

تتحدى الورقة الافتراض بأن الشدة البصرية تتنبأ بصعوبة النموذج.

عدم الرتابة (Non-Monotonicity): الاضطرابات المكانية منخفضة الشدة غالباً ما تسبب انخفاضات أكبر في الدقة من التشويهات الضوئية عالية الشدة. على سبيل المثال، Glass Blur منخفض الشدة أكثر ضرراً من تقليل السطوع عالي الشدة.
معدلات الانتهاك: في MMMU-Pro، 56.1% من مسارات التشويه تنتهك الرتابة (أي أن زيادة الشدة لا تؤدي باستمرار إلى زيادة الصعوبة).

3.3. نقاط الضعف الخاصة بكل عائلة

المتانة ليست دالة مباشرة لعدد المعلمات. تظهر البنيات المختلفة "بصمات" فريدة:

InternVL3.5 حساس جداً لتبكسل الصورة (pixelation) والضوضاء.
Qwen3-VL يظهر صموداً أفضل تجاه الضوضاء ولكنه يظل عرضة لإعادة أخذ العينات.
Gemma-3 يعاني من ارتفاع في خطأ التشويه النسبي (RCE) في مهام الاستدلال، مما يشير إلى أن مساهمته البصرية تُدمر بسهولة بسبب التشويهات.

3.4. الإدراك مقابل الاستدلال

MMBench (الإدراك): يظهر ربحاً بصرياً (VG) عالياً وهو حساس جداً لتشويهات إعادة أخذ العينات والمكانية.
MMMU-Pro (الاستدلال): يظهر VG أقل، مما يعني أن النماذج تعتمد أكثر على الأولويات اللغوية. وبناءً على ذلك، فإن التشويهات التي تدمر المعلومات البصرية لها تأثير مطلق أقل ولكن تأثير نسبي (RCE) أعلى لأن المقام (VG) صغير. ومن المثير للاهتمام، بالنسبة لبعض النماذج (مثل Qwen3-VL-4B في MMMU-Pro)، يمكن للتشويهات أن تحسن الأداء (RCE سالب)، مما يشير إلى أن النموذج كان يعتمد على إشارات بصرية غير صحيحة وتمت إزالتها بواسطة التشويه.

4. الأهمية والآثار المترتبة

إعادة تعريف المتانة: تجادل الورقة بأن تقييمات المتانة الحالية التي تركز على الضوضاء والطقس غير كافية. يجب أن تعطي البروتوكولات المستقبلية الأولوية لـ الثبات الهندسي وإعادة أخذ العينات.
توصيات التدريب:
- يجب أن تنتقل مسارات التدريب إلى ما وراء "تذبذب اللون" (color jitter) و "الخلط" (mixup) التقليدي لتشمل إعادة أخذ العينات الثقيلة، والتشوهات المرنة، والقلب، والتمويه.
- يجب أن تكون المناهج الدراسية خاصة بكل عائلة، بحيث تستهدف أوضاع الفشل الفريدة للبنيات المختلفة بدلاً من تعزيز الضوضاء العام.
معايير التقييم: يجب أن تبلغ المعايير عن الأداء على "تقسيمات التشويه المكاني" (مثلاً: نظيف مقابل مقلوب مقابل معاد أخذ عيناته) لمعاقبة النماذج الهشة.
التطبيقات الحرجة للسلامة: بالنسبة للروبوتات والقيادة الذاتية، حيث تواجه المستشعرات تشوهات هندسية وآثار إعادة أخذ العينات، تشكل النماذج الحالية خطراً كبيراً في حالات الذيل (tail risk). النتائج تحفز تطوير نماذج ذات اتساق مكاني أقوى.

الخاتمة

يكشف VLM-RobustBench عن ضعف حرج في نماذج الرؤية واللغة الحديثة: فهي معرضة بشدة للآثار المكانية وإعادة أخذ العينات الطفيفة، وغالباً ما تفشل بشكل أكثر دراماتيكية في مواجهة الاضطرابات البصرية "الخفيفة" مقارنة بالضوضاء البصرية الشديدة. هذه "الهشاشة المكانية" تشير إلى أن البنيات القائمة على نظام الرقع (patch-based) التي تعتمد عليها هذه النماذج تعاني من صعوبة في الثبات الهندسي، مما يستوجب تحولاً في كل من استراتيجيات التدريب وبروتوكولات التقييم لضمان النشر الموثوق في البيئات الواقعية.