🤖 AI

Language-Guided Invariance Probing of Vision-Language Models

تقدم هذه الورقة البحثية "استقصاء الثبات الموجه لغوياً" (LGIP)، وهو معيار مرجعي جديد يقيم نماذج الرؤية واللغة في قدرتها على الحفاظ على الاتساق مع إعادة الصياغة التي تحافظ على المعنى، والحساسية تجاه التعديلات الدلالية التي تغير المعنى، مما يكشف أنه بينما تحقق بعض النماذج مثل EVA02-CLIP توازناً قوياً، تظهر نماذج أخرى مثل SigLIP هشاشة لغوية كبيرة غالباً ما لا تكتشفها مقاييس الاسترجاع القياسية.

المؤلفون الأصليون: Jae Joong Lee

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jae Joong Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً (روبوت) فائق الذكاء، يمكنه النظر إلى صورة ووصفها بشكل مثالي. قد تعتقد: "رائع! إذا عرضت عليه صورة لكلب أحمر، سيقول دائماً 'كلب أحمر'، بغض النظر عن الطريقة التي أسأل بها".

ولكن ماذا لو سألت: "هل هذا قط أزرق؟" فقال الروبوت: "نعم، يبدو لي أن هذا قط أزرق"؟ أو ماذا لو وصفت نفس الكلب الأحمر بأنه "حيوان من فصيلة الكلبيات ذو فراء قرمزي" فارتبك الروبوت، وظن أنها صورة مختلفة تماماً؟

تقدم هذه الورقة البحثية طريقة جديدة لاختبار هذه الروبوتات، تسمى LGIP (استقصاء الثبات الموجه لغوياً). فكر فيها كأنها "اختبار للصدق والاتساق" للذكاء الاصطناعي.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. قاعدتان للروبوت الجيد

يقول المؤلفون إن روبوت الرؤية واللغة الذكي حقاً يجب أن يتبع قاعدتين ذهبيتين:

القاعدة رقم 1: قاعدة "القصة نفسها" (الثبات - Invariance)
إذا حكيت للروبوت نفس القصة ولكن غيرت الكلمات (مثل قول "كلب سعيد" مقابل "جرو مبتهج")، فيجب أن يدرك أنه نفس الصورة. لا ينبغي أن يرتبك بسبب الكلمات المنمقة.
- تشبيه: إذا كنت ترتدي قبعة حمراء أو وشاحاً أحمر، فأنت لا تزال أنت. لا ينبغي للروبوت أن يعتقد أنك شخص مختلف لمجرد أن وصف ملابسك تغير.
القاعدة رقم 2: قاعدة "جهاز كشف الكذب" (الحساسية - Sensitivity)
إذا أخبرت الروبوت كذبة عن الصورة (مثل قول "كلب أزرق" بينما هو واضح أنه أحمر)، فيجب أن يقول فوراً: "لا، هذا لا يتطابق". يجب أن يكون حساساً للحقيقة.
- تشبيه: إذا أشرت إلى موزة وقلت "هذه تفاحة"، فإن الصديق الجيد يجب أن يصحح لك. أما الصديق السيئ فقد يكتفي بالإيماء بالموافقة.

2. الاختبار: "القلب" و"إعادة الصياغة"

أخذ الباحثون 40,000 صورة (من مجموعة بيانات شهيرة تسمى MS COCO) وأجروا عليها 9 نماذج ذكاء اصطناعي شهيرة (مثل CLIP و SigLIP و EVA).

وقاموا بشيئين بالوصف النصي:

إعادة الصياغة (تغيير الكلمات): أعادوا كتابة الجملة لتعني الشيء نفسه تماماً ولكن باستخدام كلمات مختلفة.
القلب الدلالي (الكذبة): أخذوا كلمة رئيسية واستبدلوها بشيء خاطئ.
- الأصل: "قط يجلس على كرسي أحمر."
- القلب: "كلب يجلس على كرسي أزرق."

ثم سألوا الذكاء الاصطناعي: "هل تتطابق هذه الجملة الجديدة مع الصورة؟"

3. النتائج: من نجح ومن رسب؟

كشف الاختبار عن أسرار مذهلة فاتتها الاختبارات القياسية.

"لوحة الشرف" (CLIP، OpenCLIP، EVA):
هذه النماذج تشبه الطلاب المسؤولين.
- لقد فهموا أن "جرو مبتهج" و"كلب سعيد" هما نفس الشيء (خطأ ثبات منخفض).
- رفضوا بشدة الكذبة حول الكلب الأزرق (حساسية عالية).
- الحكم: إنهم نماذج متينة وموثوقة.
"الطلاب المرتبكون" (عائلة SigLIP):
هذه النماذج تشبه الطلاب الجيدين في حفظ الحقائق ولكنهم سيئون في فهم السياق.
- ارتبكوا عندما تغيرت الكلمات قليلاً (خطأ ثبات مرتفع).
- الجزء المخيف: في بعض الأحيان، كانوا يفضلون الكذبة على الحقيقة! إذا عرضت عليهم صورة لقط وقلت "هذا شخص"، فإن نموذج SigLIP قد يعطي الكذبة درجة أعلى من الوصف الحقيقي.
- الحكم: إنهم نماذج هشة. قد يبدون أذكياء في الاختبارات القياسية، لكنهم يفشلون عندما تحاول خداعهم بتبديلات بسيطة للكلمات.

4. لماذا يهم هذا؟

قد تسأل: "لماذا نهتم إذا ارتبك الذكاء الاصطناعي بسبب مرادف لكلمة ما؟"

تخيل أنك تستخدم ذكاءً اصطناعياً لمساعدة طبيب في العثور على فحص طبي محدد، أو لمساعدة شخص كفيف في التنقل في غرفة.

إذا كان الذكاء الاصطناعي غير متسق، فقد يفوت صورة حاسمة لمجرد أن الطبيب استخدم مصطلحاً طبياً مختلفاً.
إذا كان الذكاء الاصطناعي غير حساس للكذب، فقد يخبر شخصاً كفيفاً: "هناك طريق واضح أمامك"، بينما يوجد في الواقع جدار، لأن الذكاء الاصطناعي قد تخيل الوصف (هلوسة).

الخلاصة الكبرى

هذه الورقة البحثية تشبه اختبار الضغط لعقل الذكاء الاصطناعي. إنها توضح أن مجرد حصول الذكاء الاصطناعي على درجة عالية في اختبار قياسي (مثل تحديد الأشياء)، لا يعني أنه يدرك حقاً العلاقة بين الكلمات والصور.

وجد المؤلفون أن بعض النماذج (مثل EVA و OpenCLIP) مبنية بـ "جهاز كشف حقيقة" أقوى، بينما نماذج أخرى (مثل SigLIP) هشة بشكل مفاجئ. هذا الاختبار الجديد، LGIP، هو طريقة بسيطة وغير مكلفة للتحقق مما إذا كان ذكاؤك الاصطناعي ذكياً حقاً أم أنه بارع فقط في التخمين.

إليك ملخص تقني مفصل لورقة البحث بعنوان "استقصاء الثبات الموجه لغوياً لنماذج الرؤية واللغة" (Language-Guided Invariance Probing of Vision–Language Models).

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) مثل CLIP وOpenCLIP وSigLIP أداءً رائدًا في مهام التصنيف الصفري (zero-shot). ومع ذلك، تفشل مقاييس التقييم القياسية (مثل دقة الاسترجاع) في توصيف كيفية سلوك هذه النماذج تحت تأثير الاضطرابات اللغوية المحكومة. وتحديداً، هناك نقص في الأدوات التشخيصية لتحديد ما يلي:

الثبات اللغوي (Linguistic Invariance): هل يحافظ النموذج على درجات تشابه مستقرة عندما يتم إعادة صياغة النص دون تغيير المعنى؟
الحساسية الدلالية (Semantic Sensitivity): هل يقوم النموذج بخفض الوزن (تقليل التشابه) بشكل صحيح للنصوص التي تتعارض مع السمات البصرية البارزة (على سبيل المثال، تغيير "كلب أحمر" إلى "كلب أزرق")؟

غالباً ما تخلط المعايوهات الحالية بين هذه السلوكيات أو تعتمد على الصحة الثنائية (صح/خطأ)، مما يجعل من الصعب تشخيص ما إذا كان النموذج هشاً تجاه الصياغات السطحية أو غير حساس للتعارضات الدلالية.

2. المنهجية: استقصاء الثبات الموجه لغوياً (LGIP)

يقترح المؤلفون LGIP، وهو معيار تشخيصي خفيف الوزن ومستقل عن النموذج، مصمم لعزل وقياس المتانة اللغوية.

أ. بناء البيانات والاضطرابات

باستخدام مجموعة بيانات MS COCO (40,000 صورة مع 5 تعليقات بشرية لكل منها)، يقوم LGIP بتوليد نوعين من الاضطرابات النصية لكل زوج (صورة-تعليق):

إعادة الصياغة (المحافظة على المعنى):
- البسيطة: إضافة لواحق أو بادئات (مثل "صورة لـ...").
- المتقدمة: تغييرات نحوية ومعجمية (المبني للمجهول، استبدال المرادفات، إعادة ترتيب الجمل) مع الحفاظ على المعنى.
القلب الدلالي (المغير للمعنى):
- استبدال قائم على القواعد لرمز واحد (token) يستهدف سمات محددة: الكائن (مثلاً: كلب $\leftarrow$ قطة)، اللون (مثلاً: أحمر $\leftarrow$ أزرق)، والعدد (مثلاً: واحد $\leftarrow$ اثنان).
- تم تصميم هذه "القلبات" لتتعارض مع الأدلة البصرية الموجودة في الصورة.

ب. مقاييس التقييم

يقيم LGIP مشفرات الـ VLM المجمدة باستخدام ثلاثة مقاييس أساسية:

خطأ الثبات ( $E_{inv}$ ): متوسط الفرق المطلق في درجات التشابه بين التعليق الأصلي وإعادة صياغاته. كلما قل الخطأ كان أفضل.
الحساسية الدلالية ( $E_{sens}$ ): متوسط الفجوة بين درجة تشابه التعليق الأصلي والتعليق المقلوب ( $s(I, c) - s(I, c^\dagger)$ ). كلما زادت الفجوة كان أفضل.
المعدل الإيجابي (PR): نسبة الحالات التي يسجل فيها التعليق الأصلي درجة أعلى من التعليق المقلوب. كلما زاد المعدل كان أفضل (0.5 هي نسبة الاختيار العشوائي).

ج. الإعداد التجريبي

النماذج المختبرة: 9 نماذج VLM ثنائية المشفر (dual-encoder) مجمدة، بما في ذلك CLIP (ViT-B/16, ViT-L/14)، وOpenCLIP (ViT-L/14, ViT-H/14)، وEVA02-CLIP، وعائلة SigLIP (الأساسية، الكبيرة، SigLIP2).
البروتوكول: تظل الصورة ثابتة؛ ويتم تغيير المدخل النصي فقط. تُحسب المقاييس على حوالي 1.2 مليون مقارنة لإعادة الصياغة وحوالي 80 ألف ثلاثية للقلب الدلالي.

3. المساهمات الرئيسية

معيار LGIP: تقديم بروتوكول تشخيصي يفصل بين ثبات إعادة الصياغة والحساسية الدلالية، مما يوفر مقاييس مستمرة وقابلة للتفسير تتجاوز الدقة الإجمالية.
تحليل شامل: تطبيق LGIP على 9 نماذج VLM شهيرة، مما كشف عن نقاط ضعف منهجية لا تلتقطها معايير الأداء الصفري القياسية.
ها.
فهم الاختلافات الهيكلية: تحديد فجوة أداء واضحة بين نماذج CLIP/EVA التي تعتمد على "softmax contrastive" ونماذج SigLIP التي تعتمد على "pairwise sigmoid"، وربط أهداف التدريب بسلوكيات المتانة.

4. النتائج الرئيسية

أ. المقايضة بين الثبات والحساسية

الأداء الأعلى: تحقق نماذج EVA02-CLIP ونماذج OpenCLIP الكبيرة أفضل توازن. فهي تظهر خطأ ثبات منخفض (مستقرة تحت إعادة الصياغة) وحساسية دلالية عالية (ترفض بقوة التعليقات المقلوبة).
الأداء الأقل: تظهر عائلة نماذج SigLIP (خاصة النسخ الأساسية) خطأ ثبات أعلى بكثير وحساسية دلالية منخفضة.
- غالباً ما تسجل نماذج SigLIP التعليقات المقلوبة بدرجة أعلى من الأوصاف البشرية (PR $\approx$ 0.5 أو أقل)، مما يشير إلى فشلها في اكتشاف التعارضات الدلالية.
- يظهر نموذج SigLIP2 تحسناً، لكنه لا يزال يتأخر عن نماذج نمط CLIP، خاصة في تعديلات مستوى الكائن.

ب. أنماط الفشل التفصيلية

تحديد السمات: تحافظ نماذج عائلة CLIP على معدلات إيجابية عالية عبر قلب الكائن، اللون، والعدد. بينما تظهر نماذج SigLIP أداءً غير متساوٍ، وغالباً ما تفشل في التمييز بين استبدالات الكائنات (مثلاً: "قطة" $\leftarrow$ "شخص").
معايرة القوة: عند تصنيف "القلبات" حسب "قوة التعارض"، تظهر نماذج CLIP تحسناً رتيباً في المعدل الإيجابي (PR) مع زيادة التعارض. أما نماذج SigLIP فتظهر منحنى مسطحاً وغير متسق، مما يشير إلى سوء معايرة التعارض الدلالي.
الاضطرابات المركبة: عند دمج إعادة الصياغة مع القلب الدلالي، تتسع فجوة الأداء، حيث تعاني نماذج SigLIP بشكل أكبر بكثير من نماذج CLIP.

ج. النتائج النوعية

تؤكد الأمثلة البصرية أنه بينما ينجح EVA02-CLIP في تخصيص درجة تشابه أعلى للتعليق الأصلي، فإن SigLIP غالباً ما يخصص درجات أعلى للتعليق المقلوب دلالياً (على سبيل المثال، يفضل "شخص يجلس على دراجة" على "قطة تجلس على دراجة" بينما الصورة تظهر قطة).

5. الأهمية والآثار المترتبة

ما وراء الدقة: تثبت الورقة أن الدقة العالية في التصنيف الصفري لا تضمن المتانة تجاه التغيرات اللغوية أو التجذر الدلالي. يمكن للنموذج أن يكون دقيقاً في المعايير القياسية ولكنه هش أمام تعديلات نصية بسيطة.
الارتباط بهدف التدريب: تشير النتائج إلى أن خسارة التباين (contrastive softmax loss) (المستخدمة في CLIP/EVA)، والتي تفرض الترتيب النسبي داخل الدفعة، أكثر فعالية في تعلم الحساسية الدلالية من خسارة (pairwise sigmoid loss) (المستخدمة في SigLIP)، التي تقيم الأزواج بشكل مستقل.
رؤى قابلة للتطبيق: يوفر LGIP أداة تشخيصية للمطورين لتحديد أنماط الفشل المحددة (مثل ضعف تجذر الكائن). كما يقترح أن التدريب المستقبلي يجب أن يتضمن تعليقات سلبية مهيكلة (القلب الدلالي) وخسائر اتساق إعادة الصياغة لتحسين المتانة.
الأثر العملي: يمكن أن يؤدي انخفاض الحساسية الدلالية إلى حدوث "هلوسة" في مهام الإجابة على الأسئلة البصرية (VQA) وترتيب خاطئ في أنظمة استرجاع الصور التي تستخدم مطالبات (prompts) متنوعة.

في الختن، يكشف LGIP أن EVA02-CLIP وOpenCLIP يقدمان حالياً أقوى تجذر لغوي، في حين أن متغيرات SigLIP، رغم كفاءتها ودرجاتها العالية في التصنيف الصفري، تظهر نقاط ضعف منهجية تجاه التعارضات الدلالية تفشل المعايير القياسية في اكتشافها.