When Negation Is a Geometry Problem in Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "عندما يكون النفي مسألة هندسية في نماذج الرؤية واللغة".

1. بيان المشكلة

تعاني نماذج الرؤية واللغة (VLMs) مثل CLIP بشكل كبير من فهم النفي في الاستعلامات النصية (على سبيل المثال، التمييز بين "كلب على العشب" و"كلب ليس على العشب").

• القيود الحالية: تعتمد الحلول الحالية على نهج متمحور حول البيانات، حيث يتم توليد مجموعات بيانات نفي اصطناعية لضبط نموذج CLIP (fine-tuning).
• عيوب التقييم: تعتمد هذه النهج عادةً على مقاييس استرجاع قياسية (مثل Recall@K). وقد حدد المؤلفون عيبين حرجين في نموذج التقييم هذا:
  1. السلبيات الكاذبة (False Negatives): غالبًا ما تقوم خطوط أنابيب البيانات الاصطناعية بتصنيف صورة واحدة فقط كحقيقة أرضية (ground truth)، متجاهلة الصور الأخرى الصالحة التي تستوفي الاستعلام المنفي. وهذا يعاقب النماذج التي تسترجع صورًا صحيحة دلاليًا ولكنها غير مصنفة.
  2. انهيار النموذج (Model Collapse): يمكن أن يؤدي الضبط الدقيق (fine-tuning) على بيانات النفي الاصطناعية إلى تسبب النماذج في "انهيار"، حيث تسترجع صورًا غير مرتبطة تمامًا بالاستعلام أو تدمج جميع الاستعلامات المنفية في نقطة تمثيل واحدة (embedding point)، مما يجعلها غير قابلة للتمييز.

2. المنهجية

تقترح الورقة نهجًا ذا شقين: إطار عمل جديد للتقييم وتقنية تدخل عند وقت الاستنتاج (inference-time intervention).

أ. إطار التقييم: النموذج اللغوي الكبير متعدد الوسائط كحكم (MLLM-as-a-Judge)

للتغلب على قيود مقاييس الاسترجاع، يقترح المؤلفون استخدام النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) كحكام.

• البروتوكول: بالنسبة لصورة مسترجعة واستعلام منفي، يجيب الـ MLLM على سؤالين متتاليين:
  1. التحقق الدلالي ($q_r$): "هل السياق والصورة صحيحان دلاليًا؟" (مثلاً: هل يوجد كلب؟).
  2. التحقق من النفي ($q_n$): "هل الشيء المنفي غائب؟" (مثلاً: هل الكلب لا يركض؟).
• الميزة: تسمح هذه الطريقة غير الخاضعة للإشراف بتقييم منطق الاسترجاع بدلاً من الاعتماد على تصنيفات الحقيقة الأرضية التي قد تكون معيبة، مما يسمح بالتقييم على أي حجم من قواعد البيانات.

ب. التحقيق الجوهري: "اتجاه النفي" (The Negation Direction)

يفترض المؤلفون أن معلومات النفي مشفرة بالفعل في فضاء التمثيل (embedding space) الخاص بـ CLIP ولكن لا يتم استخدامها أثناء الاستنتاج القياسي.

• الاكتشاف: باستخدام مصنف ثنائي خطي على الحالات المخفية (hidden states) من مشفر النصوص الخاص بـ CLIP (تحديدًا رمز [EOS])، أثبتوا أن النصوص الأصلية والمنفية قابلة للفصل خطيًا بدقة تزيد عن 99% في الطبقات المتوسطة.
• التدخل (توجيه التمثيل - Representation Steering): بدلاً من الضبط الدقيق، يقومون بالتلاعب بالتمثيلات عند وقت الاستنتاج:
  1. تدريب مصنف خطي خفيف الوزن على مجموعة صغيرة من أزواج النصوص المنفية (4,000 عينة) لإيجية متجه اتجاه النفي ($W_{dir}$).
  2. توجيه تمثيل النص ($h_l$) نحو هذا الاتجاه باستخدام الصيغة:
     $$h_l' = (1 - \alpha)h_l + \alpha W_{dir}||h_l||$$
     حيث $\alpha$ هو معلمة فائقة (hyperparameter) تتحكم في قوة التوجيه.
  3. هذا التلاعب الهندسي يجبر النموذج على الانتباه إلى إشارات النفي دون تعديل أوزان النموذج أو الحاجة إلى إعادة تدريب واسعة النطاق.

3. المساهمات الرئيسية

1. نقد المقاييس الحالية: تحديد أن مقاييس الاسترجاع القياسية تفشل في التمييز بين المطابقة الدلالية وفهم النفي الحقيقي، وغالبًا ما تخفي فشل النماذج بسبب السلبيات الكاذبة في الاختبارات المرجعية الاصطناعية.
2. النموذج اللغوي الكبير متعدد الوسائط كحكم: تقديم بروتوكول تقييم قوي وغير خاضع للإشراف يفصل بين الصحة الدلالية ومنطق النفي.
3. التوجيه الهندسي: إثبات وجود "اتجاه نفي" كامن في تمثيلات CLIP وإثبات أن توجيه التمثيل عند وقت الاختبار يمكن أن يمكّن فهم النفي بفعالية دون ضبط دقيق.
4. التعميم: أظهر أن التوجيه يتفوق على النماذج التي تم ضبطها دقيقًا (fine-tuned) في البيانات ذات التوزيع المختلف (تكوينات الأشياء غير الشائعة)، بينما غالبًا ما تفرط النماذج التي تم ضبطها دقيقًا في التخصيص (overfitting) وتفشل.

4. النتائج التجريبية

قيم المؤلفون طريقتهم مقابل النماذج المرجعية (Original CLIP, ConCLIP, NegCLIP, CLIP-CC12M) في ثلاثة اختبارات:

• NegBench (اختبار مرجعي اصطناعي قياسي):

  • باستخدام MLLM-as-a-judge، حققت طريقة التوجيه (Steering) أعلى أداء (Top-1: 54.3% باستخدام Qwen3-VL-32B)، متفوقة على NegCLIP (46.0%) و CLIP-CC12M (53.1%).
  • أظهرت مقاييس الاسترجاء القياسية (Recall@K) تحسنًا في جميع النماذج، لكنها فشلت في الكشف عن أن النماذج التي تم ضبطها دقيقًا غالبًا ما تعرضت للانهيار أو استرجعت صورًا غير ذات صلة، وهو نمط فشل لم يكشفه إلا حكم الـ MLLM.

• SimpleNeg (اختبار وحدة محكوم):

  • حقق نهج التوجيه أداءً يقترب من المثالية (Top-1: 54.3% - 55.0% عبر الأحكام)، متفوقًا بشكل كبير على جميع النماذج المرجعية التي تم ضبطها دقيقًا.
  • أكد هذا أن اتجاه النفي يمكن تحديده والتلاعب به بشكل صريح.

• N-COCO (الأشياء غير الشائعة / تغير التوزيع):

  • نتيجة حاسمة: عانت النماذج التي تم ضبطها دقيقًا (NegCLIP, CLIP-CC12M) من انخفاض في الأداء (انخفض R@1 إلى 0.50) عند اختبارها على تكوينات أشياء غير شائعة (مثل "كتاب ليس مصنوعًا من الورق").
  • أداء التوجيه: حافظت طريقة التوجيه على المتانة، محققة R@1 قدره 0.80.
  • الاستنتاج: يؤدي الضبط الدقيق على البيانات الاصطناعية إلى الإفراط في التخصيص لأنماط محددة، بينما يحافظ التوجيه الهندسي على قدرات التعميم للنموذج مع إضافة منطق النفي.

5. الأهمية والخاتمة

تنقل هذه الورقة المنظور حول النفي في نماذج الرؤية واللغة من مشكلة بيانات إلى مشكلة هندسية.

• الكفاءة: يتطلب الحل المقترح 4,000 عينة نصية فقط (0.03% من البيانات المستخدمة في النهج السابقة) وصفر عملية ضبط دقيق لنموذج CLIP الضخم.
• المتانة: تثبت أن توجيه التمثيل أكثر متانة تجاه تغيرات التوزيع مقارنة بالضبط الدقيق المتمحور حول البيانات، والذي يخاطر بتشويه فضاء التمثيل.
• الدلالة: تشير النتائج إلى أن النماذج الضخمة المدربة مسبقًا تمتلك بالفعل التمثيلات الداخلية اللازمة للعمليات المنطقية المعقدة مثل النفي؛ التحدي يكمن في كيفية الوصول إلى هذه التمثيلات وتوجيهها بفعالية عند وقت الاستنتاج.

تدعو هذه الدراسة إلى تحول في النموذج حيث تحل التدخلات خفيفة الوزن على مستوى التمثيل محل إعادة التدريب الثقيلة للحصول على قدرات منطقية محددة في النماذج متعددة الوسائط.