ملخص تقني: الطيور من جنس واحد تحلق معاً

بيان المشكلة

تُستخدم نماذج الرؤية واللغة (VLMs) مثل CLIP وSigLIP 2 على نطاق واسع في تصنيف الصور واستخراج الميزات. ومع ذلك، تظل مشفرات الرؤية الخاصة بها عرضة للتحيزات المنهجية، ولا سيما الارتباطات الزائفة في الخلفية. في هذه السيناريوهات، تعتمد النماذج على روابط مصادفة بين كائنات المقدمة وخلفياتها (مثل ربط "طيور الماء" بخلفيات "المياه") بدلاً من تعلم ميزات الكائن القوية. يؤدي هذا إلى ضعف التعميم وفشل كارثي في الحالات الأسوأ (worst-case groups)، خاصة عندما تغيب أمثلة المجموعة الأقلية (مثل طيور الماء على اليابسة) عن بيانات التدريب (ارتباط زائف بنسبة 100%). تتطلب استراتيجيات التخفيف الحالية غالباً الوصول إلى بيانات واقعية غير منحازة أو إعادة التحسين لكل مهمة لاحقة محددة، مما يحد من عمليتها.

المنهجية: التدريب المسبق للمرساة غير المتأثر بالخلفية (BAP)

يقترح المؤلفون منهجية التدريب المسبق للمرساة غير المتأثر بالخلفية (BAP)، وهي نهج تدريب مسبق يتكون من مرحلتين يستفيد من الإضافة الخطية العالية الملحوظة في فضاءات تضمين نماذج الرؤية واللغة. الفرضية الأساسية هي أن تمثيلات المشهد في هذه النماذج تعمل كتركيب خطي لمكونات المقدمة والخلفية ($z \approx v_{fg} + v_{bg}$).

المرحلة الأولى: استخراج متجه المرساة

تقوم المنهجية ببناء قاموس لمتجهات مرساة مكونة من المقدمة فقط باستخدام نموذج معلم (teacher model) مجمد ومدرب بالتباين ($f^*_\theta$):

1. التركيب (Compositing): يتم دمج مثيل معين لكائن مقدمة ($x_{fg}$) فوق $K$ من صور الخلفيات المتنوعة والمختارة عشوائياً ($b_k$).
2. المتوسط الحسابي: يتم حساب متوسط تضمينات هذه المركبات لإنشاء متجه متوسط $\bar{z}$.
3. التطبيع (Normalization): يتم اشتقاق متجه المرساة $a$ عن طريق تطبيع $\bar{z}$.
   • التبرير النظري: بموجب قانون الأعداد الكبيرة، مع زيادة $K$، يتلاشى مكون الخلفية ليصبح إزاحة (offset) غير مرتبطة بفئة معينة ($\mu_{bg}$)، بينما يتم الحفاظ على إشارة المقدمة ($v_{fg}$). تعمل هذه العملية بفعالية على كبح إشارات الخلفية المميزة مع الاحتفاظ بالبنية الدلالية للكائن.

المرحلة الثانية: التدريب المسبق للمحاذاة القوية

يتم تحسين نموذج طالب ($f_\theta$) لمحاذاة تمثيلاته مع المراسي المستخرجة مسبقاً:

1. توليد المدخلات: يتم دمج كل مثيل مقدمة فوق $M$ من الخلفيات الجديدة والعشوائية لإنشاء $M$ من المدخلات المتميزة.
2. الهدف: يقلل النموذج مسافة جيب التمام (cosine distance) بين تضمين كل مدخل عشوائي ومتجه المرساة الثابت المقابل له $a$.
   • الآلية: يفرض هذا تطابقاً من متعدد إلى واحد (many-to-one mapping)، مما يعمل كعنق زجاجة تمثيلي (على غرار $\beta$-VAE). يُجبر المشفر على التخلص من الميزات عالية التباين وغير المشتركة (الخلفيات) وتشفير العوامل السائدة والمشتركة فقط (كائنات المقدمة).

المساهمات الرئيسية

1. نهج تدريب مسبق مبتكر: تقديم BAP، الذي يستغل الإضافة الخطية لتضمينات نماذج الرؤية واللغة لاستخلاص تمثيلات غير متأثرة بالخلفية باستخدام بيانات اصطناعية، وذلك قبل التعرض لتوزيعات المهام اللاحقة المستهدفة.
2. قوة حالة الفن (SOTA): تحقيق دقة في حالات المجموعة الأسوأ (WGA) تتجاوز 90% في اختبار Waterbirds تحت ظروف الارتباط الزائف الكامل (100%)، حيث لا توجد أمثلة للمجموعة الأقلية في مجموعات التدريب أو التحقق. ويمثل هذا مستوى جديداً رائداً (SOTA).
3. التعميم على الفئات العليا: إثبات أن قوة BAP تتعمم على مستوى الفئة العليا (مثل "المركبات"). تُطبق المنهجية مرة واحدة لكل فئة عليا، ويمكن إعادة استخدام مستخرج الميزات الناتج لعدة مهام ثنائية لاحقة (مثل سيارة مقابل شاحنة، دراجة نارية مقابل دراجة هوائية) دون الحاجة لإعادة التحسين.
4. العملية والكفاءة:
   • تحقق المنهية قوة تقارب الذروة باستخدام 50 عنصراً فقط من عناصر المقدمة المجزأة.
   • تظل صامدة أمام أقنعة التجزئة غير المثالية (مثل الأقنعة الضوضائية أو الخشنة).
   • لا تتطلب الوصول إلى بيانات واقعية غير منحازة، بل تعتمد كلياً على المركبات الاصطناعية.

النتائج

قيم المؤلفون BAP على بنيات CLIP (القائمة على Softmax) وSigLIP 2 (القائمة على Sigmoid) عبر عدة اختبارات:

• Waterbirds (اصطناعي): حقق BAP دقة WGA بلغت 92.1% (لـ CLIP) و92.7% (لـ SigLIP 2) تحت ارتباط زائف بنسبة 100%، متفوقاً بشكل كبير على النماذج المرجعية مثل DFR وAFR وERM، والتي غالباً ما تفشل تماماً في غياب المجموعات الأقلية.
• تصنيف النوع الاجتماعي في COCO: حافظ BMP على أداء مستقر عبر أنظمة الارتباط الزائف بنسبة 95% و100%، بينما أظهرت الطرق الأخرى تدهوراً كبيراً عند الانتقال من 95% إلى 100%.
• CounterAnimal (من المحاكاة إلى الواقع): نجح BAP في نقل القوة إلى الصور الطبيعية، مما حسن دقة WGA بأكثر من 10 نقاط مئوية مقارنة بالمشفرات الأصلية في المهام التي تتضمن حيوانات في سياقات مغايرة.
• NICO++ (مركبات حقيقية): أظهر BAP أداءً مهيمناً في مهام تصنيف المركبات، محققاً هوامش WGA من رقمين. والجدير بالذكر أنه حسن الأداء في مهمة "سيارة مقابل شاحنة" بمقدار 30 نقطة مئوية، رغم استبعاد حالات "الشاحنة" من مجموعة كائنات التدريب المسبق، مما يؤكد الثبات على مستوى الفئة العليا.
• دراسات الاستئصال (Ablation Studies):
  • جودة التجزئة: حافظ BAP على دقة WGA عالية حتى مع الأقنعة "الضوضائية" (المتوسعة) أو "المشوهة" (المتآكلة)، وأظهر مكاسب حتى مع صناديق الإحاطة الخشنة.
  • ندرة البيانات: استعاد الأداء مستويات قريبة من الذروة باستخدام 50 عنصراً مختلفاً فقط من المقدمة إذا كان عدد السياقات العشوائية ($M$) كافياً.
  • ضرورة المرساة: أدى إزالة استخراج المرساة الدلالية (المرحلة 1) واستخدام أهداف متعامدة عشوائية إلى الحفاظ على القوة داخل التوزيع (in-distribution) ولكن تسبب في فشل كارثي في المهام خارج التوزيع (OOD)، مما يؤكد ضرورة المراسي الدلالية المستخلصة من المعلم.

الأهمية والقيود

يزعم البحث أن BAP يقدم حلاً عملياً للغاية للنشر في المجالات الواقعية عالية المخاطر (مثل التصوير الطبي) حيث يمكن أن تؤدي عيوب الخلفية إلى خطأ في التصنيف. ومن خلال تأمين القوة على مستوى التمثيل قبل عملية الضبط الدقيق، فإنه يلغي الحاجة إلى تسميات (annotations) للمجموعات الأقلية أثناء التدريب.

ومع ذلك، يقر المؤلفون صراحةً بوجود مقايضة: يضحي BAP عمداً بقدرات التعرف على الخلفية في العالم المفتوح لتحقيق قوة في تمثيل المقدمة. أظهرت تقييمات Zero-shot لتصنيف المشاهد (Places365) "انهياراً كارثياً" في القدرة على تصنيف الخلفيات أو الكائنات حيث يكون السياق حيوياً (مثل القيادة الذاتية). لذلك، يضع المؤلفون BAP كأداة متخصصة تناسب السيناريوهات التي يكون فيها عزل الكائن المستهدف عن محيطه هو الهدف الأساسي، بدلاً من كونه إصلاحاً عام الأغراض لجميع مهام الرؤية.