FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment

إليك ملخص تقني مفصل لورقة البحث بعنوان "FALCON: التعلم الواعي بالسلبيات الكاذبة في محاذاة الرؤية واللغة".

1. بيان المشكلة

يهدف التدريب المسبق للرؤية واللغة (VLP) إلى تعلم تمثيلات عابرة للنماذج من أزواج الصور والنصوص واسعة النطاق. ويتمثل التحدي الحاسم في هذا المجال في وجود السلبيات الكاذبة (false negatives) في أهداف التعلم التبايني (التباين بين الصورة والنص - ITC، ومطابقة الصورة والنص - ITM).

• المقايضة: يتطلب التدريب المسبق الفعال للرؤية واللغة وجود سلبيات صعبة (hard negatives) (أي مشابهة دلالياً للمثبت ولكنها ليست التطابق الحقيقي) لتنقيح فضاء التضمين. ومع ذلك، كلما أصبحت معايير اختيار السلبيات أكثر صرامة (تشابه دلالي أعلى)، زاد خطر تحديد "إيجابي حقيقي" على أنه "سلبي" (وهو ما يسمى بالسلبية الكاذبة) بشكل كبير.
• قصور الطرق الحالية:
  • الاستدلالات الثابتة (Fixed Heuristics): تفشل الطرق التي تختار السلبيات بناءً على عتبة تشابه ثابتة (مثل اختيار أكثر 10% تشابهاً دائماً) لأن نطاق التشابه "الأمثل" هو مرتبط بالمثبت (anchor-specific) ويتطور أثناء التدريب. المثبتات المعقدة تتعلم ببطء وتتطلب سلبيات أسهل في البداية، بينما يمكن للمثبتات البسيطة التعامل مع سلبيات أصعب لاحقاً.
  • الاعتماد على النماذج المدربة مسبقاً: تعتمد الطرق الحديثة (مثل MAFA) على نماذج مدربة مسبقاً قوية (مثل BLIP) لتصفية السلبات الكاذبة عبر إعادة تصنيفها كإيجابيات. ومع ذلك، تعتمد هذه الطرق على عتبات ثابتة وقدرات ثابتة للنموذج المدرب مسبقاً، والتي غالباً ما تعاني مع السيناريوهات المعقدة أو الخاصة بنطاقات معينة، مما يؤدي إما إلى تصفية متحفظة للغاية أو تفويت السلبيات الكاذبة.

2. المنهجية: FALCON

يقترح المؤلفون FALCON (التعلم الواعي بالسلبيات الكاذبة في المحاذاة التباينية)، وهو استراتيجية بناء دفعات مصغرة (mini-batch) قائمة على التعلم، تعمل على موازنة المقايضة بين السلبيات الصعبة والسلبيات الكاذبة بشكل تكيفي دون الاعتماد على نماذج خارجية مدربة مسبقاً أو استدلالات ثابتة.

المكونات الأساسية

1. مجدول تنقيب السلبيات ($\pi_\phi$):

   • بدلاً من القاعدة الثابتة، يستخدم FALCON مجدولاً قابلاً للتعلم يتنبأ بـ قيمة المئيني (quantile value $q \in [0, 1]$) لكل حالة مثبت أثناء بناء الدفعة المصغرة.
   • $q$ مرتفع (قريب من 1.0): يختار سلبيات شديدة التشابه (صعبة).
   • $q$ منخفض (قريب من 0.0): يختار سلبيات غير متشابهة (سهلة).
   • يقوم المجدول بتعديل $q$ ديناميكياً بناءً على الحالة الراهنة لفضاء التضمين وصعوبة كل مثبت على حدة.

2. تمثيل المدخلات:

   • لا يأخذ المجدول التضمينات الخام مباشرة؛ بل يستقبل مصفوفة توزيع التشابه الموحدة ($\hat{S}$).
   • يتم إنشاء هذه المصفوفة من التشابهات الزوجية (من الصورة إلى النص ومن النص إلى الصورة) بين المثبت والمرشحين ضمن مساحة بحث محلية.
   • لضمان الكفاءة والتماثل التبادلي (permutation equivariance)، يستخدم المجدول شبكة MLP متبقية (residual MLP) خفيفة الوزن مكونة من 4 طبقات تعالج الصفوف المرتبة من توزيع التشابه.

3. إشارة التدريب (الوكيل/Proxy):

   • يتم تدريب المجدول على تعظيم تقليل خسارة نمذجة اللغة المقنعة (MLM loss) ($\Delta L_{MLM}$) بعد تحديث نموذج VLP باستخدام الدفعة المصغرة التي تم إنشاؤها.
   • المنطق: يشير الانخفاض الكبير في خسارة MLM إلى أن النموذج نجح في دمج السياق البصري في فهم اللغة، مما يعني أن الدفعة المصغرة احتوت على سلبيات معلوماتية حسنت المحاذاة عبر الوسائط دون إدخال إشارات متضاربة من السلبيات الكاذبة.
   • يتم تحديث معاملات المجدول ($\phi$) عبر صعود التدرج (gradient ascent) باستخدام خدعة اللوغاريتم المشتق (REINFORCE)، مع معاملة اختيار الدفعة المصغرة كسياسة (policy).

4. عملية بناء الدفعة المصغرة:

   • بدءاً من مثبت عشوائي، يتنبأ المجدول بقيمة المئيني $q$.
   • يتم اختيار العينة التالية من المجموعة المتبقية بناءً على المئين $q$ لتوزيع التشابه بالنسبة للعينة الحالية.
   • تبني هذه العملية التكرارية دفعة مصغرة حيث يمتلك كل مثبت مستوى صعوبة سلبيات مصمم خصيصاً له.

3. المساهمات الرئيسية

1. أول جدولة قائمة على التعلم: يعد FALCON أول نهج يتعلم ويجدول المقايضة بين السلبيات الصعبة والكاذبة في التعلم التبايني، متجاوزاً الاستدلالات الثابتة أو التصفية عبر نماذج خارجية.
2. بنية مبتكرة: يقدم مجدول تنقيب عن السلبيات خفيف الوزن وفعال يعمل على توزيعات التشابه، مما يسمح بالتكيف الخاص بكل حالة بأقل قدر من العبء الحسابي.
3. تحقق شامل: تم التحقق من صحة الطريقة عبر ثلاثة أطر عمل مختلفة لـ VLP (وهي ALBEF و BLIP-2 و SigLIP-2) ومجموعة واسعة من المهام اللاحقة (الاسترجاع، VQA، و NLVR)، مما يثبت متانتها وقابليتها للتعميم.

4. النتائج التجريبية

تقيم الورقة FALCOEN مقابل خطوط أساس قوية (ALBEF, GRIT-VLP, MAFA, DiHT, SRCL) على مجموعات بيانات MSCOCO والبيانات الضخمة المستخرجة من الويب (Conceptual Captions, DataComp).

• مكاسب الأداء:
  • ALBEF: يحقق FALCOEN نتائج هي الأفضل حالياً (SOTA) في استرجاع الصورة والنص (R@1: 62.28 مقابل 60.96 لـ MAFA)، وفي مهام VQA و NLVR2.
  • BLIP-2 & SigLIP-2: لوحظت تحسينات كبيرة عند دمج FALCOEN في هذه البنى الحديثة، مما يثبت توافقه مع الأهداف التوليدية (خسارة ITG).
  • DataComp: على معيار DataComp المليء بالضجيج، يتفوق FALCOEN على الخطوط المرجعية بفارق كبير (على سبيل المثال، +11.9% على MAFA في الاسترجاع صفري المعرفة Zero-shot)، مما يسلط الضيز على قدرته على التعامل مع انزياحات النطاق حيث تفشل الفلاتر المدربة مسبقاً الثابتة.
• دراسات الاستئصال (Ablation Studies):
  • الهدف: استخدام $L_{MLM}$ كإشارة وكيلة أمر بالغ الأهمية؛ حيث أدى استخدام خسائر التباين ($L_{ITC}$) كإشارة وكيلة إلى تدهور الأداء (غالباً بسبب استغلال السلبيات التافهة).
  • على مستوى المثبت مقابل مستوى الدفعة: تفوق الجدولة على مستوى المثبت (قيمة $q$ مختلفة لكل مثبت) بشكل كبير على الجدولة على مستوى الدفعة (قيمة $q$ واحدة للجميع)، مما يؤكد أن الصعوبة المثلى تعتمد على المثبت.
  • حجم مساحة البحث: يظل FALCOEN قوياً حتى مع مساحات البحث الكبيرة، بينما تتدهور الخطوط المرجعية بسبب زيادة معدلات السلبيات الكاذبة.
• الكفاءة: رغم أن FALCOEN يتطلب وقتاً أطول قليلاً لكل دورة (epoch) مقارنة بـ GRIT-VLP بسبب تحديثات المجدول، إلا أنه يصل إلى مرحلة التقارب بشكل أسرع من حيث إجمالي "الوقت اللازم للتقارب" ويحقق أداءً نهائياً أعلى.

5. الأهمية والخاتمة

يعالج FALCOEN عقبة أساسية في التدريب المسبق للرؤية واللغة: عدم قدرة الاستراتيجيات الثابتة على إدارة التوتر الديناميكي بين التعلم من الأمثلة الصعبة وتجنب السلبيات الكاذبة.

• القابلية للتكيف: من خلال تعلم سياسة الجدولة عبر الإنترنت (online)، يتكيف FALCOEN مع الهيكل المتطور لفضاء التضمين والتعقيد الدلالي المحدد لكل مثبت.
• الاستقلالية: على عكس الطرق التي تعتمد على نماذج "أوراكل" خارجية (مثل BLIP-129M) لتصفية البيانات، فإن FALCOEN نظام مكتفٍ بذاته، مما يجعله أكثر قابلية للتعميم لمختلف مجموعات البيانات والنطاقات حيث قد لا تكون النماذج المدربة مسبقاً موثوقة.
• التأثير المستقبلي: تشير الورقة إلى أن استراتيجيات الجدولة القائمة على التعلم مثل هذه تعد ضرورية للجيل القادم من نماذج الرؤية واللغة الكبيرة (LVLMs)، حيث توفر أساساً أكثر متانة لتعلم التمثيل عبر الوسائط.

باختصار، يثبت FALCOEN أن الموازنة الديناميكية لصعوبة السلبيات من خلال مجدول متعلم هي استراتيجية متفوقة على الاستدلالات الثابتة أو التصفية الثابتة، مما يؤدي إلى تحسين كبير في المحاذاة عبر الوسائط وأداء المهام اللاحقة.