HeBA: Heterogeneous Bottleneck Adapters for Robust Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "HeBA: المهايئات ذات عنق الزجاجة غير المتجانسة لنماذج الرؤية واللغة القوية" (HeBA: Heterogeneous Bottleneck Adapters for Robust Vision-Language Models).

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) مثل CLIP تعميماً مذهلاً في التعلم الصفري (Zero-shot)، لكنها تواجه تحديات كبيرة عند التكيف مع المهام اللاحقة ذات البيانات المحدودة (التعلم من أمثلة قليلة - Few-shot learning). وتتمثل المشكلات الرئيسية المحددة فيما يلي:

• التجانس المعماري: غالباً ما تعامل طرق الضبط الدقيق الفعالة في المعلمات (PEFT) الحالية (مثل المهايئات، وتعلم المحفزات) الرموز البصرية والنصية كمتجهات أحادية البعد موحدة. وهذا يتجاهل الطبيعة الهيكلية المتميزة لكل وسيط: فالصور تمتلك محلية مكانية (ارتباطات ثنائية الأبعاد)، بينما يمتلك النص كثافة دلالية (علاقات عالمية). إن معاملتها بشكل موحد يؤدي إلى "فقدان الذاكرة المكانية"، مما يتسبب في التخلص من الإشارات الهيكلية الحرجة مثل الأنسجة والأشكال.
• معضلة الاستقرار-اللدونة (Stability-Plasticity Dilemma): يتسبب الضبط الدقيق الساذج في نسيان كارثي، بينما تعتمد تصميمات المهايئات الحالية غالباً على "عنق الزجاجة العكسي" (توسيع الأبعاد، مثلاً $4\times$) مما يزيد من عدد المعلمات ومخاطر الإفراط في التخصيص (Overfitting) في حالات ندرة البيانات.
• قيود التهيئة: تستخدم معظم طرق PEFT التهيئة الصفرية لأوزان المهايئ للحفاظ على هوية النموذج الأساسي المدرب مسبقاً. ويرى المؤلفون أن هذا يؤدي إلى تلاشي التدرجات (Vanishing Gradients) في مراحل التدريب المبكرة، مما يؤخر التقارب ويعيق قدرة النموذج على التكيف مع التحولات الشديدة في التوزيع.

2. المنهجية: إطار عمل HeBA

إن HeBA (المهايئ ذو عنق الزجاجة غير المتجانس) هو إطار عمل موحد يقدم انحيازات استقرائية هيكلية خاصة بكل وسيط مباشرة في بنية المهايئ. يقوم بتجميد نموذج CLIP الأساسي ويحقن مهايئات خفيفة ومتخصصة.

أ. الانحيازات الاستقرائية غير المتجانسة

بدلاً من استخدام بنية واحدة لكلا الوسيطين، يقوم HeBA بتقسيم المعالجة:

• المسار البصري (المدرك للمكان): يستخدم التلافيف المنفصلة بعمق ثنائية الأبعاد (2D depthwise-separable convolutions). يتم إعادة تشكيل الرموز المدخلة إلى شبكة ثنائية الأبعاد ($B \times D \times \sqrt{N} \times \sqrt{N}$). يطبق المهايئ تلافيف $1\times1$ لضغط القنوات، يليه تلافيف $3\times3$ منفصل بعمق لتجميع السياق المكاني المحلي، ثم يقوم بتسطيح المخرجات في النهاية. هذا يعمل صراحةً على نمذجة المحلية المكانية (الأنسجة، الأشكال).
• المسار النصي (المحافظ على الدلالة): يستخدم الإسقاطات الخطية الكثيفة. بما أن النص يفتقر إلى البنية المكانية، يستخدم المهايئ طبقات خطية قياسية للحفاظ على السلامة الدلالية العالمية دون عمليات مكانية غير ضرورية.

ب. التنظيم الهيكلي عبر عنق الزجاجة

على عكس الطرق السابقة التي توسع أبعاد الميزات (عنق الزجاجة العكسي)، يستخدم HeBA عنق زجاجة ضاغط ($D \rightarrow D/4$).

• الآلية: يجبر المهايئ النموذج على ضغط الميزات قبل إسقاطها مرة أخرى.
• الفائدة: يعمل هذا كمنظم هيكلي جوهري، حيث يجبر النموذج على تعلم تمثيلات منخفضة الرتبة ومدمجة لتحولات النطاق. إنه يقوم فعلياً بتصفية الضوضاء غير المرتبطة بالمهمة ويقلل من مخاطر الإفراط في التخصيص دون الحاجة إلى منظمات خارجية معقدة.

ج. التهيئة التدرجية النشطة

يتحدى HeBA نموذج التهيئة الصفرية القياسي.

• الاستراتيجية: يستخدم تهيئة Kaiming النشطة (توزيع He Normal) لأوزان الإسقاط العلوي ($W_{up}$).
• المنطق: تخلق التهيئة الصفرية حالة من تلاشي التدرجات في فضاء المهايئ الفرعي عند الزمن $t=0$. تضمن التهيئة النشطة وجود مقدار تدرج أولي كافٍ، مما يسمح للنموذج بالتكيف بسرعة مع توزيع النطاق الجديد بينما يحافظ الهيكل الأساسي المجمد على المعرفة المدربة مسبقاً.

د. الأمثلة والتنظيم

للموازنة بين التهيئة النشطة ومنع التباعد:

• جدول (Schedule) سريع-بطيء ديناميكي: آلية قياس عشوائية تضاعف عامل مقياس مخرجات المهايئ $s$ باحتمالية معينة للهروب من نقاط السرج المحلية.
• تنعيم الملصقات (Label Smoothing): يستبدل Cross-Entropy القياسي بـ Label Smoothing Cross-Entropy (LSCE) لمنع التنبؤات المفرطة في الثقة في حالات الأمثلة القليلة.

3. المساهمات الرئيسية

1. البنية غير المتجانسة: أول إطار عمل موحد للمهايئات يفصل صراحةً بين مسارات المعالجة البصرية والنصية، باستخدام التلافيف ثنائية الأبعاد للرؤية والإسقاطات الخطية للنص لاحترام الاختلافات الهيكلية الجوهرية بينهما.
2. تصميم عنق الزجاجة الضاغط: يستبدل التصميمات التوسعية كثيفة المعلمات باستراتيجية ضغط $D \rightarrow D/4$، والتي تعمل كمنظم هيكلي يعزز القدرة على التعميم في حالات التعلم من أمثلة قليلة.
3. نموذج التهيئة النشطة: يقترح تهيئة Kaiming النشطة بدلاً من التهيئة الصفرية، موضحاً أن تدفق التدرج النشط يسرع التقارب ويحسن التوازن بين الاستقرار واللدونة دون حدوث نسيان كارثي.
4. أداء الحالة الراهنة (SOTA): يحقق معايير جديدة عبر 11 مجموعة بيانات متنوعة، ويتفوق بشكل خاص في النطاقات الحساسة للهيكل (الأنسجة، صور الأقمار الصناعية).

4. النتائج التجريبية

قيم المؤلفون HeBA على 11 مجموعة بيانات لتصنيف الصور (مثل ImageNet، EuroSAT، DTD، Oxford-Pets) تحت إعدادات التعميم من القاعدة إلى الجديد (Base-to-Novel)، وعبر مجموعات البيانات، والتعميم النطاقي.

• التعميم من القاعدة إلى الجديد (Base-to-Novel Generalization):
  • حقق HeBA متوسطاً توافقياً (HM) جديداً للحالة الراهنة (SOTA) بنسبة 81.35%، متفوقاً على أفضل النتائج السابقة (LwEIB بنسبة 81.21%) وعلى نماذج قوية مثل MaPLe (78.55%).
  • أظهر دقة جديدة (Novel Accuracy) بلغت 78.62%، مما يشير إلى قدرة أفضل على التعميم للفئات غير المرئية مقارنة بـ CoOp (63.22%) و LwEIB (78.21%).
• النطاقات الحساسة للهيكل:
  • DTD (الأنسجة): تحسن بنسبة +2.37% عن LwEIB (70.20% مقابل 67.83%).
  • EuroSAT (صور الأقمار الصناعية): حقق 88.16% كمتوسط توافقي (HM)، متفوقاً بشكل كبير على LwEIB (86.86%). وهذا يؤكد فعالية النمذجة المكانية ثنائية الأبعاد للمجالات غير المتمحورة حول الأجسام.
• التعميم عبر مجموعات البيانات والنطاقات:
  • حقق أعلى متوسط دقة (68.71%) عبر 10 مجموعات بيانات مستهدفة عند التدريب على ImageNet.
  • أظهر متانة في مواجهة الأمثلة العدائية (ImageNet-A)، محققاً دقة 51.36%، متفوقاً على MMA و LwEIB.
• دراسات الاستئصال (Ablation Studies):
  • إزالة الانحياز المكاني (باستخدام تسلسلات 1D) خفض HM إلى 81.25%.
  • استبدال التلافيف بعمق بخرائط الهوية (Identity mapping) خفض HM إلى 81.20%.
  • استبدال تهيئة Kaiming النشطة بالتهيئة الصفرية قلل من دقة القاعدة (Base accuracy) ومن الـ HM الإجمالي، مما أكد فائدة تدفق التدرج النشط.

5. الأهمية

يمثل HeBA تحولاً نوعياً في تكييف نماذج الرؤية واللغة من خلال الابتعد عن تصميمات المهايئات التي تتبع مبدأ "مقاس واحد يناسب الجميع". وتكمن أهميته في:

• الرؤية النظرية: يثبت أن احترام الانحيازات الاستدلالية لكل وسيط (المكانية للرؤية، والدلالية للنص) أمر بالغ الأهمية للتعلم القوي من أمثلة قليلة.
• الكفاءة: باستخدام عنق زجاجة ضاغط بدلاً من التوسيع، يحقق أداءً أعلى بمعلمات أقل ومخاطر أقل للإفراط في التخصيص.
• المتانة: يخلق الجمع بين التنظيم الهيكلي والتهيئة النشطة مشهداً أمثلياً أكثر استقراراً، مما يجعل نماذج الرؤية واللغة أكثر موثوقية للتطبيقات الواقعية التي تتضمن تحولات في النطاق (مثل التصوير الطبي، وتحليل الأقمار الصناعية) حيث تكون البيانات شحيحة وتغيرات التوزيع متكررة.

الكود متاح للعموم، مما يسهل المزيد من الأبحاث في التصميمات المعمارية الخاصة بالوسائط.