HeBA: Heterogeneous Bottleneck Adapters for Robust Vision-Language Models

Titel: HeBA: Heterogene Bottleneck Adapters voor Robuuste Vision-Language Modellen

Auteur: Md Jahidul Islam (Bangladesh University of Engineering and Technology)
Publicatiedatum: 17 maart 2026 (arXiv)

---

1. Het Probleem

Het aanpassen van grote Vision-Language Modellen (VLM's), zoals CLIP, aan downstream-taken met weinig data (few-shot learning) wordt vaak belemmerd door een "one-size-fits-all" architecturale aanpak. Bestaande methoden voor Parameter-Efficient Fine-Tuning (PEFT), zoals adapters en prompt learning, behandelen visuele en tekstuele tokens uniform als 1D-vectoren. Dit leidt tot twee kritieke tekortkomingen:

• Verlies van ruimtelijke structuur: Visuele tokens hebben intrinsieke 2D-ruimtelijke correlaties (bijv. texturen, vormen) die verloren gaan wanneer ze als vlakke sequenties worden verwerkt.
• Homogeniteit: Bestaande adapters gebruiken vaak identieke lagen (zoals MLP's) voor beide modaliteiten, wat de fundamentele verschillen tussen de semantische dichtheid van tekst en de ruimtelijke lokalisatie van beelden negeert.
• Overfitting en instabiliteit: Methoden die de interne dimensie uitbreiden (expansie-adapters) lopen het risico te overfitten bij weinig data. Bovendien leidt de gebruikelijke "zero-initialization" (nul-initialisatie) van adapters vaak tot vertraagde convergentie en het stagneren van gradiënten in de vroege trainingsfasen.

2. Methodologie: HeBA Architectuur

HeBA (Heterogeneous Bottleneck Adapter) introduceert een unificerend raamwerk dat modale specifieke inductieve biasen direct in de architectuur codeert. De methode bestaat uit drie kerninnovaties:

A. Heterogene Inductieve Biasen (Modale Specifieke Verwerking)

In plaats van uniforme lagen, gebruikt HeBA een gesplitste architectuur:

• Visuele Stroom (Visual Stream): Gebruikt 2D dieptewijze scheidbare convoluties (depthwise-separable convolutions). Visuele tokens worden eerst hershaped naar een 2D-rooster. Dit behoudt de ruimtelijke correlaties (zoals texturen en vormen) die cruciaal zijn voor beeldherkenning.
• Tekstuele Stroom (Textual Stream): Gebruikt dichte lineaire projecties (dense linear projections). Omdat tekst geen ruimtelijke structuur heeft, behoudt deze aanpak de globale semantische integriteit van de taaldata.

B. Structurele Regularisatie via Bottlenecks

HeBA verwerpt het traditionele "Inverse Bottleneck"-ontwerp (dat de dimensie uitbreidt naar 4x de invoer) en kiest voor een compressief bottleneck-ontwerp:

• De feature-dimensie wordt gereduceerd van $D$ naar $D/4$ (een verhouding van $r=4$).
• Deze compressie fungeert als een intrinsieke structurele regularisator. Het dwingt het model om een compacte, low-rank representatie van de domeinverschuiving te leren en filtert taak-irrelevante ruis fysiek uit, wat overfitting in few-shot scenario's voorkomt.

C. Actieve Gradiënt Initialisatie (Active Gradient Initialization)

HeBA daagt het dominante paradigma van zero-initialisatie uit:

• Probleem: Zero-initialisatie zorgt ervoor dat de adapter aanvankelijk geen bijdrage levert, wat leidt tot het "verdwijnen" van gradiënten en vertraagde aanpassing.
• Oplossing: HeBA gebruikt een Kaiming-initialisatie (He Normal distribution) voor de up-projection lagen. Dit garandeert een robuuste gradiëntstroom vanaf iteratie $t=0$, waardoor het model sneller kan aanpassen aan de downstream-verdeling zonder de voorgeprogrammeerde kennis van de bevroren CLIP-backbone te verliezen.

D. Optimalisatie en Regularisatie

Om de actieve initialisatie te balanceren en divergentie te voorkomen, worden twee mechanismen gebruikt:

1. Dynamische "Slow-Fast" Schedule: Een stochastische schalingsfactor ($s$) die de invloed van de adapter tijdens het trainen varieert.
2. Label Smoothing: Vervanging van de standaard Cross-Entropy loss door Label Smoothing Cross-Entropy (LSCE) om oververzekerde voorspellingen op weinig voorbeelden te voorkomen.

3. Belangrijkste Resultaten

HeBA is uitgebreid getest op 11 diverse datasets (waaronder ImageNet, EuroSAT, DTD, Oxford Pets) in een Base-to-Novel generalisatie setting.

• State-of-the-Art Prestaties: HeBA bereikt een nieuwe state-of-the-art Harmonisch Gemiddelde (HM) van 81,35% over de 11 datasets, wat een verbetering is ten opzichte van de vorige beste methode LwEIB (81,21%).
• Verbeterde Generalisatie: De nauwkeurigheid op "Novel" (ongezien) klassen bedraagt 78,62%, een significante stijging ten opzichte van concurrenten zoals CoOp (63,22%) en LwEIB (78,21%).
• Ruimtelijke en Domein-gevoelige taken:
  • Op DTD (texturen) en EuroSAT (satellietbeelden) presteert HeBA aanzienlijk beter dan eerdere methoden, wat bewijst dat de 2D-convoluties essentieel zijn voor het vastleggen van geometrische patronen.
  • Bij Cross-Dataset evaluatie (getraind op ImageNet, getest op andere datasets) behaalt HeBA een gemiddelde nauwkeurigheid van 68,71%.
• Domein Generalisatie: HeBA toont robuustheid op out-of-distribution varianten van ImageNet (zoals ImageNet-A en ImageNet-Sketch), met name door de effectiviteit van de actieve initialisatie om robuuste beslissingsgrenzen vroeg te vormen.

4. Significantie en Conclusie

Het paper demonstreert dat de architecturale homogeniteit in huidige VLM-adapters een fundamentele beperking is. De bijdrage van HeBA is drievoudig:

1. Architecturale Specialisatie: Het aantonen dat visuele en tekstuele modaliteiten fundamenteel verschillende verwerkingspijplijnen vereisen (2D convoluties vs. lineaire projecties).
2. Regularisatie door Ontwerp: Het bewijzen dat compressieve bottlenecks een effectievere regularisator zijn dan expansieve ontwerpen in data-schaarse omgevingen.
3. Training Dynamiek: Het uitdagen van het dogma van zero-initialisatie, waarbij aangetoond wordt dat actieve initialisatie (Kaiming) in combinatie met de juiste regularisatie leidt tot snellere convergentie en betere stabiliteit.

HeBA stelt een nieuwe standaard voor in few-shot learning voor Vision-Language Modellen, met name in scenario's waar ruimtelijke details en domeinverschuivingen cruciaal zijn, zoals in medische beeldvorming, satellietbeelden en fijnkorrelige classificatie. De code is openbaar beschikbaar.