Technische Samenvatting: Heroverweging van de Laag-specifieke Informatietoewijzing voor de Adaptatie van Vision Foundation Models

Probleemstelling

Vision Foundation Models (VFMs), met name Vision Transformers (ViTs), worden steeds vaker gebruikt als bevroren backbones voor downstream visuele herkenningstaken. Hoewel prompt-gebaseerde adaptatiemethoden zoals Visual Prompt Tuning (VPT) een parameterefficiënt alternatief bieden voor volledige fine-tuning, blijft hun laag-specifieke gedrag slecht begrepen. Empirische observaties wijzen uit dat het vergroten van de prompt-diepte, de lengte of het invoerbereik niet betrouwbaar de transferprestaties verbetert. In sommige gevallen leidt sterkere prompt-parameterisatie tot instabiliteit in fijnmazige herkenning, low-shot transfer of onder distributieverschuivingen.

De auteurs stellen dat deze beperkingen niet uitsluitend voortkomen uit optimalisatieproblemen of een gebrek aan prompt-capaciteit. In plaats daarvan komen ze voort uit een gebrek aan principiële controle over de laag-specifieke informatieallocatie. Bestaande prompt-gebaseerde methoden slagen er vaak niet in te reguleren welke door de prompt geconditioneerde representaties behouden, onderdrukt of gepropageerd moeten worden door de diepte van een bevroren transformer. Dit kan resulteren in de overmatige preservatie van nuisance-factoren (bijv. textuur, achtergrond) of de voortijdige onderdrukking van taak-relevante lokale bewijslast.

Methodologie: Prompted Information Bottlenecks (PIB)

Geïnspireerd door het Information Bottleneck (IB) principe, stellen de auteurs Prompted Information Bottlenecks (PIB) voor, een framework dat prompt-gebaseerde adaptatie behandelt als een laag-specifiek informatieallocatieproces. De kernhypothese is dat effectieve adaptatie een "minimaal-doch-voldoende" traject moet volgen: vroege lagen moeten de lokale bewijslast behouden die nodig is voor discriminatie, terwijl diepere lagen progressief nuisance-factoren en redundante details moeten onderdrukken.

Het PIB-framework introduceert een trainingsdoelstelling die prompt-gedrag reguleert via drie complementaire componenten:

1. Laag-specifieke Compressie en Sufficiëntie:

   • Compressie: Om de propagatie van redundante of nuisance-rijke informatie te ontmoedigen, minimaliseert PIB de off-diagonal energie van de empirische correlatiematrix van genormaliseerde verborgen representaties. Dit dient als een surrogaat voor het verminderen van de wederzijdse informatie tussen de representatie en de input ($I(H_l; X)$).
   • Sufficiëntie: Om overmatige compressie te voorkomen die nuttige discriminerende kenmerken zou kunnen weggooien, maximaliseert PIB de klassenseparabiliteit. Dit wordt bereikt door de ratio van de binnen-klasse spreiding tot de tussen-klasse spreiding ($S_{intra}/S_{inter}$) te minimaliseren, wat fungeert als een surrogaat voor het maximaliseren van de wederzijdse informatie met het label ($I(H_l; Y)$).
   • De totale laag-specifieke loss combineert deze termen: $\mathcal{L}_{PIB} = \sum (\lambda_l \mathcal{L}^{(l)}_{comp} + \gamma_l \mathcal{L}^{(l)}_{suff})$.

2. Cross-layer Minimal-Sufficient Path:

   • Omdat onafhankelijke laag-optimalisatie onvoldoende is, dwingt PIB een coherent verfijningspad af over de diepte. Een laag-kwaliteitsscore ($q_l$) wordt gedefinieerd op basis van de balans tussen compressie en sufficiëntie.
   • Een pad-regularisator straft abrupte verslechtering in deze score tussen aangrenzende lagen af ($\max(0, q_{l+1} - q_l - \delta_l)$), wat een vloeiende transitie stimuleert van het behoud van lokale bewijslast naar hogere-orde semantische selectiviteit.

3. Optionele Laag-bewuste Routing:

   • Een optionele leerbare gate ($r_l$) staat het model toe om de weging tussen de compressie- en sufficiëntie-objectieven voor elke laag dynamisch aan te passen, wat flexibiliteit biedt voor verschillende representatieve rollen over de diepte van het netwerk.

De uiteindelijke doelstelling combineert de standaard taak-loss met deze regularisatoren: $\mathcal{L}_{total} = \mathcal{L}_{task} + \mathcal{L}_{PIB} + \eta \mathcal{L}_{path}$.

Belangrijkste Bijdragen

• Identificatie van een Foutmodus: Het artikel identificeert dat de beperkingen van prompt-gebaseerde VFM-adaptatie niet alleen voortkomen uit optimalisatiedynamiek, maar ook uit ongecontroleerde laag-specifieke informatieallocatie.
• Formulering van PIB: De auteurs formuleren prompt-geconditioneerde adaptatie als een laag-specifiek Prompted Information Bottleneck-proces, waarbij zij een Information Bottleneck-geïnspireerd perspectief bieden waar effectieve prompts een minimale-doch-voldoende informatiepad volgen.
• Trainingsframework: Er is een praktisch trainingsframework ontwikkeld dat de door de prompt geïnduceerde informatieallocatie expliciet reguleert met behulp van complementaire compressie- en sufficiëntie-surrogaten, samen met cross-layer pad-constraints.
• Empirische Analyse: De studie verbindt niet-monotoon schalen, instabiele generalisatie, shortcut-afhankelijkheid en prompt-dynamiek aan het voorgestelde informatie-allocatieperspectief, wat een duidelijkere verklaring biedt voor de falende modi van prompt-gebaseerde adaptatie.

Experimentele Resultaten

De auteurs evalueerden PIB over 34 datasets, waaronder FGVC (Fine-Grained Visual Classification), HTA (Heterogeneous Task Adaptation) en VTAB-1k, met diverse bevroren backbones (ViT-Base/16, MAE-pretrained, MoCo v3-pretrained, en Swin-Base).

• Prestaties: PIB behaalde sterke prestaties terwijl er gemiddeld slechts 0,35% van de parameters werd getuned. Belangrijke resultaten zijn:
  • 92,1% op FGVC.
  • 93,01% op HTA.
  • 77,33% op VTAB-1k.
  • Consistente verbeteringen werden waargenomen over verschillende pretraining-paradigma's (supervised, MAE, MoCo v3) en architecturen (ViT, Swin).
• Schaalgedrag: In tegen tegenstelling tot standaard VPT, dat een niet-monotoon en soms fragiel gedrag vertoont wanneer de prompt-diepte of -lengte toeneemt, vertoont PIB een gladdere en gunstigere schaaltrend.
• Robuustheid en Reductie van Shortcuts: PIB verminderde de afhankelijkheid van shortcut-gevoelige visuele cues (bijv. achtergrondtexturen). Onder corruptie, domeinverschuiving en few-shot settings vertoonde PIB een kleinere prestatiedaling vergeleken met VPT (een gemiddelde daling van 8,0 naar 5,3 punten).
• Diagnostiek: Laag-specifieke analyse toonde aan dat PIB een coherenter informatietraject, stabielere redundantie-onderdrukking en sterkere klassenseparabiliteit produceert vergeleken met vanilla VPT. Attention-visualisaties bevestigden dat PIB leidt tot meer object-gecentreerde en semantisch uitgelijnde activaties.

Betekenis en Claims

Het artikel positioneert PIB als zowel een praktische methode als een nieuw perspectief voor de adaptatie van bevroren vision foundation models. De auteurs beweren dat:

1. Principiële Controle: De primaire zwakte van standaard prompt-gebaseerde adaptatie is het gebrek aan principiële controle over de laag-specifieke informatieallocatie, en niet louter een gebrek aan capaciteit.
2. Interpreteerbaarheid: PIB helpt het niet-monotone gedrag van prompt-capaciteit-schaling te verklaren en biedt een interpreteerbaarder beeld van laag-specifieke prompt-dynamiek.
3. Generalisatie: Het framework is niet gebonden aan specifieke architecturen of pretraining-recepten, en generaliseert goed over verschillende bevroren representatieruimtes.
4. Robuustheid: Door expliciet te reguleren wat prompts behouden en weggooien, levert PIB representaties op die niet alleen meer discriminerend zijn, maar ook robuuster onder distributieverschuivingen en fijnmazige herkenningssettings.

De auteurs concluderen dat parameterefficiënte adaptatie niet alleen begrepen moet worden aan de hand van het aantal bijgewerkte parameters, maar ook aan de hand van hoe adaptatie de intermediaire representaties vormgeeft. PIB biedt een stap naar een meer principieel begrip van de adaptatie van bevroren VFMs.