Technische Samenvatting: Ontdekking van Laagspecifieke Prompt Fusie via Differentiabele Zoektocht in Vision Foundation Models

1. Probleemstelling

Visual Prompt Tuning (VPT) is naar voren gekomen als een parameter-efficiënte fine-tuning strategie (PEFT) voor het aanpassen van grootschalige Vision Transformers (ViT's) aan downstream-taken. In standaard VPT worden leerbare prompt-tokens geïnjecteerd in de input- en feature-ruimtes van een bevroren ViT-backbone. De kernoperatie bestaat uit het fuseren van deze prompt-tokens met beeld-tokens voordat ze de transformer-lagen ingaan.

Momenteel vertrouwt de gemeenschap voornamelijk op een enkele, vaste fusieschema—ofwel concatenatie of optelling—die uniform over alle transformer-lagen wordt toegepast. Het artikel identificeert een fundamentele tekortkoming in deze aanpak: het blijft onbekend of een enkel fusieschema optimaal is voor alle lagen en taken, en of een hybride fusiewijze (het combineren van verschillende schema's bij verschillende lagen) de laagspecifieke semantiek van ViT's beter kan benutten. Bestaande literatuur onderzoekt het ontwerp van de fusierule zelf zelden als een leerbaar component, en behandelt het vaak als een statische hyperparameter.

2. Methodologie: Auto-Prompting

De auteurs stellen een verenigd framework voor, genaamd Auto-Prompting, dat de fusie tussen prompts en beeld-tokens behandelt als een doorzoekbaar, differentiabel component. De methode wordt geformuleerd als een bi-niveau optimalisatieprobleem dat wordt opgelost via Differentiabele Neural Architecture Search (DARTS).

2.1 Ontwerp van de Zoekruimte

Om de zoekruimte verder te verrijken dan de standaard concatenatie en optelling, introduceren de auteurs twee aanvullende, lichtgewicht fusie-operators:

1. Concatenatie ($\Delta_{concat}$): Voegt prompt-tokens toe aan de voorzijde van de beeld-tokens en past een token-preserverende reductiematrix toe om de vaste backbone-interface ($k \times d$) te behouden.
2. Optelling ($\Delta_{add}$): Injecteert een prompt-afhankelijke residuele bias door prompts te samenvatten via LayerNorm-gemiddelden en deze te broadcasten.
3. Affiene Transformatie ($\Delta_{affine}$): Past Feature-wise Linear Modulation (FiLM) toe, waarbij prompt-samenvattingen worden gebruikt om kanaalspecifieke schaal- en verschuivingsparameters te genereren.
4. Cross-Attention ($\Delta_{cross}$): Maakt content-adaptieve routering mogelijk waarbij beeld-tokens aandacht besteden aan een prompt-geheugen (behandeld als een key/value bron).

2.2 Bi-niveau Optimalisatie

Het framework werkt in twee fasen:

• Inner Loop (Training): Optimaliseert de leerbare prompt-parameters ($\phi$) en de interne gewichten van de fusie-operators op de trainingsset.
• Outer Loop (Validatie): Optimaliseert de architectuur-logits ($\alpha$), die de menggewichten ($\pi$) bepalen voor de fusie-operators bij elke laag. Dit gebeurt via een eenstapige unrolled benadering met Hessian-vectorproducten om de gradiënt van de validatieverlies met betrekking tot de architectuurparameters te benaderen.

De outer-objective bevat regularisatietermen:

• Entropie-regularisatie: Stimuleert exploratie van de zoekruimte om voortijdige ineenstorting naar een enkele operator te voorkomen.
• Kosten-regularisatie: Stuurt de zoektocht naar lichtere operators (Add/Concat), tenzij zwaardere operators (Affine/Cross-Attention) significante winst in nauwkeurigheid bieden, wat zorgt voor een nauwkeurigheid-latentie afweging.

2.3 Discretisatie

Na de zoekfase worden de continue menggewichten gediscretiseerd door de operator met de hoogste waarschijnlijkheid voor elke laag te selecteren. Een korte fine-tuning fase volgt om de prestaties te herstellen met de geprunede, discrete architectuur.

2.4 Theoretisch Perspectief: Information Bottleneck (IB)

De auteurs interpreteren de methode door de lens van het Information Bottleneck principe. Ze observeren dat het gezamenlijk optimaliseren van prompts en fusieschema's leidt tot een lagere empirische IB-surrogaat vergeleken met het optimaliseren van prompts alleen. Specifiek staat de geleerde hybride fusie toe dat diepere lagen de input-afhankelijke variatie compacter maken (vermindering van $I(T; X)$) terwijl ze beter afstemmen op labelinformatie (verhoging van $I(T; Y)$), wat suggereert dat er een gunstiger compressie-relevantie afweging is.

3. Belangrijkste Bijdragen

1. Fundamentele Ondervraging: Het artikel daagt de aanname uit dat een enkel fusieschema voldoende is, en laat zien dat vaste fusie (concatenatie of optelling) niet optimaal presteert over diverse taken en lagen.
2. Nieuw Optimalisatie-framework: Het stelt een hybride fusiemethode voor, geformuleerd als een bi-niveau optimalisatieprobleem, opgelost via differentiabele architectuurzoektocht om prompts en laagspecifieke fusierules gezamenlijk te leren.
3. Uitbreiding van de Zoekruimte: Het introduceert Affiene Transformatie en Cross-Attention als nieuwe, lichtgewicht primitieven in de VPT-zoekruimte, wat een expressievere maar efficiënte fusiebasis mogelijk maakt.
4. Uitgebreide Validatie: Het werk biedt zowel een theoretische interpretatie (via IB) als uitgebreide empirische evaluaties, waarmee cruciale vragen worden beantwoord over de noodzaak en schaalbaarheid van hybride fusie in visual prompt tuning.

4. Experimentele Resultaten

De methode werd geëvalueerd op 34 datasets over drie belangrijke benchmarks: VTAB-1k (19 datasets), FGVC (5 fine-grained datasets), en HTA (10 diverse datasets). De backbone was een bevroren ViT-Base/16.

• Prestatiewinsten:

  • VTAB-1k: Behaalde een gemiddelde nauwkeurigheid van 77,01%, waarmee het de sterke VPT-Deep baseline (69,43%) met +7,58% verslaat en recente varianten zoals VFPT (75,49%) met +1,52%.
  • FGVC: Behaalde 92,5% gemiddelde nauwkeurigheid, waarmee het VPT-Deep (85,5%) met +7,0% overtreft.
  • HTA: Behaalde 91,6% gemiddelde nauwkeurigheid, een verbetering van +6,1% ten opzien van VPT-Deep (85,5%).
  • Parameter-efficiëntie: De methode traint slechts 0,75% van de parameters van de ViT (inclusclusief de taakspecifieke head), wat vergelijkbaar is met of lager is dan andere SOTA PEFT-methoden.

• Generalisatie:

  • De methode toonde robuustheid over verschillende pretraining-paradigma's (MAE en MoCo v3) en presteerde consistent beter dan baselines onder zowel reconstructie-gecentreerde als contrastieve doelstellingen.
  • Het werd ook gevalideerd op Swin-Base, waarbij vergelijkbare winsten en aanpassingsvermogen aan hiërarchische backbones werden getoond.

• Ablatie-studies:

  • Single vs. Hybrid: Geen enkele operator (Concat, Add, Affine of Cross-Attention) was uniform optimaal. De doorzoekbare hybride aanpak presteerde consequent beter dan elke vaste single-operator baseline.
  • Laagspecifieke Patronen: Analyse toonde aan dat ondiepe lagen de voorkeur geven aan lichtgewicht operators (Concat/Add) om structurele aanwijzingen te behouden, terwijl diepere lagen verschuiven naar semantische operators (Affine/Cross-Attention) voor feature-kalibratie en content-adaptieve routering.
  • Efficiëntie: Hoewel de zoekfase een trainings-overhead met zich meebrengt (ongeveer 1,38x VPT-Deep), voegt het uiteindelijke gediscretiseerde model slechts 7,4% inferentie-latentie toe (15,9ms vs. 14,8ms) terwijl het significante verbeteringen in nauwkeurigheid levert.

5. Betekenis en Claims

Het artikel claimt dat hoe prompts fuseren met beeld-tokens een eerste-orde factor is voor generalisatie in visual prompt tuning. Door over te stappen van een vast fusieschema naar een laagspecifieke, geleerde hybride fusie, benut de methode effectief de uiteenlopende representationele behoeften van verschillende ViT-lagen.

De auteurs stellen dat hun bevindingen een nieuw perspectief bieden voor visual prompt-tuning onderzoek, waarbij de kloof tussen Neural Architecture Search (NAS) en lichtgewicht fine-tuning wordt overbrugd. Zij concluderen dat een hybride fusiewijze niet alleen optimaal is, maar ook zeer schaalbaar, in staat om nieuwe single-fusieschema's naadloos in de zoekruimte te integreren. Deze aanpak stelt bevroren backbones in staat om effectiever aan te passen aan domeinverschuivingen en complexe taken (met name gestructureerd redeneren) zonder terug te vallen op zwaardere heads of handmatige inductieve biases.