Technische Samenvatting: USE – Een Unified Self-Ensembling Framework voor Test-Time Prompt Tuning

1. Probleemstelling

Vision-Language Models (VLM's), zoals CLIP, hebben een sterke generalisatie getoond in zero-shot settings, maar blijven kwetsbaar voor distributieverschuivingen in downstream taken. Hoewel Test-Time Adaptation (TTA) een oplossing biedt door gebruik te maken van ongelabelde testmonsters, lijden bestaande methoden vaak aan inconsistenties tussen hun optimalisatie- en inferentiestadia.

Specifiek de pionierende Test-Time Prompt Tuning (TPT) methode optimaliseert tekstuele prompts door de marginale entropie te minimaliseren over de gemiddelde voorspellingen van geaugmenteerde views. Echter, TPT en zijn varianten vertrouwen tijdens de inferentie meestal op een "zwakke" augmentatie (de originele afbeelding), terwijl het optimalisatiestadium gebruikmaakt van een gemiddelde van "sterke" augmentaties. Deze discrepantie creëert een mismatch tussen de pseudo-labels die worden gebruikt voor optimalisatie en de uiteindelijke voorspellingsstrategie. Bovendien wegen bestaande benaderingen de originele testafbeelding vaak onder of sluiten deze uit bij de constructie van pseudo-labels, ondanks het bewijs dat de originele afbeelding betrouwbaarder kan zijn dan bepaalde geaugmenteerde views in zero-shot classificatie.

2. Methodologie

Het artikel stelt USE (Unified Self-Ensembling) voor, een framework dat de optimalisatie- en inferentiestadia verenigt via een consistente self-ensembling strategie.

2.1 TPT herinterpreteren als Self-Training

De auteurs herinterpreteren eerst het doel van TPT. Door een hulpdistributie $q$ te introduceren (een versie van de gemiddelde voorspelling met een stop-gradient), wordt de marginale entropie-minimalisatie-doelstelling gedecomposeerd in een Reverse Cross-Entropy (RCE) term en een KL-divergentie term. Omdat de KL-term wordt geoptimaliseerd wanneer $q$ vaststaat, reduceert de doelstelling effectief tot het minimaliseren van RCE. Dit onthult dat TPT impliciet leert van zelf gegenereerde pseudo-labels, waarbij het pseudo-label wordt geconstrueerd door de voorspellingen van geselecteerde laag-entropie geaugmenteerde views te middelen.

2.2 Self-Ensembling (SE) Strategie

Om de kwaliteit van deze pseudo-labels te verbeteren, introduceren de auteurs een Self-Ensembling (SE) strategie. Empirische analyse toont aan dat hoewel sterke augmentaties nuttig zijn, de zwakke augmentatie (de originele testafbeelding) vaak een onderscheidende waarde heeft en niet moet worden weggegooid.

De SE-strategie aggregeert dynamisch voorspellingen van zowel zwakke ($p_w$) als sterke ($p_s$) augmentaties. Het maakt gebruik van een entropie-gebaseerde weegcoëfficiënt $\beta$ om de bijdrage van de testafbeelding adaptief aan te passen:

1. Ranking: De relatieve zelf-entropie rang $\delta$ van de zwakke augmentatie wordt berekend ten opzichte van de set van sterke augmentaties.
2. Weighting: Een lineaire functie schaalt $\delta$ naar een gewicht $\beta$ (beperkt tussen 0.3 en 0.7). Als de zwakke augmentatie een lagere entropie (hogere betrouwbaarheid) heeft dan de meeste sterke augmentaties, krijgt deze een hoger gewicht.
3. Pseudo-Label Constructie: Het uiteindelijke pseudo-label $q(x)$ wordt berekend als:
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 Het Unified Framework (USE)

USE waarborgt consistentie tussen de twee stadia van TTA:

• Optimalisatiestadium: De tekstuele prompt wordt geoptimaliseerd met de RCE loss, waarbij het doel-pseudo-label $q(x)$ wordt gegenereerd via de SE-strategie.
• Inferentiestadium: In tegen tegenstelling tot TPT, dat uitsluitend voorspelt op de zwakke augmentatie, past USE dezelfde SE-strategie toe om de uiteindelijke voorspelling $\hat{p}(x)$ te genereren. Dit verenigt de doelstelling van pseudo-label schatting en uiteindelijke inferentie.

Daarnaast introduceren de auteurs een skip-techniek om de computationele kosten te verlagen. Als de voorspelling van de zwakke augmentatie identiek is aan de geselecteerde sterke augmentaties, wordt de optimalisatiestap overgeslagen, omdat de voorspelling als betrouwbaar wordt beschouwd.

Opmerkelijk is dat de SE-strategie onafhankelijk kan functioneren als een optimalisatie-vrije TTA-methode, die geen backpropagation vereist.

3. Belangrijkste Bijdragen

• Herinterpretatie van TPT: Het artikel onthult dat TPT impliciet leert van zelf gegenereerde pseudo-labels, waarbij de marginale entropie-doelstelling wordt gekaderd als een Reverse Cross-Entropy loss tegen een stop-gradient target.
• Self-Ensembling (SE): Een eenvoudige, effectieve strategie die zwakke en sterke augmentaties adaptief weegt om betrouwbaardere pseudo-labels te genereren. Het dient als een op zichzelf staande, optimalisatie-vrije TTA-methode.
• Unified Framework (USE): Een TTA-framework dat de optimalisatiedoelstelling afstemt op de inferentiedoelstelling door de SE-strategie in beide stadia toe te passen, wat consistentie garandeert.
• Plug-and-Play Capaciteit: SE wordt getoond als een lichtgewicht module die kan worden geïntegreerd in bestaande TTA-methoden om prestaties consistent te verbeteren zonder significante computationele overhead.

4. Experimentele Resultaten

De auteurs evalueerden USE en SE op ImageNet, de Out-of-Distribution (OOD) varianten (ImageNet-A, V2, R, Sketch) en tien fine-grained datasets (bijv. DTD, Flowers102, EuroSAT) met behulp van ViT-B/16 en ResNet-50 backbones.

• Prestaties:
  • Optimalisatie-vrij: SE behaalde de beste of op één na beste resultaten onder de optimalisatie-vrije methoden, waarbij het CLIP, MTA en ZERO versloeg. Op de ResNet-50 backbone behaalde SE een gemiddelde nauwkeurigheid van 47,80% op OOD-datasets, waarmee het veel optimalisatie-gebaseerde methoden overtrof.
  • Optimalisatie-gebaseerd: USE presteerde consequent beter dan baselines zoals TPT, C-TPT, R-TPT en STS. Op fine-grained datasets met ViT-B/16 verbeterde USE de gemiddelde nauwkeurigheid van 64,84% (TPT) naar 65,35%.
  • Robuustheid: Wanneer geïnitialiseerd met CoOp (een sterkere prompt-initialisatie), behielden zowel SE als USE top-tier prestaties, wat duidt op robuustheid tegen verschillende gepre-trainde configuraties.
• Integratie: Het integreren van SE als een plug-in module in bestaande methoden (TPT, C-TPT, R-TPT, STS) leverde consequent winst in nauwkeurigheid op. Zo verhoogde het toevoegen van SE aan C-TPT de IN&O nauwkeurigheid van 61,09% naar 64,27%.
• Efficiëntie:
  • SE is zeer efficiënt en vereist slechts 0,059 seconden per sample en 1,06 GB geheugen, wat vergelijkbaar is met 64 forward passes van CLIP, maar met een hogere nauwkeurigheid.
  • USE, gebruikmakend van de skip-techniek, verminderde de gemiddelde testtijd tot 0,144 seconden per afbeelding. Meer dan 60% van de testsamples werd overgeslagen zonder verlies van nauwkeurigheid.

5. Betekenis en Claims

Het artikel beweert dat de primaire betekenis van USE ligt in de unificatie van optimalisatie- en inferentiedoelstellingen. Door te garanderen dat de pseudo-labels die voor adaptatie worden gebruikt, worden geconstrueerd met dezelfde strategie als de uiteindelijke inferentie, elimineert USE de prestatiekloof die vaak bij TTA-methoden voorkomt.

De auteurs benadrukken dat:

1. Consistentie is essentieel: De prestatiewinsten zijn grotendeels toe te schrijven aan de consistentie die de SE-strategie biedt over beide stadia.
2. Eenvoud en Effectiviteit: De SE-strategie is een eenvoudige, entropie-gebaseerde weegmechanisme die geen complexe trainingsdoelen of extra parameters vereist, maar toch substantiële prestatieverbeteringen oplevert.
3. Veelzijdigheid: Het framework is veelzijdig en functioneert effectief als zowel een op zichzelf staande optimalisatie-vrije methode als een consistente verbetering voor optimalisatie-gebaseerde methoden.

Het artikel concludeert dat hoewel de methode enige computationele overhead introduceert door het genereren van meerdere augmentaties (een veelvoorkomend kenmerk van episodische TTA), het gebruik van de skip-techniek en de hoge nauwkeurigheidswinsten het een praktische en effectieve aanpak maken om de robuustheid van VLM's tegen distributieverschuivingen te verbeteren.