Technisches Resümee: USE – Ein vereinheitlichtes Self-Ensembling-Framework für Test-Time Prompt Tuning

1. Problemstellung

Vision-Language-Modelle (VLMs) wie CLIP haben eine starke Generalisierung in Zero-Shot-Szenarien demonstriert, bleiben jedoch gegenüber Verteilungsverschiebungen (Distribution Shifts) in Downstream-Aufgaben anfällig. Während die Test-Time Adaptation (TTA) eine Lösung bietet, indem sie unbeschriftete Testproben nutzt, leiden bestehende Methoden oft unter Inkonsistenzen zwischen ihren Optimierungs- und Inferenzphasen.

Speziell die wegweisende Methode des Test-Time Prompt Tunings (TPT) optimiert textuelle Prompts, indem sie die marginale Entropie über gemittelte Vorhersagen augmentierter Ansichten minimiert. TPT und seine Varianten verlassen sich jedoch typischerweise auf eine „schwache“ Augmentierung (das Originalbild) für die finale Inferenz, während die Optimierungsphase eine Mittelung aus „starken“ Augmentierungen nutzt. Diese Diskrepanz führt zu einer Fehlabstimmung zwischen den für die Optimierung verwendeten Pseudo-Labels und der finalen Vorhersagestrategie. Darüber hinaus vernachlässigen oder schließen bestehende Ansätze das Originalbild des Tests oft bei der Konstruktion von Pseudo-Labels, obwohl Belege vorliegen, dass das Originalbild bei der Zero-Shot-Klassifizierung zuverlässiger sein kann als bestimmte augmentierte Ansichten.

2. Methodik

Das Paper schlägt USE (Unified Self-Ensembling) vor, ein Framework, das die Optimierungs- und Inferenzphasen durch eine konsistente Self-Ensembling-Strategie vereinheitlicht.

2.1 TPT als Self-Training umdeuten

Die Autoren interpretieren zunächst das Ziel von TPT neu. Durch Einführung einer Hilfsverteilung $q$ (eine Version der gemittelten Vorhersage mit Stop-Gradient) wird das Ziel der Minimierung der marginalen Entropie in einen Reverse Cross-Entropy (RCE)-Term und einen KL-Divergenz-Term zerlegt. Da der KL-Term optimiert wird, wenn $q$ fixiert ist, reduziert sich das Ziel effektiv auf die Minimierung der RCE. Dies zeigt, dass TPT implizit aus selbst generierten Pseudo-Labels lernt, wobei das Pseudo-Label durch Mittelung der Vorhersagen ausgewählter Low-Entropy-Augmentierungen konstruiert wird.

2.2 Self-Ensembling (SE) Strategie

Um die Qualität dieser Pseudo-Labels zu verbessern, führen die Autoren eine Self-Ensembling (SE) Strategie ein. Empirische Analysen zeigen, dass starke Augmentierungen zwar nützlich sind, die schwache Augmentierung (das Originalbild des Tests) jedoch oft einen distinktiven Wert besitzt und nicht verworfen werden sollte.

Die SE-Strategie aggregiert dynamisch Vorhersagen aus sowohl schwachen ($p_w$) als auch starken ($p_s$) Augmentierungen. Sie verwendet einen entropiebasierten Gewichtungskoeffizienten $\beta$, um den Beitrag des Testbildes adaptiv anzupassen:

1. Ranking: Der relative Selbst-Entropie-Rang $\delta$ der schwachen Augmentierung wird im Vergleich zum Satz der starken Augmentierungen berechnet.
2. Gewichtung: Eine lineare Funktion skaliert $\delta$ in ein Gewicht $\beta$ (beschränkt zwischen 0,3 und 0,7) um. Wenn die schwache Augmentierung eine niedrigere Entropie (höhere Konfidenz) als die meisten starken Augmentierungen aufweist, erhält sie ein höheres Gewicht.
3. Konstruktion des Pseudo-Labels: Das finale Pseudo-Label $q(x)$ wird berechnet als:
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 Das vereinheitlichte Framework (USE)

USE stellt Konsistenz zwischen den beiden Phasen der TTA sicher:

• Optimierungsphase: Der textuelle Prompt wird mittels des RCE-Loss optimiert, wobei das Ziel-Pseudo-Label $q(x)$ über die SE-Strategie generiert wird.
• Inferenzphase: Im Gegensatz zu TPT, das ausschließlich auf der schwachen Augmentierung vorhersagt, wendet USE dieselbe SE-Strategie an, um die finale Vorhersage $\hat{p}(x)$ zu generieren. Dies vereinheitlicht das Ziel der Pseudo-Label-Schätzung und der finalen Inferenz.

Zusätzlich führen die Autoren eine Skip-Technik ein, um den Rechenaufwand zu reduzieren. Wenn die Vorhersage der schwachen Augmentierung identisch mit den ausgewählten starken Augmentierungen ist, wird der Optimierungsschritt übersprungen, da die Vorhersage als zuverlässig erachtet wird.

Bemerkenswerterweise kann die SE-Strategie unabhängig als optimierungsfreie TTA-Methode fungieren, die kein Backpropagation erfordert.

3. Zentrale Beiträge

• Neuinterpretation von TPT: Das Paper zeigt auf, dass TPT implizit aus selbst generierten Pseudo-Labels lernt, indem es das Ziel der marginalen Entropie als Reverse Cross-Entropy Loss gegen ein Stop-Gradient-Target formuliert.
• Self-Ensembling (SE): Eine einfache, effektive Strategie, die schwache und starke Augmentierungen adaptiv gewichtet, um zuverlässigere Pseudo-Labels zu generieren. Sie dient als eigenständige, optimierungsfreie TTA-Methode.
• Vereinheitlichtes Framework (USE): Ein TTA-Framework, das das Optimierungsziel mit dem Inferenzziel durch Anwendung der SE-Strategie in beiden Phasen in Einklang bringt und so Konsistenz gewährleistet.
• Plug-and-Play-Fähigkeit: Es wird gezeigt, dass SE ein leichtgewichtiges Modul ist, das in bestehende TTA-Methoden integriert werden kann, um die Leistung konsistent zu steigen, ohne signifikanten Rechenaufwand zu verursachen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten USE und SE auf ImageNet, seinen Out-of-Distribution (OOD) Varianten (ImageNet-A, V2, R, Sketch) und zehn feingranularen Datensätzen (z. B. DTD, Flowers102, EuroSAT) unter Verwendung von ViT-B/16 und ResNet-50 Backbones.

• Performance:
  • Optimierungsfrei: SE erzielte die besten oder zweitbesten Ergebnisse unter den optimierungsfreien Methoden und übertraf damit CLIP, MTA und ZERO. Auf dem ResNet-50 Backbone erreichte SE eine durchschnittliche Genauigkeit von 47,80 % auf OOD-Datensätzen und übertraf damit viele optimierungsbasierte Methoden.
  • Optimierungsbasiert: USE übertraf konsistent Baselines wie TPT, C-TPT, R-TPT und STS. Auf feingranularen Datensätzen mit ViT-B/16 verbesserte USE die durchschnittliche Genauigkeit von 64,84 % (TPT) auf 65,35 %.
  • Robustheit: Wenn mit CoOp (einer stärkeren Prompt-Initialisierung) gestartet, behielten sowohl SE als auch USE eine Spitzenleistung bei, was die Robustheit gegenüber verschiedenen vortrainierten Konfigurationen demonstriert.
• Integration: Die Integration von SE als Plug-in-Modul in bestehende Methoden (TPT, C-TPT, R-TPT, STS) führte konsistent zu Genauigkeitsgewinnen. Beispielsweise steigerte das Hinzufügen von SE zu C-TPT dessen IN&O Genauigkeit von 61,09 % auf 64,27 %.
• Effizienz:
  • SE ist hocheffizient und benötigt nur 0,059 Sekunden pro Probe und 1,06 GB Speicher, was vergleichbar mit 64 Forward-Passes von CLIP ist, aber eine höhere Genauigkeit bietet.
  • USE, welches die Skip-Technik nutzt, reduzierte die durchschnittliche Testzeit auf 0,144 Sekunden pro Bild. Über 60 % der Testproben wurden übersprungen, ohne dass es zu einer Verschlechterung der Genauigkeit kam.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die primäre Bedeutung von USE in der Vereinheitlichung der Optimierungs- und Inferenzziele liegt. Indem sichergestellt wird, dass die für die Adaptation verwendeten Pseudo-Labels mit derselben Strategie konstruiert werden wie die finale Inferenz, eliminiert USE die Performance-Lücke, die oft bei TTA-Methoden auftritt.

Die Autoren betonen:

1. Konsistenz ist entscheidend: Die Leistungssteigerungen sind weitgehend auf die durch die SE-Strategie über beide Phasen hinweg bereitgestellte Konsistenz zurückzuführen.
2. Einfachheit und Effektivität: Die SE-Strategie ist ein einfacher, entropiebasierter Gewichtungsmechanismus, der keine komplexen Trainingsziele oder zusätzlichen Parameter erfordert, aber dennoch substantielle Leistungsverbesserungen liefert.
3. Vielseitigkeit: Das Framework ist vielseitig und funktioniert sowohl effektiv als eigenständige, optimierungsfreie Methode als auch als konsistente Verbesserung für optimierungsbasierte Methoden.

Das Paper schließt damit, dass die Methode zwar einen gewissen Rechenaufwand durch die Generierung mehrerer Augmentierungen einführt (ein verbreitetes Merkmal episodischer TTA), die Nutzung der Skip-Technik und die hohen Genauigkeitsgewinne sie jedoch zu einem praktischen und effektiven Ansatz zur Verbesserung der Robustheit von VLMs gegenüber Verteilungsverschiebungen machen.