SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

Technische Zusammenfassung: Semantische orthogonale Kalibrierung für Prompt-Tuning zur Testzeit (SoC)

Problemstellung
Vision-Language-Modelle (VLMs) wie CLIP haben starke Zero-Shot-Fähigkeiten demonstriert, stoßen jedoch bei dem Einsatz in realen Szenarien mit Daten außerhalb der Verteilung oder neuen Kategorien auf erhebliche Herausforderungen. Während Test-Time Prompt Tuning (TPT) als Methode zur Anpassung von VLMs an neue Aufgaben ohne gelabelte Daten durch Optimierung von Textprompts mittels Entropieminimierung entstanden ist, führt dieser Ansatz häufig zu übermäßig selbstbewussten Vorhersagen, was zu einer schlechten Unsicherheitskalibrierung führt.

Aktuelle State-of-the-Art-Methoden, insbesondere O-TPT (Orthogonal Test-Time Prompt Tuning), versuchen diese Überzuversicht zu mildern, indem sie eine vollständige Orthogonalität zwischen Paaren von Text-Prompt-Embeddings erzwingen. Die Intuition dahinter ist, dass orthogonale Prototypen die Klassen-Trennschärfe verbessern. Diese Arbeit argumentiert jedoch, dass das Erzwingen strikter Orthogonalität für semantisch verwandte Klassen sowohl theoretisch als auch empirisch fehlerhaft ist. Durch das aggressive Auseinanderdrängen aller Klassenprototypen zerstört O-TPT die inhärente semantische Struktur des Embedding-Raums (z. B. indem es „jährliche Kulturpflanzen" und „dauerhafte Kulturpflanzen" trotz ihres konzeptionellen Überlappens zur Orthogonalität zwingt). Diese künstliche Trennung führt zu einer systematischen Aufblähung der Vorhersagezuversicht, selbst wenn die Vorhersage des Modells falsch ist, wodurch die Kalibrierung verschlechtert statt verbessert wird.

Methodik
Die Autoren schlagen Semantic Orthogonal Calibration (SoC) vor, einen neuartigen Regularisierer, der die Trennung von Prototypen erzwingt und gleichzeitig semantische Nähe bewahrt.

1. Huber-basierte Regularisierung: Anstelle der quadratischen Strafe, die in O-TPT verwendet wird (die eine starke abstoßende Kraft anwendet, die proportional zum Quadrat der Ähnlichkeit ist), nutzt SoC eine Huber-Verlustfunktion. Dieser Verlust ist für kleine Residuen (Paare mit geringer Ähnlichkeit) quadratisch, geht jedoch für größere Residuen (Paare mit hoher Ähnlichkeit) in eine lineare Strafe über.
2. Semantische Erhaltung: Die Huber-Formulierung begrenzt die abstoßende Kraft für stark ähnliche Klassenpaare. Dies stellt sicher, dass semantisch korrelierte Klassen (die im Embedding-Raum natürlicherweise eine hohe Kosinusähnlichkeit aufweisen) nicht so aggressiv auseinandergedrängt werden wie bei O-TPT. Der Regularisierer ist definiert als:
   $$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$$
   wobei $s_{ij}$ die Kosinusähnlichkeit zwischen den Klassenprototypen $i$ und $j$ ist und $\delta$ eine Schwellenwert-Marge darstellt.
3. Theoretische Analyse: Die Arbeit leitet eine untere Schranke für das Softmax-Vertrauen basierend auf der Worst-Case-Klassenähnlichkeit ($\mu$) ab. Die Analyse zeigt, dass vollständige Orthogonalität (O-TPT) $\mu$ in einem einzigen Gradientenschritt aggressiv reduziert, was zu einer strikt höheren Vertrauensuntergrenze führt. Im Gegensatz dazu wendet der vorgeschlagene Huber-basierte Regularisierer eine mildere Abstoßung auf Paare mit hoher Ähnlichkeit an, verhindert übermäßige Vertrauenssteigerungen und erhält eine bessere Kalibrierung.

Hauptbeiträge

• SoC-Regularisierer: Einführung eines Huber-basierten Regularisierers für TPT, der glattere Gradienten liefert als vollständige Orthogonalitätsbeschränkungen. Er erhält effektiv die semantische Struktur unter verwandten Klassen und mildert gleichzeitig die Effekte der Übertrennung durch strikte Orthogonalität.
• Theoretische Einsicht: Eine Herleitung einer Vertrauensuntergrenze, die die Worst-Case-Klassenähnlichkeit mit der Vorhersageunsicherheit verknüpft. Diese Analyse zeigt, dass vollständige Orthogonalität das Vertrauen systematisch aufbläht, indem sie die Ähnlichkeit aggressiv reduziert, selbst für semantisch korrelierte Kategorien, während die vorgeschlagene Methode dies durch Begrenzung der Abstoßung vermeidet.
• Empirische Validierung: Umfassende Experimente über 11 diverse Datensätze (einschließlich feinkörniger Klassifizierung, natürlicher Domänenverschiebungen und Satellitenbilder) zeigen, dass SoC die Kalibrierungsmetriken (Expected Calibration Error – ECE) im Vergleich zu State-of-the-Art-Baselines (TPT, C-TPT, O-TPT) konsistent verbessert, während eine wettbewerbsfähige diskriminative Leistung beibehalten wird.

Ergebnisse

• Kalibrierungsleistung: Über 11 Datensätze hinweg erzielte SoC in allen bis auf einem Datensatz die besten ECE-Werte im Vergleich zu O-TPT. Die durchschnittliche ECE-Verbesserung gegenüber O-TPT betrug 2,3, wobei signifikante Gewinne bei feinkörnigen Aufgaben beobachtet wurden (z. B. eine Reduktion des ECE um 14,5 Punkte auf EuroSAT).
• Zuverlässigkeit: Zuverlässigkeitsdiagramme zeigen, dass O-TPT eine ausgeprägte Überzuversicht aufweist (vorhergesagte Wahrscheinlichkeiten überschreiten konsistent die beobachtete Genauigkeit), während SoC flachere Kurven erzeugt, die näher an der Diagonalen liegen, was eine bessere Übereinstimmung zwischen Zuversicht und Genauigkeit anzeigt.
• Robustheit:
  • Mehrstufige Updates: Bei Anwendung von zwei Gradienten-Updates (ein Szenario, in dem sich die O-TPT-Kalibrierung um 39 % verschlechtert) zeigte SoC eine deutlich geringere Verschlechterung (23 %), was mit dem theoretischen Befund übereinstimmt, dass die scharfe Ähnlichkeitsreduktion von O-TPT instabil ist.
  • Backbone-Variationen: SoC übertraf O-TPT sowohl in der Genauigkeit als auch im ECE über verschiedene ViT-Backbones (ViT-B/16 und ViT-L/14).
  • Prompt-Sensitivität: SoC zeigte über 18 verschiedene initiale Textprompts hinweg einen niedrigeren ECE im Vergleich zu O-TPT, was auf eine reduzierte Sensitivität gegenüber der Prompt-Initialisierung hindeutet.
• Rechenleistung: Die rechnerische Komplexität von SoC beträgt $O(n^2)$, während O-TPT Householder-Transformationen mit einer Komplexität von $O(n^3)$ beinhaltet, was SoC für Datensätze mit einer großen Anzahl von Klassen effizienter macht.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Hauptbeschränkung aktueller auf Orthogonalität basierender Kalibrierungsmethoden darin besteht, dass sie nicht zwischen geometrischer Trennung und semantischer Nähe unterscheiden können. Durch den Ersatz der starren Abstoßung von O-TPT durch einen glatteren, semantikbewussten Mechanismus ermöglicht SoC VLMs, sich an neue Aufgaben anzupassen, ohne die Zuverlässigkeit ihrer Unsicherheitsschätzungen zu opfern. Die Autoren positionieren diese Arbeit als einen Schritt hin zu semantikbewussteren Kalibrierungsmethoden für VLMs, die besonders für sicherheitskritische Anwendungen wie Gesundheitswesen und autonomes Fahren entscheidend sind, wo überzuversichtige falsche Vorhersagen inakzeptabel sind. Die Studie legt nahe, dass die Erhaltung der Mannigfaltigkeitsstruktur semantisch ähnlicher Klassen für das Erreichen einer echten Kalibrierung unerlässlich ist, anstatt lediglich die geometrische Trennung zu maximieren.