🤖 AI

SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

Das Papier schlägt SS-TPT vor, eine Methode des Test-Time Prompt Tunings für Vision-Language-Modelle, die durch die Evaluierung augmentierter Ansichten mittels Stabilitäts- und Eignungsscores zur Steuerung von Adaption und Inferenz die adversarielle Robustheit und Effizienz verbessert und dadurch überlegene Robustheits-Durchsatz-Abwägungen im Vergleich zu bestehenden State-of-the-Art-Ansätzen erzielt.

Ursprüngliche Autoren: Sunoh Kim, Daeho Um

Veröffentlicht 2026-06-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sunoh Kim, Daeho Um

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Bibliothekar (das KI-Modell), der in der Lage ist, Objekte auf Fotos zu identifizieren, indem er sie einfach nur betrachtet, selbst ohne zuvor mit spezifischen Beispielen trainiert worden zu sein. Dieser Bibliothekar macht seinen Job großartig, lässt sich aber leicht verwirren, wenn ihm jemand einen winzigen, fast unsichtbaren Fleck auf ein Foto schleicht (ein „Adversarial Attack“) oder wenn das Foto ganz anders aussend wie die Bücher in der Bibliothek (ein „Distribution Shift“).

Um dem Bibliothekar zu helfen, bessere Entscheidungen zu treffen, versuchten frühere Methoden, ihm viele leicht unterschiedliche Versionen desselben Fotos zu zeigen (wie zum Beispiel ein Foto, eine verschwommene Version, eine aufgehellte Version und eine gedrehte Version). Die Idee war: Wenn der Bibliothekar über alle diese Versionen hinweg zur gleichen Antwort kommt, muss er recht haben.

Das Problem:
Zu viele Versionen zu zeigen, ist langsam. Es ist so, als würde man den Bibliothekar bitten, 63 verschiedene Kopien desselben Buches zu lesen, nur um zu entscheiden, ob es ein Krimi ist. Das dauert ewig, und die Bibliothek gerät ins Stocken. Außerdem, wenn eine dieser Kopien eine „schlechte“ Kopie ist (durch einen Angreifer verzerrt), könnte der Bibliothekar verwirrt werden, selbst wenn er sich 62 gute Kopien ansieht.

Die Lösung: SS-TPT
Die Autoren dieser Arbeit haben eine neue Methode namens SS-TPT (Stability and Suitability-Guided Test-Time Prompt Tuning) entwickelt. Anstatt dem Bibliothekar nur mehr Kopien zu zeigen, bringen sie ihm bei, die Qualität jeder Kopie zu beurteilen, die er sieht.

Sie verwenden zwei einfache „Zeugnisse“ für jede Version des Fotos:

Stabilität (Der „Schütteltest“):
Stellen Sie sich vor, Sie reichen dem Bibliothekar ein Foto und fragen: „Was ist das?“ Dann schütteln Sie das Foto vorsichtig oder ändern leicht die Beleuchtung (schwache Augmentationen) und fragen erneut:

Hohe Stabilität: Der Bibliothekar sagt beide Male: „Es ist eine Katze.“ Er ist selbstbewusst und konsistent.
Niedrige Stabilität: Der Bibliothekar sagt erst: „Es ist eine Katze“, dann „Es ist ein Hund“, dann „Es ist ein Toaster“. Er ist verwirrt.
Die Lektion: Wenn sich eine Ansicht durch einen winzigen Stoß leicht ändert, ist es wahrscheinlich eine schlechte Ansicht.

Eignung (Der „Crowd-Test“):
Stellen Sie sich vor, der Bibliothekar betrachtet alle Fotoversionen gemeinsam in einem mentalen „Feature-Raum“ (einer Karte, wie ähnlich Dinge aussehen).

Hohe Eignung: Die Fotoversion steht in einer belebten Gruppe mit ihren Freunden. Alle sehen sich ähnlich.
Niedrige Eignung: Die Fotoversion steht ganz allein auf einem leeren Feld, weit weg von den anderen. Sie ist ein Ausreißer.
Die Lektion: Wenn eine Ansicht ein Sonderling ist, der nicht zu den anderen passt, ist sie wahrscheinlich korrumpiert oder gefälscht.

Wie es in der Praxis funktioniert:
Das SS-TPT-System nutzt diese beiden Scores als eine Art intelligenten Filter:

Während des Lernens (Adaption): Wenn der Bibliothekar versucht, sein Denken an das neue Foto anzupassen, sagt das System ihm: „Ignoriere die Ansichten, die instabil oder einsam sind. Höre nur auf die Ansichten, die stabil sind und sich in die Menge einfügen.“ Dies verhindert, dass der Bibliothekar aus den „schlechten“ Kopien lernt.
Während der endgültigen Vermutung (Inferenz): Wenn es Zeit für die endgültige Antwort ist, nimmt das System nicht einfach den Durchschnitt aller Vermutungen. Stattdessen gibt es den vertrauenswürdigen Ansichten (hohe Scores) eine lautere Stimme und den unzuverlässigen (niedrige Scores) ein Flüstern.

Die Ergebnisse:
Die Arbeit behauptet, dass dieser Ansatz ein Wendepunkt ist, weil:

Er schnell ist: Man muss dem Bibliothekar nicht 63 Versionen zeigen. Man kann hervorragende Ergebnisse mit nur 15 erzielen, und das System läuft etwa doppelt so schnell wie bisherige Methoden.
Er stärker ist: Selbst mit weniger Ansichten ist der Bibliothekar viel schwerer durch Angreifer zu täuschen. Sie erreichen eine höhere Genauigkeit bei schwierigen, angegriffenen Fotos als jede bisherige Methode.
Er klug ist: Er zählt nicht einfach nur Stimmen; er beurteilt die Qualität der Wähler.

Kurz gesagt: SS-TPT verhindert, dass der KI Zeit mit schlechten Kopien eines Fotos verschwendet, und konzentriert sich nur auf die zuverlässigen Kopien, was ihn schneller, klüger und schwerer zu täuschen macht.

Technisches Resümee: SS-TPT

Problemstellung
Vision-Language-Modelle (VLMs), insbesondere CLIP, demonstrieren starke Zero-Shot-Erkennungsfähigkeiten, bleiben jedoch äußerst anfällig für adversarielle Perturbationen und Verteilungsverschiebungen (Distribution Shifts). Während jüngste Methoden zur Test-Time Adaptation (TTA) die Robustheit durch die Nutzung multipler augmentierter Ansichten (Views) zu verbessern versuchen, führen sie eine kritische Ineffizienz ein: einen gravierenden Zielkonflikt zwischen Robustheit und Durchsatz. Bestehende Methoden, wie etwa R-TPT, erfordern oft eine große Anzahl an augmentierten Ansichten (z. B. 63 Views), um die Adaptation zu stabilisieren, was zu einer nahezu viermal langsameren Inferenzgeschwindigkeit im Vergleich zum ursprünglichen CLIP führt. Umgekehrt reduziert die Reduzierung der Anzahl der Views zur Steigerung der Geschwindigkeit oft signifikant die Robustheit, da diese Methoden alle Views als gleichermaßen vertrauenswürdig behandeln und somit zulassen, dass korrumpierte oder Ausreißer-Views den Adaptationsprozess dominieren. Die zentrale Herausforderung besteht darin, eine hohe adversarielle Robustheit zu erreichen, ohne die Recheneffizienz zu opfern oder eine übermäßige visuelle Diversität vorauszusetzen.

Methodik: SS-TPT
Die Autoren schlagen Stability and Suitability-guided Test-time Prompt Tuning (SS-TPT) vor, ein Framework, das die Qualität jeder augmentierten Ansicht bewertet, um sowohl die Modelladaptation als auch die Inferenz zu steuern. Anstatt sich auf die Quantität der Views zu verlassen, berechnet SS-TPT für jeden View $x_i$ zwei komplementäre Scores:

Stabilitäts-Score ( $S_{stab}$ ): Misst die Invarianz der prädiktiven Verteilung eines Views unter schwachen stochastischen Augmentationen (z. B. affine Transformationen, Farbveränderungen, Unschärfe, Rauschen). Er ist definiert als der Kehrwert der Jensen-Shannon-Divergenz zwischen der Prädiktion des Original-Views und seiner schwach augmentierten Variante. Eine hohe Stabilität deutet darauf hin, dass die Prädiktion des Views gegenüber geringfügigen Perturbationen robust ist.
Eignungs-Score ( $S_{suit}$ ): Misst die Dichte eines Views innerhalb des Merkmalsraums relativ zu anderen Views. Er wird als der Kehrwert der mittleren durch Kosinus-Ähnlichkeit induzierten Distanz zwischen dem normalisierten Merkmalsvektor eines Views und denen aller anderen Views berechnet. Eine hohe Eignung deutet darauf hin, dass der View in einem dichten Cluster anderer Views liegt, was darauf hindeutet, dass er kein Ausreißer ist.

Diese Scores werden normalisiert und über einen Hyperparameter $\alpha$ zu einem einzigen Stabilitäts-Eignungs-Score (SS-Score) ( $Z_i$ ) kombiniert. Dieser Score wird mittels einer Softmax-Funktion in SS-Gewichte ( $w_i$ ) umgewandelt.

Das Framework nutzt diese Gewichte in zwei distinkten Phasen:

Adaptation (SS-gesteuerter Konsistenzverlust): Während des Test-Time Prompt Tunings minimiert das Modell eine Verlustfunktion, die aus punktweiser Entropieminimierung und einem Konsistenzterm besteht. Im Gegensatz zu bisherigen Methoden, die entweder Konsistenz über alle Views erzwingen (Qualität ignorierend) oder Konsistenz ganz eliminieren (um korrumpierte Views zu vermeiden), erzwingt SS-TPT eine Ausrichtung (Alignment) nur mit vertrauenswürdigen Referenzen. Konkret wird jeder View auf einen Leave-one-out-gewichteten Durchschnitt anderer Views ausgerichtet, wobei die Gewichte durch deren SS-Scores bestimmt werden. Dies verhindert, dass korrumpierte Views die Adaptation in die Irre führen.
Inferenz (SS-gewichtete Prädiktion): Für die finale Prädiktion aggregiert das Modell die Vorhersagen aller Views unter Verwendung der SS-Gewichte. Dies unterdrückt den Einfluss qualitativ minderwertiger (korrumpierter oder Ausreißer-) Views, während vertrauenswürdige Views verstärkt werden.

Wesentliche Beiträge

SS-TPT Framework: Die Einführung eines Test-Time-Defense-Mechanismus, der die Qualität von Views explizit durch Stabilitäts- und Eignungsscores quantifiziert und so eine robuste Adaptation selbst mit einer begrenzten Anzahl an augmentierten Views ermöglicht.
Dual-Mechanism-Design: Das Design eines SS-gesteuerten Konsistenzverlusts, der die Prädiktionen während der Adaptation an vertrauenswürdigen Referenzen ausrichtet, sowie eines SS-gewichteten Prädiktionsmechanismus, der Ausreißer während der Inferenz unterdrückt.
Überlegener Robustheits-Effizienz-Trade-off: Der Nachweis, dass die Konzentration auf die Qualität statt auf die Quantität der Views es dem Modell ermöglicht, bestehende State-of-the-Art-Methoden sowohl in der Robustheit als auch im Durchsatz zu übertreffen, indem eine hohe Robustheit mit deutlich weniger Views (z. B. 15 statt 63) erreicht wird.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden über 10 feingliedrige Datensätze, ImageNet und vier Verteilungsverschiebungs-Varianten (ImageNet-A, V2, R, S) unter verschiedenen Angriffsszenarien (PGD, CW, AutoAttack, White-box) durchgeführt.

Robustheit: SS-TPT erreichte eine State-of-the-Art-adversarielle Robustheit. Auf 10 feingliedrigen Datensätzen erreichte es eine durchschnittliche Robustheit von 46,8 % und übertraf damit den bisherigen Bestwert (R-TPT) um 6,4 Prozentpunkte. Auf ImageNet erreichte es eine robuste Genauigkeit von 48,6 %, was R-TPT um 5,4 Punkte übertrifft.
Clean Accuracy: Die Methode bewahrte eine hohe Clean Accuracy (55,1 % auf feingliedrigen Datensätzen) und blieb unter allen Adaptationsmethoden am nächsten an der ursprünglichen CLIP-Performance.
Effizienz: SS-TPT reduzierte die Inferenzzeit signifikant. Mit nur 15 augmentierten Views verarbeitete es Bilder in etwa 0,74 Sekunden, was fast doppelt so schnell ist wie R-TPT (das 63 Views benötigte und 1,67 Sekunden dauerte), während es gleichzeitig eine höhere Robustheit erzielte (81,0 % auf Caltech101 gegenüber 79,8 % für R-TPT-63v).
Low-View-Regime: Selbst im herausfordernden Single-View-Szenario (1 augmentierter View) behielt SS-TPT eine durchschnittliche Robustheit von 25,8 % bei und übertraf R-TPT damit um 15,7 Punkte, was die Fähigkeit demonstriert, aussagekräftige Informationen aus begrenzten visuellen Belegen zu extrahieren.
Ablationsstudien: Analysen bestätigten, dass sowohl Stabilität als auch Eignung notwendige Komponenten sind, wobei die Kombination aus SS-gesteuertem Konsistenzverlust und SS-gewichteter Prädiktion die beste Synergie liefert. Die Methode erwies sich zudem als robust gegenüber Variationen in den Prompt-Templates.

Bedeutung und Ansprüche
Das Paper behauptet, dass SS-TPT die fundamentale Limitierung aktueller TTA-Defenses adressiert: die Abhängigkeit von einer großen Anzahl an Views, um Rauschen herauszumitteln, was einen unpraktikablen Rechenengpass erzeugt. Durch die Einführung eines Mechanismus zur Bewertung und Gewichtung der View-Qualität entkoppelt SS-TPT die Robustheit vom reinen Volumen der augmentierten Views. Die Autoren behaupten, dass dieser Ansatz eine „praktische und allgemeine“ Lösung für den Einsatz vertrauenswürdiger VLMs in realen Szenarien bietet, in denen Eingaben verrauscht oder manipuliert sein können und die Rechenressourcen begrenzt sind. Die Arbeit hebt hervor, dass die Bewertung der View-Qualität ein kritischer, bisher unternutzter Faktor in der Test-Time Adaptation ist, und etabliert Stabilität und Eignung als effektive Indikatoren zur Unterscheidung zwischen vertrauenswürdigen und korrumpierten Views.

Technisches Resümee: SS-TPT

Mehr davon