🤖 AI

Calibrating Uncertainty for Zero-Shot Adversarial CLIP

Dieses Paper schlägt eine neuartige Methode des adversariellen Fine-Tunings für CLIP vor, die Ausgaben als Dirichlet-Konzentrationsparameter umparametrisiert, um gleichzeitig kalibrierte Unsicherheit wiederherzustellen und eine robuste Zero-Shot-Genauigkeit aufrechtzuerhalten, wodurch das kritische Problem adressiert wird, dass adversarielle Störungen typischerweise die Unsicherheit unterdrücken und zu Überkonfidenz führen.

Ursprüngliche Autoren: Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der überhebliche Lügner

Stellen Sie sich vor, Sie haben einen sehr klugen, belesenen Bibliothekar (dies ist CLIP, das KI-Modell). Dieser Bibliothekar hat Millionen von Büchern gelesen und kann sich ein Bild ansehen und erraten, was es darstellt, ohne zuvor explizit an diesen spezifischen Bildern trainiert worden zu sein. Dies nennt man „Zero-Shot“-Lernen.

Dieser Bibliothekar hat jedoch eine Schwäche: Adversarial Attacks (gegnerische Angriffe).
Stellen Sie sich einen Adversarial Attack wie einen winzigen, fast unsichtbaren Fleck auf einem Bild vor. Für einen Menschen sieht das Bild exakt gleich aus. Aber für den Bibliothekar verändert dieser winzige Fleck die gesamte Bedeutung.

Das Paper fand ein erschreckendes Muster:

Der Fehler: Wenn der Bibliothekar ein geflecktes Bild sieht, rät er oft falsch.
Die Gefahr: Noch schlimmer ist: Er rät das Falsche mit 100 %iger Sicherheit. Er sagt nicht: „Hm, ich bin mir nicht sicher.“ Er sagt: „Ich bin absolut sicher, dass das ein Panda ist“, obwohl es eigentlich ein Hund ist.

In der realen Welt ist das wie ein GPS, das Ihnen voller Selbstvertrauen befiehlt, in eine Klippe zu fahren, weil ein Vogel vor die Kamera geflogen ist. Das Modell ist nicht nur falsch; es ist fehlkalibriert. Es glaubt, mehr zu wissen, als es tatsächlich weiß.

Die alte Lösung: Der „Single-Anchor“-Ansatz

Frühere Forscher versuchten dies zu beheben, indem sie den Bibliothekar dazu brachten, auf das gefleckte Bild zu schauen und zu sagen: „Das ist ein Hund.“ Sie taten dies, indem sie die Aufmerksamkeit des Bibliothecars strikt auf das Label „Hund“ lenkten.

Das Paper argumentiert, dass dies so ist, als würde man einen Schüler lehren, den Lösungsschlüssel auswendig zu lernen, ohne den Zusammenhang zwischen den Fragen zu verstehen.

Der Fehler: Es zwingt das Modell dazu, bei der spezifischen Antwort richtig zu liegen, ignoriert aber den Kontext. Es lehrt das Modell nicht zu erkennen: „Warte, dieses gefleckte Bild sieht ein bisschen wie ein Wolf aus und ein bisschen wie ein Fuchs, also sollte ich mir unsicher sein.“
Das Ergebnis: Das Modell wird zwar robust gegenüber dem Fleck, verliert aber die Fähigkeit, Zweifel auszudrücken. Es bleibt auch dann überheblich, wenn es verwirrt ist.

Die neue Lösung: UCAT (Der „Evidenz-Skala“-Ansatz)

Die Autoren schlagen eine neue Methode namens UCAT (Uncertainty-Calibrated Adversarial fine-Tuning) vor. So funktioniert sie, unter Verwendung einer Metapher:

1. Die Dirichlet-Verteilung (Die „Konfidenz-Skala“)
Anstatt nur eine einzige Antwort zu wählen, bittet die neue Methode den Bibliothekar, gleichzeitig eine „Konfidenz-Punktzahl“ für jede mögliche Antwort zu vergeben.

Stellen Sie sich vor, der Bibliothekar hat einen Eimer Sand (Evidenz).
Für ein klares Bild eines Hundes schüttet er 90 % des Sandes in den „Hund“-Eimer und ein winziges bisschen in den „Wolf“- und den „Katzen“-Eimer.
Für ein geflecktes, verwirrendes Bild sollte ein kluger Bibliothekar den Sand gleichmäßiger verteilen oder zugeben: „Ich habe nicht genug Sand, um sicher zu sein.“

2. Die Lösung: Die Sandeimer abgleichen
Das Geheimrezept des Papers ist ein mathematischer Trick. Sie behandeln die Ausgabe des Modells nicht nur als eine Vermutung, sondern als eine Dirichlet-Verteilung (eine schicke Art zu beschreiben, wie dieser Eimer Sand verteilt ist).

Wenn das Modell ein geflecktes Bild sieht (ein Adversarial Example), versucht die alte Methode einfach, den Sand in den „Hund“-Eimer zu pressen.
UCAT macht etwas anderes: Es betrachtet die Sandverteilung des sauberen Bildes und des gefleckten Bildes und versucht, diese miteinander in Einklang zu bringen.

Wenn das saubere Bild einen klaren „Hund“-Eimer hat, sollte das gefleckte Bild ebenfalls einen „Hund“-Eimer haben, aber mit weniger Sand (geringerer Konfidenz), weil das Bild unordentlich ist.
Es zwingt das Modell zu sagen: „Ich denke, es ist ein Hund, aber weil das Bild seltsam ist, bin ich mir nur zu 60 % sicher, nicht zu 99 %.“

Warum das wichtig ist

Das Paper zeigt, dass, indem man das Modell lehrt, diese „Sandeimer“ (Verteilungen) abzugleichen, anstatt nur eine einzige Antwort zu erzwingen:

Es bleibt klug: Es rät immer noch meistens richtig.
Es bleibt bescheiden: Wenn es angegriffen oder verwirrt wird, gibt es seine Unsicherheit zu. Es hört auf, ein „überheblicher Lügner“ zu sein.
Es bewältigt Mehrdeutigkeit: Wenn ein Bild zwei Dinge sein könnte (wie ein Multi-Label-Bild), versteht das Modell diese Nuance, anstatt eine einzige, starre Wahl zu erzwingen.

Das Fazbeit

Die Autoren stellten fest, dass aktuelle KI-Modelle wie überhebliche Schüler sind, die wild raten, wenn die Prüfung schwierig ist. Ihre neue Methode, UCAT, lehrt das Modell, seine eigene „Evidenz“ zu messen. Wenn die Evidenz wackelig ist (aufgrund eines Angriffs), senkt das Modell seine Konfidenz-Punktzahl. Dies macht die KI sicherer und zuverlässiger – nicht nur, weil sie richtig rät, sondern weil sie weiß, wann sie es nicht weiß.

Sie testeten dies an 16 verschiedenen Bilddatensätzen und fanden heraus, dass ihre Methode die KI viel besser im Umgang mit diesen kniffligen „gefleckten“ Bildern macht, während sie gleichzeitig eine hohe Genauigkeit beibehält.

Technisches Resümee: Kalibrierung der Unsicherheit für Zero-Shot Adversarial CLIP

1. Problemstellung

Contrastive Language-Image Pretraining (CLIP) hat sich als fundamentales Modell für die Zero-Shot-Erkennung etabliert, indem es einen gemeinsamen Embedding-Raum nutzt, um Bildmerkmale mit Text-Prompts ohne aufgabenspezifisches Training abzugleichen. Dennoch bleibt CLIP hochgradig anfällig für adversarielle Angriffe, bei denen imperzeptible, auf Pixelebene wirkende Störungen zu einer selbstbewussten Fehlklassifizierung führen.

Vorherige Arbeiten zur Zero-Shot Adversarial Robustness (ZSAR) konzentrierten sich primär darauf, adversarielle Bildmerkmale mit den Ground-Truth-Textprototypen (Single-Anchor-Alignment) abzugleichen, um die Genauigkeit zu verbessern. Die Autoren identifizieren eine kritische, übersehene Zuverlässigkeitslücke: Adversarielle Perturbationen in CLIP degradieren nicht nur die Genauigkeit, sondern unterdrücken systematisch die prädiktive Unsicherheit.

Entgegen der Erwartung, dass die Unsicherheit zunehmen sollte, wenn Eingaben von der Trainingsverteilung abweichen oder schwieriger werden, zeigen Standard-CLIP-Modelle bei adversariellen Beispielen eine Überkonfidenz. Dies führt zu einer schweren Fehlkalibrierung, bei der das Modell bei falschen Vorhersagen fälschlicherweise eine hohe Sicherheit zeigt. Bestehende Methoden, die oft nur die vorhergesagten Logits abgleichen oder sich auf die Diskriminierung einzelner Klassen konzentrieren, versäumnen es, die relative semantische Geometrie zwischen den Klassen oder die Größenordnung der prädiktiven Evidenz zu bewahren, wodurch die zugrunde liegende Unsicherheitsstruktur vernachlässigt wird, die für eine robuste Open-Vocabulary-Erkennung essenziell ist.

2. Methodik

Die Autoren schlagen das Uncertainty-Calibrated Adversarial Fine-Tuning (UCAT) vor, ein Framework, das darauf ausgelegt ist, eine kalibrierte Unsicherheit wiederherzustellen und gleichzeitig die adversarielle Robustheit aufrechtzuerhalten. Die Methodik besteht aus drei Kernkomponenten:

A. Dirichlet-Reformulierung der CLIP-Logits
Die Autoren reparametrisieren die Standard-Zero-Shot-Logits von CLIP als Konzentrationsparameter ( $\alpha$ ) einer Dirichlet-Verteilung.

Mapping: Gegeben seien CLIP-Logits $\ell$ , so sind die Konzentrationsparameter definiert als $\alpha_k(x) = \exp(h(\ell_k))$ , wobei $h(\ell) = (\tau \ell + 1) / \tau'$ . Hierbei ist $\tau$ die lernbare Temperatur und $\tau'$ ein Kalibrierungskoeffizient.
Theoretische Begründung: Diese Reformulierung stellt sicher, dass $\alpha_k \ge 1$ gilt, was die Gültigkeitsbedingungen für Dirichlet-Evidenz erfüllt. Entscheidend ist, dass wenn $\tau' = \tau$ , die Erwartung der resultierenden Dirichlet-Verteilung exakt die ursprüngliche Softmax-Vorhersageregel von CLIP wiederherstellt, was sicherstellt, dass die Methode eine getreue probabilistische Interpretation und keine Ad-hoc-Modifikation ist.
Unsicherheits-Dekomposition: Diese Parametrisierung ermöglicht eine geschlossene Dekomposition der prädiktiven Unsicherheit in zwei Komponenten ohne Sampling:
- Aleatorische Unsicherheit (AU): Erfasst die inhärente Datenambiguität (z. B. semantische Überlappung zwischen „Wolf“ und „Hund“) über die Entropie der Dirichlet-Verteilung.
- Epistemische Unsicherheit (EU): Erfasst die Unsicherheit aufgrund unzureichender Evidenz oder Verteilungsverschiebungen, welche umgekehrt proportional zur gesamten Evidenzstärke ( $\alpha_0 = \sum \alpha_k$ ) ist.

B. Distributionale Alignment-Zielsetzung
Anstatt adversarielle Merkmale an einen einzelnen Textprototyp zu binden, gleicht UCAT die gesamte prädiktive Verteilung eines adversariellen Samples ( $x_a$ ) mit der seines sauberen Gegenstücks ( $x$ ) ab.

Verlustfunktion: Das Ziel kombiniert einen Standard-Text-gesteuerten Cross-Entropy-Loss ( $L_{ce}$ ) mit einem Regularisierungsterm ( $L_{ucr}$ ), der die Reverse-Kullback-Leibler-Divergenz (KL-Divergenz) zwischen den Dirichlet-Verteilungen definiert:
$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$
Begründung: Die Autoren wählen die Reverse-KL-Richtung, da diese „modensuchend“ (mode-seeking) ist. Im Gegensatz zur Forward-KL, die Evidenz abflachen kann, bewahrt die Reverse-KL sowohl die relative Klassenstruktur (Inter-Klassen-Semantik) als auch die absolute Evidenzstärke. Dies verhindert, dass das Modell in fälschlicherweise selbstbewusste Fehler kollabiert, indem sichergestellt wird, dass ein adversarielles Sample nicht gezwungen wird, eine hohe Evidenz aufzuweisen, wenn das saubere Sample eine geringe Evidenz (hohe Unsicherheit) besitzt.

C. Trainings-Pipeline
Das Framework führt ein Fine-Tuning des Bild-Encoders von CLIP durch, während der Text-Encoder eingefroren bleibt. Saubere und adversarielle Paare (generiert via $\ell_\infty$ -PGD) werden verarbeitet, um den gemeinsamen Verlust $L = L_{ce} + \lambda L_{ucr}$ zu berechnen, wobei $\lambda$ die Balance zwischen diskriminativer Supervision und Unsicherheitskalibrierung steuert.

3. Zentrale Beiträge

Dirichlet-basierte Formulierung: Die Arbeit liefert eine theoretisch fundierte, geschlossene Methode, um CLIP-Logits als Dirichlet-Evidenz zu interpretieren, was eine effiziente Dekomposition der Unsicherheit in aleatorische und epistemische Komponenten ermöglicht.
UCAT-Framework: Eine neuartige Methode des adversariellen Fine-Tunings, die gesamte Dirichlet-Verteilungen regularisiert. Dieser Ansatz bewahrt gemeinsam die semantischen Beziehungen zwischen den Klassen und kalibriert die Evidenzstärke, wodurch das Problem der Fehlkalibrierung adressiert wird, bei dem adversarielle Inputs zu Überkonfidenz führen.
Umfassende empirische Validierung: Die Methode wird über 16 Single-Label-Benchmarks und den Multi-Label-Datensatz MS-COCO validiert. Sie zeigt signifikante Verbesserungen bei der Kalibrierung der Unsicherheit (Wiederherstellung der erwarteten Ordnung der Unsicherheit: sauber < adversariell) bei gleichzeitiger Erzielung einer wettbewerbsfähigen adversariellen Robustheit und Erhaltung der sauberen Genauigkeit.

4. Experimentelle Ergebnisse

Unsicherheitskalibrierung: Experimente zeigen, dass das Standard-CLIP bei adversariellen Inputs eine geringere prädiktive Unsicherheit aufweist als bei sauberen Inputs (ein Zeichen für Fehlkalibrierung). UCAT stellt eine konsistente Ordnung wieder her, bei der die Unsicherheit mit der Schwierigkeit des Inputs zunimmt, was die Verschiebung in der Verteilung originalgetreu widerspiegelt.
Robustheit: Auf 16 Single-Label-Datensätzen (einschließlich CIFAR-10/100, ImageNet und feingliedrigen Datensätzen) erreicht UCAT im Hinblick auf das harmonische Mittel aus sauberer und adversarieller Genauigkeit unter verschiedenen Angriffen (PGD, CW, AutoAttack) State-of-the-Art- oder Zweitplatzierungen.
Multi-Label-Robustheit: Auf dem MS-COCO-Datensatz erzielt UCAT die besten Top-3-Präzisions-, Recall- und F1-Scores unter CW-Angriffen, was auf eine überlegene Stabilität in ambigen Multi-Label-Settings hindeutet, in denen die Bewahrung der relativen semantischen Ordnung entscheidend ist.
Generalisierung: Die Methode generalisiert effektiv über verschiedene CLIP-Backbones (B/16, B/32) und andere kontrastive VLMs (SLIP) hinweg, was darauf hindeutet, dass der Ansatz nicht an eine spezifische Architektur gebunden ist.
Ablationsstudien: Die Autoren bestätigen, dass die Reverse-KL-Richtung und die Dirichlet-Formulierung (im Gegensatz zum einfachen Softmax-Alignment) entscheidend für die Leistung sind. Die Methode bleibt robust gegenüber unterschiedlichen Regularisierungsstärken ( $\lambda$ ) und Kalibrierungskoeffizienten ( $\tau'$ ).

5. Bedeutung und Ansprüche

Die Arbeit behauptet, eine kritische Zuverlässigkeitslücke in Vision-Language-Modellen zu schließen, indem sie zeigt, dass Robustheit nicht nur eine Frage der Genauigkeit ist, sondern auch der kalibrierten Unsicherheit. Durch den Nachweis, dass adversarielle Angriffe die Unsicherheit in CLIP unterdrücken, argumentieren die Autoren, dass bisherige Methoden, die sich nur auf das Logit-Alignment konzentrieren, unzureichend sind.

Die Bedeutung dieser Arbeit liegt in:

Theoretischer Einsicht: Bereitstellung einer fundierten Abbildung zwischen kontrastiven Lern-Logits und evidentiellem Deep Learning (Dirichlet-Verteilungen, was eine neue Perspektive darauf bietet, wie Unsicherheit in Open-Vocabulary-Settings modelliert werden kann.
Praktischer Zuverlässigkeit: Angebot einer Methode, die sicherstellt, dass Modelle bei Angriffen nicht überkonfident werden, was für den Einsatz von VLMs in sicherheitskritischen oder Open-World-Szenarien unerlässlich ist.
Skalierbarkeit: Demonstration, dass die Kalibrierung der Unsicherheit durch Fine-Tuning erreicht werden kann, ohne ein Training von Grund auf neu zu beginnen oder komplexe architektonische Änderungen vorzunehmen, was die Anwendbarkeit auf bestehende Foundation-Modelle ermöglicht.

Die Autoren wahren einen bescheidenen Ton hinsichtlich der praktischen Anwendung in der realen Welt und merken an, dass, obwohl der Ansatz das Verständnis des Modellverhaltens unter adversariellen Perturbationen verbessert, jede praktische Anwendung eine gründliche Risikobewertung und zusätzliche Sicherheitsmaßnahmen erfordern würde. Die Arbeit ist als methodischer Fortschritt in der Unsicherheitsmodellierung und Robustheitsbewertung für kontrastive Lernframeworks positioniert.