💻 computer science

Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

Dieses Paper schlägt Confidence-Aware Weighting (CAW) vor, eine neuartige Methode, welche die adversarielle Robustheit von Zero-Shot-CLIP-Modellen durch die Priorisierung unsicherer Proben mittels eines konfidenzbewussten Verlusts und die Bewahrung der semantischen Konsistenz durch Merkmalsausrichtung verbessert und dadurch dem Stand der Technik sowohl in Bezug auf Robustheit als auch auf Speichereffizienz übertrifft.

Ursprüngliche Autoren: Nikoo Naghavian, Mostafa Tavassolipour

Veröffentlicht 2026-07-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikoo Naghavian, Mostafa Tavassolipour

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer gleichzeitig „sehen“ und „lesen“ können und aus dem gesamten Internet lernen, um zu verstehen, dass das Bild eines Golden Retrievers zu den Worten „ein glücklicher Hund“ passt. Das ist die Magie von Vision-Language-Modellen wie dem berühmten CLIP. Sie sind wie superintelligente Schüler, die jedes Buch gelesen und jedes Foto im Internet gesehen haben, was es ihnen ermöglicht, zu erraten, was in einem Bild zu sehen ist, selbst wenn sie diese spezifische Tierart noch nie zuvor gesehen haben. Doch genau wie ein Mensch, der von einer geschickten optischen Täuschung getäuscht werden kann, haben diese KI-Modelle eine geheime Schwäche. Wenn man einem Bild eine winzige, unsichtbare Menge an „Rauschen“ hinzufügt – wie das Bestreuen mit ein paar Körnern digitalem Sand, die das menschliche Auge nicht sehen kann – kann der Computer plötzlich völlig verwirrt sein und ein Katzenbild für einen Toaster halten. Dies wird als „adversarial attack“ (gegnerischer Angriff) bezeichnet, und das ist ein großes Problem, da es bedeutet, dass diese leistungsstarken Werkzeuge in realen Situationen leicht getäuscht werden können.

Die große Frage, die sich Wissenschaftler stellen, lautet: Wie machen wir diese Modelle robuster, ohne dass sie alles vergessen, was sie bereits wissen? Normalerweise muss man einem Computer tausende dieser kniffligen, verrauschten Bilder während des Trainings zeigen, um ihn robust zu machen. Aber es gibt einen Haken: Wenn man jedes einzelne Bild auf die gleiche Weise behandelt, verschwendet der Computer Zeit mit den einfachen Bildern (die er bereits versteht), und er könnte dennoch die wirklich schwierigen übersehen, bei denen er am meisten Hilfe benötigt. Es ist wie ein Lehrer, der die gesamte Unterrichtsstunde damit verbringt, eine Matheaufgabe zu wiederholen, die der Schüler bereits perfekt gelöst hat, während er das eine Problem ignoriert, das ihn tatsächlich das Bestehen der Prüfung kosten könnte.

Dieses Paper stellt eine clevere neue Strategie namens Confidence-Aware Weighting (CAW) vor, um dieses Problem zu lösen. Die Forscher erkannten, dass nicht alle kniffligen Bilder gleich sind. Einige Bilder sind so verwirrend, dass das Modell kaum richtig rät, während andere nur leicht unsicher sind. Anstatt jedem kniffligen Bild die gleiche Aufmerksamkeit zu schenken, agiert CAW wie ein kluger Tutor, der den Schülern, die am meisten Schwierigkeiten haben, besondere Aufmerksamkeit widmet.

So funktioniert die Methode, erklärt anhand einer einfachen Analogie: Stellen Sie sich vor, das KI-Modell ist ein Schüler, der eine Prüfung ablegt.

Der „Confidence-Aware“-Teil: Wenn der Schüler eine Frage falsch beantwortet oder unsicher ist, sagt der Lehrer (das CAW-System): „Okay, das ist eine schwere Aufgabe! Lass uns uns darauf konzentrieren.“ Es gibt ein besonderes Gewicht auf die Bilder, bei denen das Modell am wenigsten vertrauensvoll ist. Wenn das Modell sich bei einem Bild bereits recht sicher ist, sagt der Lehrer: „Das hast du im Griff, gehen wir weiter.“ Dies stellt sicher, dass das Modell seine Energie darauf verwendet, seine größten Schwächen zu beheben, anstatt das zu verlernen, was es bereits weiß.
Der „Feature Alignment“-Teil: Der zweite Teil des Tricks besteht darin, sicherzustellen, dass der Schüler nicht vergisst, was er in früheren Klassen gelernt hat. Wenn das Modell auf ein kniffliges, verrauschtes Bild blickt, prüft CAW, ob das „innere Bild“, das es sieht, mit dem „sauberen Bild“ übereinstimmt, das es zuvor gesehen hat. Es ist, als würde man dem Schüler sagen: „Auch wenn dieses Foto verschwommen ist, erinnere dich daran, dass es immer noch ein Hund und kein Toaster ist.“ Dies verhindert, dass das Modell verwirrt wird und sein ursprüngliches Wissen verliert.

Die Forscher testeten diese Idee auf einer massiven Sammlung von Bilddatensätzen, darunter TinyImageNet und 14 weitere, die von Haustieren und Blumen bis hin zu medizinischen Scans reichen. Sie stellten ihre neue Methode gegen andere Top-Techniken unter Einsatz einiger der stärksten verfügbaren „Angriffe“ zur Schau, einschließlich eines leistungsstarken automatisierten Tests namens AutoAttack. Die Ergebnisse waren vielversprechend: Die CAW-Methode konnte die Angriffe nicht nur überleben, sondern sie schnitt sogar besser ab als die bisherigen besten Methoden. Beispielsweise verbesserte sie die Fähigkeit des Modells, unter Angriff korrekt zu bleiben, im Durchschnitt über 15 verschiedene Datensätze hinweg um etwa 2 % im Vergleich zum zweitbesten Verfahren, während sie gleichzeitig weniger Computerarbeitsspeicher benötigte.

Was besonders cool ist: Das Modell wurde nicht nur besser darin, Angriffe abzuwehren, sondern es wurde auch besser darin, normale, saubere Bilder zu betrachten. Die Forscher fanden heraus, dass das Modell durch die Konzentration auf die „schwierigen“ Beispiele eine stabilere Art und Weise lernte, die Welt zu sehen. Als sie untersuchten, wie das Modell auf verschiedene Teile eines Bildes „aufmerksam wurde“, sahen sie, dass das Modell vor dem Training leicht durch das Rauschen abgelenkt wurde und auf den Hintergrund oder zufällige Pixel achtete. Nach der Anwendung von CAW lernte das Modell, sich auf das eigentliche Objekt zu konzentrieren, selbst wenn das Bild angegriffen wurde.

Kurz gesagt legt dieses Paper nahe, dass wir, indem wir selektiver bei der Auswahl der verwirrenden Beispiele vorgehen, eine KI bauen können, die sowohl intelligenter als auch robuster ist. Es ist ein Schritt in Richtung der Entwicklung von Vision-Language-Modellen, die zuverlässig genug sind, um in der realen Welt eingesetzt zu werden, in der Dinge nicht immer perfekt sind und manchmal versuchen, uns zu täuschen. Während sich die Methode derzeit auf den Bildteil des Modells konzentriert und hauptsächlich auf White-Box-Angriffe getestet wurde (bei denen der Angreifer die Geheimnisse des Modells kennt), öffnet sie eine neue Tür, um KI widerstandsfähiger zu machen, ohne ihre Fähigkeit zu opfern, Neues zu lernen.

Technische Zusammenfassung: Verbesserung der adversariellen Robustheit von Zero-Shot CLIP durch konfidenzbasierte Gewichtung

Problemstellung
Vision-Language-Modelle (VLMs), insbesondere CLIP, zeigen eine beeindruckende Zero-Shot-Generalisierung über diverse Aufgaben hinweg. Sie bleiben jedoch hochgradig anfällig für adversarielle Angriffe, bei denen imperzeptible Perturbationen signifikante Vorhersageverschiebungen verursachen. Während adversarielles Training ein Standardansatz zur Verbesserung der Robustheit ist, stehen bestehende Methoden, die bei groß angelegten VLMs angewendet werden, vor zwei primären Einschränkungen:

Ineffiziente Optimierung: Aktuelle Ansätze behandeln alle adversariellen Beispiele während des Trainings gleich, unabhängig von deren Schwierigkeit oder Stabilität. Dies ignoriert die Tatsache, dass Stichproben mit geringer robuster Konfidenz (instabile Vorhersagen) stärker zur Vulnerabilität beitragen als hochkonfidente Stichproben.
Ressourcen- und Leistungs-Trade-offs: State-of-the-Art-Methoden wie PMG-AFT und TGA-ZSR erfordern oft einen hohen Speicherverbrauch oder haben Schwierigkeiten, eine robuste Genauigkeit unter starken Angriffen (z. B. AutoAttack) aufrechtzuerhalten, ohne die Clean-Genauigkeit oder Generalisierung zu beeinträchtigen.

Methodik: Konfidenzbasierte Gewichtung (Confidence-Aware Weighting, CAW)
Die Autoren schlagen Confidence-Aware Weighting (CAW) vor, ein Framework für das adversarielle Fine-Tuning, das darauf ausgelegt ist, die Zero-Shot-Robustheit vortrainierter CLIP-Modelle zu verbessern und gleichzeitig deren Generalisierungsfähigkeit zu bewahren. Die Methode führt eine zusammengesetzte Verlustfunktion ( $L_{total}$ ) ein, die aus drei Termen besteht:

Standardmäßiger Kontrastverlust ( $L_{CE}$ ): Der Basis-Cross-Entropy-Verlust, der verwendet wird, um Bild- und Text-Embeddings aufeinander abzustimmen.
Konfidenzbasierter Verlust ( $L_{CA}$ ): Diese Komponente adressiert die Ineffizienz der Gleichbehandlung aller Stichproben. Sie skaliert die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen der Vorhersageverteilung des feinabgestimmten Modells auf adversariellen Inputs ( $P_{adv}$ $P_{a d v}$ ) und dem eingefrorenen, vortrainierten Modell auf sauberen Inputs ( $P_{clean}$ $P_{c l e an}$ ).
- Mechanismus: Diese Gewichtung skaliert die KL-Divergenz mit $(1 - P_{adv, i, y_i})$ , wobei $P_{adv, i, y_i}$ die vorhergesagte Wahrscheinlichkeit der wahren Klasse für die adversarielle Stichprobe ist.
- Effekt: Diese Gewichtung weist „schwierigen“ adversariellen Beispielen, bei denen das Modell unsicher ist (geringe Konfidenz), eine höhere Bedeutung zu und zwingt das Modell dazu, sich auf diese vulnerablen Fälle zu konzentrieren. Die Autoren verwenden spezifisch $KL(P_{adv} \parallel P_{clean})$ anstatt der Umkehrung, da sie argumentieren, dass dies fehlerhafte Hochwahrscheinlichkeits-Vorhersagen in der adversariellen Verteilung besser bestraft.
Merkmalsausrichtungs-Regularisierung ( $L_{Reg}$ ): Um Overfitting und das Vergessen von vortrainiertem Wissen zu verhindern, minimiert dieser Term die $\ell_2$ $ℓ_{2}$ -Distanz zwischen den Bildmerkmalen des adversariellen Inputs, die vom feinabgestimmten Encoder verarbeitet werden, und demselben Input, der vom eingefrorenen vortrainierten Encoder verarbeitet wird.
- Unterscheidung: Im Gegensatz zu Methoden wie FARE, die saubere eingefrorene Repräsentationen mit adversariellen feinabgestimmten Repräsentationen abgleichen, richtet CAW adversarielle Repräsentationen beider Encoder aufeinander aus, um die Merkmalsrepräsentationen während des Fine-Tunings zu stabilisieren.

Das Gesamtobjektiv ist formuliert als:
$L_{total} = L_{CE} + \alpha \cdot L_{CA} + \beta \cdot L_{Reg}$

Zentrale Beiträge

Neuartiger Gewichtungsmechanismus: Das Paper führt eine konfidenzbasierte Gewichtungsstrategie ein, die speziell auf Zero-Shot VLMs zugeschnitten ist und den Fokus auf instabile, konfidenzarme adversarielle Stichproben verschiebt, um die Robustheit zu verbessern, ohne die Clean-Genauigkeit zu opfern.
Dual-Loss-Architektur: Die Kombination aus einer konfidenzskalierten KL-Divergenz und einem Merkmals-Level-Regularisierungsterm schafft ein Gleichgewicht zwischen dem Erlernen robuster Merkmale und dem Erhalt des semantischen Wissens aus dem Pretraining.
Effizienz: Die vorgeschlagene Methode erreicht eine State-of-the-Art-Performance bei gleichzeitig geringerem Speicherbedarf als konkurrierende Baselines (PMG-AFT und TGA-ZSR).

Experimentelle Ergebnisse
Die Autoren evaluierten CAW auf dem TinyImageNet-Datensatz für das Fine-Tuning und testeten die Zero-Shot-Performance auf 15 zusätzlichen Datensätzen, die allgemeine Objekterkennung, feingliedrige Klassifizierung, Szenenerkennung, domänenspezifische Aufgaben und medizinische Bildgebung abdecken.

AutoAttack ( $\epsilon = 1/255$ ): CAW erreichte die höchste durchschnittliche robuste Genauigkeit (33,51 %) über 15 Datensätze hinweg und übertraf damit PMG-AFT (31,55 %) und TGA-ZSR (31,63 %). Es zeigte besondere Stärken bei Datensätzen wie CIFAR-10 und Caltech-101.
PGD-100 und CW-Angriffe: Unter diesen Angriffen übertraf CAW PMG-AFT sowohl in der robusten als auch in der Clean-Genauigkeit. Beispielsweise erreichte CAW unter PGD-100 eine durchschnittliche robuste Genauigkeit von 34,91 % im Vergleich zu 33,20 % bei PMG-AFT, während es gleichzeitig die Clean-Genauigkeit verbesserte (53,75 % vs. 47,28 %).
Speichereffizienz: CAW benötigte etwa 15.986 MB Speicher, was niedriger ist als bei PMG-AFT (18.449 MB) und signifikant niedriger als bei TGA-ZSR (21.227 MB).
Analyse:
- Konfidenzanalyse: Streudiagramme zeigten, dass nach dem Fine-Tuning die Korrelation zwischen Clean- und Robust-Konfidenz zunahm, mit einer Verschiebung in Richtung der Diagonalen, was auf eine erhöhte Stabilität hindeutet. Die Methode reduzierte effektiv „Clean Only“-Proben (korrekt auf Clean, falsch auf Adversarial), ohne überkonfidente Fehlklassifikationen zu erzeugen.
- Attention Maps: Visualisierungen zeigten, dass CAW dem Modell half, eine konsistente, semantisch bedeutsame Aufmerksamkeit auf objektrelevante Regionen sowohl für saubere als auch für adversarielle Beispiele aufrechtzuerhalten, während Modelle vor dem Fine-Tuning unter Angriff oft auf irrelevante Hintergrundgeräusche fokussierten.

Bedeutung und Behauptungen
Das Paper behauptet, dass CAW einen bedeutenden Schritt nach vorn darstellt, um Zero-Shot VLMs gegen adversarielle Bedrohungen abzusichern. Durch die explizite Adressierung der Unsicherheit des Modells lernt die Methode transferierbarere und robustere Merkmale. Die Autoren betonen, dass ihr Ansatz die Robustheit unter starken Angriffen (AutoAttack, PGD, CW) verbessert und gleichzeitig einen geringeren Speicherbedarf aufweist, was ihn zu einer praktischen Lösung für groß angelegte Modelle macht.

Einschränkungen
Die Autoren räumen mehrere Einschränkungen ein:

Die Methode ist derzeit spezifisch für die CLIP-Architektur und wurde nicht für andere VLMs getestet.
Sie adressiert lediglich Perturbationen im Bild-Encoder und lässt den Text-Encoder unberücksichtigt, obwohl dieser für VLMs von Bedeutung ist.
Die Evaluierung beschränkt sich auf Standard-White-Box-Angriffe; Black-Box-Angriffe, adaptive Angriffe und größere Perturbationsradien wurden nicht untersucht.

Mehr davon