Unifying Adversarially Robust Model Experts in Vision-Language Models

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterfreund, der ein Bild betrachten und sofort sagen kann, was darauf zu sehen ist, oder sogar ein Gedicht darüber schreiben kann. Dieser Robbot, bekannt als Vision-Language-Modell (VLM), ist erstaunlich, weil er sowohl Bilder als auch Wörter gleichzeitig versteht. Aber wie jedes kluge Kind hat auch dieser Roboter eine Schwäche: Er lässt sich leicht austricksen. Wenn jemand ein winziges, unsichtbares „Rauschen“ zu einem Bild hinzufügt – wie ein paar Pixel, die nur einen Haaresbreit verschoben sind – könnte der Roboter plötzlich glauben, ein Panda sei ein Toaster oder eine Katze sei ein Auto. Dies wird als „adversarial attack“ (gegnerischer Angriff) bezeichnet, und das ist ein großes Problem, da wir wollen, dass diese Roboter in der realen Welt sicher und zuverlässig sind.

Um dies zu beheben, bringen Wissenschaftler dem Roboter bei, mit diesen tückischen Bildern zu üben, ein Prozess, der „adversarial training“ (gegnerisches Training) genannt wird. Denken Sie daran wie an einen Kampfsportstudenten, der mit einem Partner spart, um zu lernen, wie man Schläge blockt. Das Papier, das Sie gleich lesen werden, untersucht eine faszinierende Entdeckung: Es gibt nicht nur einen Weg, dem Roboter das Blocken beizubringen. Einige Lehrer konzentrieren sich darauf, die exakten Bewegungen auswendig zu lernen (lernen, spezifische Wörter zu erkennen), während andere darauf fokussiert sind, das Gleichgewicht zu halten, egal was passiert (die Merkmale des Bildes stabil zu halten). Das Problem ist: Ein Schüler, der gut darin ist, Bewegungen auswendig zu lernen, könnte umfallen, wenn sich der Kampf verändert, und ein Schüler, der gut im Gleichgewicht ist, könnte vergessen, die spezifischen Namen der Bewegungen zu nennen. Dieses Papier stellt eine einfache, aber kraftvolle Frage: Was wäre, wenn wir das Beste aus beiden Welten vereinen könnten?

Die Geschichte von zwei Experten und dem magischen Kleber

In der Welt der KI-Sicherheit trainieren Forscher „Experten“, um Vision-Language-Modelle widerstandsfähiger gegen Angriffe zu machen. Aber hier ist der Haken: Diese Experten sind ein wenig wie spezialisierte Athleten. Eine Art von Experte, nennen wir sie die „Wort-Wiz-Experten“, wird sehr gut darin, Bilder mit spezifischen Textbeschreibungen abzugleichen. Wenn man ihnen ein Bild eines Pandas zeigt und fragt: „Ist das ein Panda?“, sind sie absolut sicher. Aber wenn man ihnen ein Bild eines neuen Tieres zeigt, das sie noch nie gesehen haben, könnten sie stolpern, weil sie sich so stark auf den auswendig gelernten Text verlassen.

Die andere Art, die „Steady-Hands“ (die mit ruhigen Händen), konzentriert sich darauf, das Bild selbst gleich zu halten, selbst wenn jemand versucht, es zu manipulieren. Sie sind großartig darin, neue, unbekannte Tiere zu handhaben, weil sie sich nicht so sehr um die spezifischen Wörter kümmern; sie wissen einfach, wie eine „katzenartige Form“ aussieht. Sie sind jedoch nicht so scharf darin, die Text-Hinweise zu nutzen, um bei vertrauten Tieren die richtige Antwort zu geben.

Lange Zeit versuchten Wissenschaftler, dies zu lösen, indem sie erst einen Experten und dann den anderen trainierten und dann versuchten, sie am Ende zusammenzufügen. Aber das war, als würde man versuchen, zwei verschiedene Arten von Ton zusammenzukleben, während sie noch nass sind; sie zogen ständig auseinander, oder das Endergebnis war ein unordentlicher Klumpen, der in nichts besonders gut war.

Hier kommt CARE: Der kollaborative Coach

Die Autoren dieses Papiers, Nguyen Duc Thai und sein Team, beschlossen, etwas anderes zu versuchen. Anstatt erst einen Experten und dann den anderen zu trainieren, bauten sie ein Framework namens CARE (Collaborative Adversarial Robustness fine-tuning using Embedding alignment). Denken Sie an CARE als einen brillanten Coach, der den „Wort-Wiz“ und die „Steady-Hands“ in denselben Fitnessraum stellt und sie Seite an Seite nebeneinander trainieren lässt.

So geschieht die Magie:

1. Das gemeinsame Aufwärmen: Bevor die Experten mit ihren spezifischen Übungen beginnen, teilen sie eine „universelle Perturbation“. Stellen Sie sich vor, beide schauen sich dasselbe leicht verzerrte Bild an, um ein Gefühl für die Schwierigkeiten zu bekommen. Dies hilft ihnen, auf demselben Stand zu starten.
2. Die spezialisierten Übungen: Der „Wort-Wiz“ übt, das verzerrte Bild dem richtigen Text zuzuordnen. Die „Steady-Hands“ üben, sicherzustellen, dass sich die Form des Bildes nicht zu sehr verändert.
3. Der geheime Handschlag (Harmonisierung): Dies ist der wichtigste Teil. Während sie trainieren, zwingt der Coach sie dazu, miteinander zu kommunizieren. Der „Wort-Wiz“ sagt zur „Steady-Hand“: „Hey, schau mal, wie ich den Text zuordne!“ und die „Steady-Hand“ sagt: „Hey, schau mal, wie ich das Bild stabil halte!“ Sie tauschen dieses Wissen in Echtzeit aus. Dies verhindert, dass sie zu weit voneinander wegdriften, und stellt sicher, dass beide von den Stärken des anderen lernen.
4. Die finale Verschmelzung: Am Ende des Tages vermischt der Coach ihre Gehirne zu einem Super-Experten. Dieses neue Modell ist nicht nur eine Mischung; es ist ein vereintes Gehirn, das weiß, wie man Wörter matcht und Bilder stabil hält.

Was sie herausfanden

Das Team testete diese neue Methode auf einem berühmten Datensatz namens ImageNet und vielen anderen schwierigen Bildersätzen. Die Ergebnisse waren ziemlich cool.

• Die Spezialisten übertreffen: Das neue CARE-Modell war besser als der „Wort-Wiz“ allein und besser als die „Steady-Hands“ allein. Tatsächlich war CARE bei starken Angriffen (mit einer Perturbationsgröße von $\epsilon = 4/255$) dem „Wort-Wiz“ (TeCoA) um etwa 2 % und den „Steady-Hands“ (FARE) um fast 8 % überlegen.
• Umgang mit dem Unbekannten: Das CARE-Modell wurde nicht nur bei bekannten Tieren besser, sondern auch bei der Identifizierung neuer Tiere. Die „Steady-Hands“ gewinnen normalerweise bei neuem Zeug, und die „Wort-Wiz“ gewinnen normalerweise bei bekanntem Zeug. CARE schaffte es, in beidem der Beste zu sein.
• Echtwelt-Aufgaben: Sie testeten das Modell auch bei Aufgaben wie dem Schreiben von Bildunterschriften und dem Beantworten von Fragen zu Bildern. Selbst wenn die Bilder angegriffen wurden, lieferte CARE häufiger die richtigen Antworten als die anderen Methoden. Zum Beispiel gab es in einem Test, bei dem ein „Hot Dog“ in einem Bild identifiziert werden musste, gab CARE selbst unter Angriff korrekt „Hot Dog“ an, während die anderen manchmal verwirrt waren.

Der Preis des Erfolgs

Natürlich gibt es einen Preis für diese Teamarbeit. Das gleichzeitige Training zweier Experten benötigt mehr Rechenleistung. Das Papier stellt fest, dass das Training von CARE etwa 1,5 Mal länger dauert als das Training von nur einem Experten (83 Stunden gegenüber 48-50 Stunden) und mehr Speicherplatz beansprucht (52,6 GB gegenüber 25-29 GB). Die Autoren schlagen jedoch vor, dass man mit cleverem Engineering, wie dem Löschen temporärer Daten, sobald sie verwendet wurden, den Speicherverbrauch handhabbar halten kann.

Das Fazit

Das Papier legt nahe, dass die alte Denkweise – sich für eine Strategie zu entscheiden und dabei zu bleiben – zu einschränkend sein kann. Indem wir verschiedene Arten von KI-Experten zusammenarbeiten lassen und sie von den Stärken des jeweils anderen lernen lassen, können wir Modelle bauen, die viel schwerer zu täuschen sind. Die Autoren behaupten nicht, dass dies die endgültige Lösung für alle KI-Sicherheitsprobleme ist, aber sie zeigen, dass dieser „kollaborative“ Ansatz eine sehr vielversprechende Richtung ist. Es ist eine Erinnerung daran, dass man, um wirklich robust zu sein, nicht nur stark sein muss; man muss in der Lage sein, mit anderen zusammenzuarbeiten.