VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models
Dieser Artikel argumentiert, dass die hohen berichteten Erfolgsquoten für universelle adversarielle Angriffe auf Vision-Sprach-Modelle allgemeine Output-Verfälschungen mit präziser Prompt-Injektion vermischen und durch eine neuartige zweidimensionale Evaluierung aufzeigen, dass zwar unmerkliche Perturbationen häufig die Modellausgaben stören, jedoch selten eine tatsächliche Injektion erreichen, wobei nur 0,756 % der getesteten Fälle eine Injektionsstufe oberhalb von „none" erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, höflichen Roboterassistenten, der Fotos betrachten und beschreiben kann, was er sieht. Sie fragen ihn: „Was ist auf diesem Bild eines Hundes?" und er antwortet: „Es ist ein Golden Retriever, der in einem Park spielt."
Stellen Sie sich nun vor, ein Hacker möchte diesen Roboter dazu bringen, etwas Bestimmtes zu sagen, wie etwa „Besuchen Sie diese zwielichtige Website". Er kann weder das Gehirn des Roboters noch die von Ihnen getippten Wörter ändern. Sein einziges Werkzeug besteht darin, eine winzige, unsichtbare Schicht aus „Rauschen" zum Foto des Hundes hinzuzufügen – so klein, dass das menschliche Auge sie nicht erkennen kann, aber die „Augen" des Roboters sie möglicherweise wahrnehmen.
Diese Arbeit, VisInject, stellt eine sehr einfache, aber entscheidende Frage: Veranlasst dieses unsichtbare Rauschen den Roboter tatsächlich, die geheime Phrase des Hackers auszusprechen, oder lässt es den Roboter lediglich etwas anderes sagen?
Die Autoren stellten fest, dass frühere Berichte zwei völlig unterschiedliche Dinge vermischt haben. Hier ist die Aufschlüsselung mit einfachen Analogien:
1. Die zwei verschiedenen Ergebnisse: „Verwirrung" vs. „Entführung"
Die Arbeit argumentiert, dass Forscher „Verwirrung" fälschlicherweise als „Entführung" gezählt haben.
- Verwirrung (Einfluss/Drift): Der Roboter sieht das Foto mit dem unsichtbaren Rauschen und gerät in Verwirrung. Anstatt zu sagen „ein Hund im Park", könnte er sagen: „Das sieht aus wie eine Collage aus Text" oder „Ich sehe ein verschwommenes Durcheinander". Die Antwort des Roboters hat sich geändert, aber er sagte nicht das, was der Hacker wollte.
- Analogie: Es ist, als würde jemand während einer Prüfung einem Schüler ein ablenkendes Flüstern ins Ohr hauchen. Der Schüler hört auf, über die Geschichtsfrage zu schreiben, und beginnt, Unsinn zu kritzeln. Er ist abgelenkt, hat aber nicht die falsche Antwort geschrieben, vor der der Lehrer sich Sorgen machte.
- Entführung (Präzise Injektion): Der Roboter sieht das Rauschen und spuckt gegen alle Wahrscheinlichkeiten genau die geheime Phrase aus, die der Hacker wollte, wie etwa „Besuchen Sie www.example.com".
- Analogie: Dies ist der Schüler, der die Ablenkung völlig ignoriert und die spezifische falsche Antwort schreibt, die der Eindringling von ihm wollte.
Die große Entdeckung: Die Arbeit ergab, dass Verwirrung sehr häufig ist (etwa in 66 % der Fälle), Entführung jedoch unglaublich selten ist (in weniger als 1 % der Fälle und oft gar nicht).
2. Das „Zauberkunststück"-Setup
Um dies zu beweisen, kombinierten die Forscher zwei bestehende „Zauberkunststücke" (Angriffsmethoden) anderer Wissenschaftler:
- Das universelle Rauschen: Ein spezielles Bild, das so konzipiert ist, dass es jede Frage verwirrt, die Sie dazu stellen.
- Der Träger: Ein Werkzeug, das dieses verwirrende Rauschen auf ein normales, echtes Foto (wie ein Bild einer Katze oder eines Dokuments) aufträgt, sodass es für Menschen wie ein reguläres Foto aussieht.
Sie führten dieses Setup in 6.615 verschiedenen Szenarien mit vier verschiedenen Open-Source-Roboterassistenten durch.
3. Die Ergebnisse: Eine 90-zu-1-Lücke
Die Schlagzahl aus früheren Studien besagte, dass diese Angriffe in 60–80 % der Fälle funktionieren. Die Autoren sagen: „Das ist irreführend."
- Die „Drift"-Rate: Als sie prüften, ob sich die Antwort des Roboters überhaupt änderte, änderte sie sich in 66 % der Fälle. Die Roboter waren definitiv verwirrt.
- Die „Entführungs"-Rate: Als sie prüften, ob der Roboter tatsächlich die geheime Phrase des Hackers sagte, geschah dies nur in 0,75 % der Fälle.
- Die wörtliche Rate: Als sie prüften, ob der Roboter die exakten Wörter sagte, die der Hacker wollte (wie eine bestimmte URL), geschah dies nur in 0,03 % der Fälle (2 Mal von 6.615).
Die Analogie: Stellen Sie sich vor, ein Zauberer versucht, eine Münze verschwinden zu lassen. In 66 von 100 Versuchen bewegt sich die Münze an einen anderen Ort (Verwirrung). Aber nur in 1 von 100 Versuchen verschwindet die Münze tatsächlich vollständig (Entführung). Frühere Berichte sagten: „Schauen Sie! Die Münze hat sich 66 % der Zeit bewegt! Der Zauberer ist erstaunlich!" Die Autoren sagen: „Warten Sie, die Münze ist nicht verschwunden. Sie hat sich nur bewegt. Der Zauberer ist nicht so mächtig, wie wir dachten."
4. Warum einige Fotos besser funktionieren als andere
Die Forscher stellten fest, dass die wenigen Male, in denen der Roboter die geheime Phrase tatsächlich sagte, nur bei bestimmten Arten von Fotos geschahen.
- Natürliche Fotos: Wenn das Foto ein Hund oder eine Katze war, sagte der Roboter fast nie die geheime Phrase.
- Dokumentenfotos: Wenn das Foto ein Screenshot einer Website, eines Code-Editors oder einer Rechnung war, war der Roboter etwas eher bereit, die geheime Phrase zu sagen.
- Warum? Die Autoren erklären, dass, wenn das Foto bereits wie ein Dokument mit Text aussieht (wie eine Rechnung), der Roboter bereits erwartet, Text zu lesen. Das unsichtbare Rauschen schiebt den Roboter lediglich dazu, den „falschen" Text (die Phrase des Hackers) statt des echten Textes zu lesen. Wenn das Foto ein Hund ist, erwartet der Roboter, Fell und Pfoten zu beschreiben, sodass die geheime Phrase nicht in die Geschichte passt.
5. Der „super-resistente" Roboter
Eine der interessantesten Entdeckungen betraf ein spezifisches Robotermodell namens BLIP-2.
- Während die anderen drei Roboter zu 100 % durch das unsichtbare Rauschen verwirrt wurden, bemerkte BLIP-2 gar nichts.
- Selbst als die Forscher versuchten, BLIP-2 zu nutzen, um den Angriff zu erstellen, scheiterte der Angriff später vollständig daran.
- Der Grund: Die Autoren vermuten, dass BLIP-2 eine „Engstelle" in seinem Gehirn hat. Es komprimiert das Bild zu einer winzigen Zusammenfassung, bevor es es liest. Diese Komprimierung wirkt wie ein Filter, der das winzige, unsichtbare Rauschen löscht, bevor der Roboter es überhaupt sehen kann. Es ist, als würde man versuchen, ein Geheimnis durch eine dicke Wand zu flüstern; die anderen Roboter hörten es, aber die Wand von BLIP-2 war zu stark.
Zusammenfassung
Die Arbeit kommt zu dem Schluss, dass unsichtbare Angriffe zwar Vision-Sprachmodelle definitiv verwirren können (indem sie ihnen seltsame oder andere Antworten geben), sie jedoch schlecht darin sind, die Modelle dazu zu zwingen, spezifische, gefährliche Phrasen auszusprechen.
Die „90-fache Lücke" bedeutet, dass Sie, wenn Sie besorgt sind, ein Roboter könnte dazu verleitet werden, eine bestimmte URL oder ein Passwort auszusprechen, die Gefahr wahrscheinlich überschätzen. Es ist viel wahrscheinlicher, dass der Roboter einfach verwirrt wird und etwas Dummes sagt, als dass er dem Befehl des Hackers gehorsam folgt.
Das Fazit: Begeben Sie sich nicht in Panik wegen der „60–80 % Erfolgsrate", von der Sie vielleicht gelesen haben. Diese Zahl zählt hauptsächlich „Verwirrung", nicht „Entführung". Die echte Gefahr dieser spezifischen Angriffe ist viel, viel geringer, als die Schlagzeilen suggerieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.