Breaking the weakest link to evade vision language models
Dieses Paper schlägt eine recheneffiziente, gradientenbasierte Angriffsmethode vor, die gezielt nur den Vision-Encoder von Vision-Language-Modellen (VLMs) angreift, um imperzeptible adversarielle Perturbationen zu erzeugen, die in der Lage sind, die textuellen Interpretationen der Modelle zu stören oder zu kapern, wodurch signifikante Schwachstellen in aktuellen multimodalen KI-Systemen offengelegt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Landschaft der künstlichen Intelligenz ist eine neue Generation von Systemen entstanden, die gleichzeitig sehen und sprechen können. Diese Maschinen, bekannt als Vision-Language-Modelle, sind darauf ausgelegt, ein Bild zu betrachten und zu beschreiben, was sie sehen, oder Fragen zu einer Fotografie zu beantworten. Sie funktionieren, indem sie ein Bild aufnehmen, dessen visuelle Details in eine mathematische Repräsentation umwandeln und diese Information dann an eine Sprach-Engine weitergeben, die Sätze konstruiert. Diese Technologie treibt alles an, von automatisierten Bildunterschriften bis hin zu Sicherheitssystemen in selbstfahrenden Autos, und schlägt so eine Brücke zwischen der visuellen Welt und der menschlichen Kommunikation. Doch wie jedes komplexe System sind auch diese Modelle nicht immun gegen Manipulationen. Forscher wissen schon lange, dass digitale Bilder auf eine Weise verändert werden können, die für das menschliche Auge unsichtbar ist, aber dennoch in der Lage ist, die Wahrnehmung eines Computers zu verwirren. Die Frage ist nun, ob diese hochentwickelten neuen Systeme, die Sehen und Sprechen kombinieren, sicherer sind als die älteren, einfacheren Modelle, die sie ersetzt haben.
Ein Team von Forschern bei Thales und ESILV setzte sich zum Ziel, die Belastbarkeit dieser Vision-Language-Modelle gegenüber solchen verborgenen Manipulationen zu testen. Ihr Ziel war es zu sehen, ob sie die Modelle dazu bringen könnten, Dinge zu sehen, die nicht da waren, oder Dinge zu ignorieren, die deutlich sichtbar waren. Sie konzentrierten sich auf zwei spezifische Arten von Tricks. Der erste war eine breite Störung, bei der der Angreifer einfach nur das Modell verwirren wollte, sodass es das Bild nicht mehr korrekt beschreiben konnte. Der zweite war eine präzise Täuschung, bei der der Angreifer das Modell dazu bringen wollte, ein spezifisches Objekt zu beschreiben, das völlig anders war als das in dem Foto. Beispielsweise wollten sie sehen, ob sie ein Modell dazu bringen könnten, auf ein Bild eines Militärpanzers zu blicken und diesen selbstbewusst als Krankenwagen zu beschreiben. Um dies zu erreichen, versuchten sie nicht, das gesamte System auf einmal zu brechen. Stattdessen identifizierten sie den effizientesten Weg zur Schwachstelle: den Teil des Systems, der das Bild zuerst verarbeitet.
Die Forscher entdeckten, dass sie diese täuschenden Bilder erzeugen konnten, indem sie ihre Bemühungen ausschließlich auf die visuelle Komponente des Modells konzentrierten, anstatt auf die gesamte sprachverarbeitende Maschinerie. Dieser Ansatz erwies sich als ein Meisterstreich der Effizienz. Während frühere Methoden erforderten, dass der Computer Änderungen durch das massive, komplexe Sprachgehirn des Modells berechnet – ein Prozess, der langsam war und enorme Rechenleistung beanspruchte –, musste die neue Methode nur die initiale Bildverarbeitungsstufe anpassen. Durch dies senkten die Forscher den für den Angriff benötigten Speicherbedarf erheblich und reduzierten die Zeit, die zur Erstellung eines einzelnen täuschenden Bildes benötigt wurde, von über zwanzig Minuten auf etwa einhundertsechzig Sekunden. Diese Effizienz bedeutete, dass sie ihre Ideen an einer Vielzahl moderner Open-Source-Modelle testen konnten, darunter Systeme namens Qwen, Granite, FastVLM und Phi.
Die Ergebnisse dieser Experimente waren erschütternd und offenbarten eine tiefe Fragilität in der Art und Weise, wie diese Modelle die Welt verstehen. Als die Forscher versuchten, die Modelle einfach nur zu verwirren, um sie daran zu hindern, das Bild korrekt zu beschreiben, waren die Angriffe fast universell erfolgreich. Selbst mit winzigen, unsichtbaren Veränderungen der Pixel scheiterten die Modelle in mehr als dreiundneunzig Prozent der Fälle bei der Erkennung des Bildinhalts. In einigen Fällen waren fast alle Versuche erfolgreich, was darauf hindeutet, dass die visuellen Repräsentationen, auf die diese Modelle angewiesen sind, unglaublich instabil sind. Als die Forscher die schwierigere Aufgabe versuchten, das Modell dazu zu zwingen, ein spezifisches falsches Objekt zu sehen, variierten die Ergebnisse stärker je nach Modell, blieben aber besorgniserregend. Ein Modell, Granite-Vision, wurde in fast der Hälfte der Versuche ausgetrickst und beschrieb einen Panzer als einen Krankenwagen, obwohl es sich um zwei völlig unzusammenhängende Objekte handelt. Ein anderes Modell, Phi-3.5-Vision, erwies sich als wesentlich resistenter, fiel selten auf den Trick herein, aber die Mehrheit der getesteten Systeme zeigte signifikante Schwächen.
Diese Erkenntnisse legen nahe, dass die aktuelle Generation von Vision-Language-Modellen hochgradig anfällig für Manipulationen ist, insbesondere wenn das Ziel darin besteht, ihr Verständnis eines Bildes zu stören. Die Tatsache, dass solch leistungsstarke Systeme durch Veränderungen in die Irre geführt werden können, die für ein menschliches Auge zu klein sind, wirft ernste Fragen nach ihrer Zuverlässigkeit in realen Situationen auf. Wenn ein selbstfahrendes Auto oder ein medizinisches Bildgebungssystem auf ein Modell angewiesen ist, das leicht dazu getrickst werden kann, ein Fahrzeug oder einen Zustand falsch zu identifizieren, könnten die Folgen schwerwiegend sein. Die Studie behauptet nicht, das Problem der Sicherheit dieser Systeme gelöst zu haben, aber sie hat das Gelände der Gefahr klar kartografiert. Indem sie zeigten, dass das schwächste Glied oft die initiale visuelle Verarbeitungsstufe ist, haben die Forscher ein klares Ziel für zukünftige Abwehrmaßnahmen vorgegeben. Die Arbeit unterstreicht, dass mit der zunehmenden Integration dieser Modelle in kritische Infrastrukturen die Gewährleistung, dass sie solchen subtilen, unsichtbaren Angriffen standhalten können, nicht nur eine technische Herausforderung, sondern eine grundlegende Voraussetzung für die Sicherheit ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.