GeoDetect: Geometric Adversarial Detection for VLPs
Dieses Paper führt GeoDetect ein, eine geometrische Methode zur Detektion von Adversarial Attacks für Vision-Language Pre-trained Models (VLPs), die den erhöhten Off-Manifold-Abstand von adversen Beispielen in anisotropen Embedding-Räumen nutzt, um Angriffe über verschiedene Architekturen und Bedrohungsszenarien hinweg zuverlässig zu identifizieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer Bilder oder Wörter nicht nur sehen oder lesen, sondern verstehen, wie sie miteinander tanzen. Dies ist das Reich der Vision-Language Pre-trained Models (VLPs). Betrachten Sie sie als superintelligente Bibliothekare, die jedes Buch gelesen und jedes Gemälde im Universum gesehen haben und gelernt haben, die Beschreibung eines Sonnenuntergangs perfekt mit einem Foto davon abzugleichen. Sie sind die Motoren hinter cooler Technologie wie dem Finden von Bildern mittels Text, dem Beantworten von Fragen zu Fotos oder sogar dem Beschreiben einer Szene, ohne dass man ihnen sagen muss, wonach sie suchen sollen. Aber wie jedes leistungsstarke Werkzeug haben auch sie eine Schwachstelle: adversarielle Angriffe (adversarial attacks). Dies sind wie winzige, fast unsichtbare „Glitchs“ oder „Tricks“, die einem Bild oder einem Satz hinzugefügt werden, um den Computer zu verwirren, sodass er einen Panda als Gibbon oder ein Stoppschild als Geschwindigkeitsbegrenzung sieht. Während wir wissen, wie wir solche Tricks in Ein-Modus-Systemen (wie etwa bei reinen Fotos) erkennen können, haben wir noch nicht wirklich herausgefunden, wie wir sie aufspüren, wenn der Computer gleichzeitig sowohl Bilder als auch Wörter jongliert. Das ist eine große Sache, denn wenn diese Modelle in sicherheitskritischen Bereichen eingesetzt werden, müssen wir wissen, ob sie getäuscht werden, bevor sie einen gefährlichen Fehler machen.
Hier kommt GeoDetect ins Spiel, eine neue Methode, die von der Forscherin Afsaneh Hasanebrahimi und ihrem Team an der University of Melbourne und der Monash University vorgeschlagen wurde. Sie beschlossen, die „Form“ des Gehirns des Computers zu untersuchen, um zu sehen, ob sie die Tricks entdecken könnten. Sie entdeckten, dass die Art und Weise, wie diese Modelle Informationen speichern, ein wenig wie ein überfüllter Raum ist, in dem jeder in einem sehr spezifischen, engen Flur steht, anstatt sich gleichmäßig auf einem großen, offenen Feld zu verteilen. Sie nennen dies Anisotropie – ein schickes Wort dafür, dass die Daten in bestimmten Richtungen gestreckt und in anderen zusammengedrückt sind.
Die große Idee des Teams ist, dass, wenn jemand versucht, das Modell mit einem adversariellen Angriff zu täuschen, die interne „Landkarte“ des Modells aus diesem engen Flur hinaus in die leeren, seltsamen Räume gedrängt wird, in denen keine normalen Daten existieren. Es ist so, als ob alle in einem Tanzclub eine bestimmte Routine in der Mitte der Tanzfläche machen und ein Unruhestifter versucht, sich einzuschleichen und eine seltsame, ruckartige Bewegung zu machen; sie landen dann in dem leeren Raum nahe der Wände, weit weg von der Gruppe. GeoDetect fungiert wie ein Türsteher, der den Abstand zwischen einer neuen Person und der Menge misst. Wenn die neue Person zu weit draußen im leeren Raum steht (außerhalb des „Manifolds“ oder der natürlichen Form der Daten), weiß der Türsteher, dass etwas nicht stimmt.
Um dies zu tun, nutzt GeoDetect einen Werkzeugsatz aus geometrischen Messlatten. Es prüft Dinge wie die Lokale Intrinsische Dimensionalität (LID), was so etwas ist wie die Frage: „Wie viele Richtungen braucht dieser Punkt, um sich selbst zu beschreiben?“ Es verwendet auch k-Nächste Nachbarn (k-NN), um zu sehen, wie nah ein Punkt seinen Freunden ist, den Mahalanobis-Abstand, um zu messen, wie seltsam ein Punkt im Vergleich zur durchschnittlichen Form der Menge aussieht, und die Kernel-Dichteschätzung (KDE), um zu sehen, wie voll das Gebiet um einen Punkt herum ist. Durch die Kombination dieser Messungen kann das System feststellen, ob ein Input ein normales, sauberes Beispiel oder ein heimtückisches adversarielles Beispiel ist.
Die Forscher testeten diese Idee an verschiedenen Modellen, einschließlich populärer Modelle wie CLIP und ALBEF. Sie fanden heraus, dass ihre Theorie Bestand hat: adversarielle Beispiele landen tatsächlich in diesen „Off-Manifold“-Regionen, also weiter entfernt von den normalen Daten als saubere Beispiele. In ihren Experimenten war GeoDetect in der Lage, diese Angriffe über verschiedene Arten von Modellen und verschiedene Arten von Tricks hinweg zu erkennen, einschließlich Angriffen, die nur das Bild, nur den Text oder beides manipulieren. Das Beste daran? Es muss das Modell nicht neu trainieren oder neue Dinge lernen; es betrachtet einfach nur die Geometrie der Daten, so wie sie sind. Dies deutet darauf hin, dass wir, indem wir einfach die Form des Datenraums verstehen, einen robusten, leichtgewichtigen Schutzschild bauen können, um diese leistungsstarken KI-Modelle davor zu bewahren, getäuscht zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.