Towards Universal Physical Adversarial Attacks via a Joint Multi-Objective and Multi-Model Optimization Framework
Dieser Beitrag stellt das Joint Multi-Objective and Multi-Model Optimization Framework (JMOF) vor, das eine orthogonale Gradientenausrichtung und einen zweistufigen Unterdrückungsmechanismus einsetzt, um Gradientenkonflikte zu lösen und die übertragbarkeit zwischen Modellen zu verbessern, wodurch universelle physikalische adversariale Angriffe erreicht werden, die verschiedene Black-Box-Vision-Aufgaben effektiv täuschen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Das Problem der „universellen Tarnung"
Stellen Sie sich vor, Sie möchten ein Auto mit einem speziellen „Unsichtbarkeitsmantel"-Muster bemalen. Das Ziel ist es, eine Überwachungskamera (eine KI) zu täuschen, damit sie denkt, das Auto sei nicht da, oder dass es etwas ganz anderes sei.
Das Problem, das die Autoren lösen, ist, dass die meisten heutigen „Unsichtbarkeitsmäntel" wie maßgeschneiderte Anzüge sind. Sie passen perfekt zu einem bestimmten Kameramodell (wie einem YOLO-Detektor), aber wenn Sie dasselbe Auto einer anderen Kameramarke zeigen (wie einem Swin-T oder ViT), sieht der Anzug lächerlich aus, und die Kamera durchschaut ihn sofort.
Darüber hinaus ist der Versuch, einen Anzug zu schaffen, der alle Kameras gleichzeitig passt, wie der Versuch, eine Jacke zu entwerfen, die gleichzeitig ein Wintermantel, ein Badeanzug und ein Smoking ist. Wenn man sie einfach zusammenwirft, erhält man eine heiße, unbequeme Unordnung, die für keine der Funktionen funktioniert. Dies wird als Gradientenkonflikt bezeichnet – die Anweisungen für den Wintermantel kämpfen mit den Anweisungen für den Badeanzug, und das Ergebnis ist ein Versagen.
Dieses Papier stellt ein neues Framework namens JMOF (Joint Multi-Objective and Multi-Model Optimization Framework) vor, um eine „universelle Tarnung" zu schaffen, die gegen fast jede Kamera funktioniert und sogar Kameras täuscht, die unterschiedliche Aufgaben erfüllen (wie das Zählen von Autos versus das Kartieren der Straße).
Die drei Hauptprobleme, die sie behoben haben
Die Autoren identifizierten drei spezifische Gründe, warum frühere Versuche gescheitert sind:
Die „Einheitsgröße passt niemandem"-Falle:
- Das Problem: Frühere Methoden wählten nur einen „Lehrer"-KI aus, von dem sie lernten. Die Tarnung wurde zu sehr von der spezifischen Sichtweise dieses einen Lehrers besessen.
- Die Lösung: Sie bauten ein Gremium diverser Lehrer auf. Anstatt einen Experten um Rat zu fragen, fragten sie ein Gremium von Experten, die sehr unterschiedlich denken (einige sind wie schnelle Läufer, andere wie sorgfältige Denker). Sie verwendeten einen mathematischen Trick, um sicherzustellen, dass sie Lehrer auswählten, die sich nicht zu sehr einig sind, damit die Tarnung lernt, für alle schwierig zu sein, nicht nur für einen.
Der Konflikt zwischen „Oberfläche und Seele":
- Das Problem: Einige Angriffe versuchen, die endgültige Antwort zu manipulieren (die „Oberfläche"), während andere versuchen, zu manipulieren, wie die KI das Bild in ihrem „Gehirn" versteht (die „Seele"). Das Tun von nur einem davon führt meist zum Scheitern.
- Die Lösung: Sie schufen einen Zweispitzigen Angriff.
- Spitze 1 (Oberfläche): Sie sagen der KI: „Hör auf, 'Auto' zu sagen!" (Unterdrückung der endgültigen Ausgabe).
- Spitze 2 (Seele): Sie sagen der KI: „Hör auf, die Form eines Autos in deinem Gehirn zu erkennen!" (Flachlegung der internen Merkmale).
- Indem sie beides gleichzeitig tun, ist der Angriff stark und schwer zu entkommen.
Das „Seilziehen" (Gradientenkonflikte):
- Das Problem: Wenn Sie das Gremium der Lehrer um Rat fragen, ziehen sie oft in entgegengesetzte Richtungen. Lehrer A sagt: „Mach die Farbe hier rot!" Lehrer B sagt: „Nein, mach es dort blau!" Wenn Sie ihren Rat einfach mitteln, erhalten Sie ein schmutziges Grau, das niemanden zufriedenstellt.
- Die Lösung: Sie erfanden einen Verkehrspolizisten namens OGA (Orthogonal Gradient Alignment).
- Anstatt die Lehrer zu zwingen, sich zu einigen, oder die widersprüchlichen zu ignorieren, nimmt der Verkehrspolizist ihre konfliktreichen Richtungen und dreht sie so, dass sie zusammenarbeiten.
- Stellen Sie sich zwei Personen vor, die an einem Seil in entgegengesetzte Richtungen ziehen. Der Verkehrspolizist hält sie nicht auf; stattdessen sagt er ihnen, sie sollen in einem 90-Grad-Winkel ziehen, damit ihre kombinierte Kraft das Seil effizient vorwärts bewegt. Dies verwandelt kämpferische Energie in Teamarbeit.
Wie es in der realen Welt funktioniert (der „physische" Teil)
Es ist einfach, ein digitales Bild unsichtbar zu machen. Es ist schwierig, ein echtes 3D-Auto unsichtbar zu machen, wegen Beleuchtung, Schatten und der Tatsache, dass sich das Auto bewegt.
- Der Simulator: Sie verwendeten eine Videospiel-Engine (CARLA), um das Fahren bei Regen, Sonne und nachts zu simulieren. Dies hilft der Tarnung zu lernen, aus jedem Winkel gut auszusehen, nicht nur auf einem perfekten Foto.
- Der „Dropout"-Trick: Um sicherzustellen, dass die Tarnung sich nicht nur auf einen glücklichen Punkt verlässt (wie die vordere Stoßstange), „löschten" sie während des Trainings zufällig Teile des Autos. Dies zwang die KI zu lernen, das ganze Auto zu verstecken, nicht nur einen bestimmten Fleck.
- Die Glätte-Regel: Echte Kameras hassen „Rauschen" oder körniges Bildrauschen. Die Autoren fügten eine Regel hinzu, um das Tarnungsmuster glatt und kontinuierlich zu machen, wie eine echte Lackierung, damit es beim Bewegen des Autos nicht wie digitales Rauschen aussieht.
Die „Superkraft": Verschiedene Arten von Kameras brechen
Der beeindruckendste Teil dieses Papiers ist, dass ihre Tarnung nicht nur „Auto-Zähler" täuscht. Sie täuscht auch:
- Kartenmacher: KI, die versucht, die Straße und den Bürgersteig zu zeichnen (Semantische Segmentierung).
- Entfernungsmesser: KI, die versucht zu erraten, wie weit das Auto entfernt ist (Tiefenschätzung).
Normalerweise würde ein Angriff, der ein Auto vor einem „Auto-Zähler" verstecken soll, einen „Entfernungsmesser" dazu bringen, zu denken, das Auto schwebe im Himmel. Aber weil ihr OGA-Verkehrspolizist so gut darin ist, widersprüchliche Anweisungen auszugleichen, täuscht die Tarnung erfolgreich beide Systeme gleichzeitig. Sie macht das Auto für den Zähler unsichtbar und lässt den Entfernungsmesser denken, das Auto sei Teil des Hintergrunds.
Zusammenfassung
Stellen Sie sich dieses Papier als die Erfindung eines universellen Chamäleons vor.
- Alte Chamäleons konnten ihre Farbe nur ändern, um sich an ein bestimmtes Blatt anzupassen.
- Dieses neue Chamäleon betrachtet einen ganzen Wald verschiedener Blätter (verschiedene KI-Modelle).
- Es hört ihnen allen zu, verwendet einen klugen Schiedsrichter, um zu verhindern, dass sie streiten, und malt ein Muster, das es für jeden im Wald unsichtbar macht, egal ob sie nach Blättern, Insekten suchen oder die Größe des Waldes messen.
Das Ergebnis ist eine physische Tarnung, die viel schwerer zu erkennen ist, auf vielen verschiedenen Arten von KI funktioniert und sogar gegen KI wirkt, die völlig unterschiedliche Aufgaben erfüllen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.