🤖 machine learning

Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks

Dieses Paper schlägt Black-Box-Adversarial-Attacks als einen groß angelegten, modernen Benchmark für die globale Optimierung vor, um die Einschränkungen bestehender kleinformatiger, veralteter analytischer Funktionssätze zu adressieren, und demonstriert dabei die Effektivität verschiedener evolutionärer Algorithmen und Metaheuristiken bei der Lösung dieser hochdimensionalen Herausforderungen.

Ursprüngliche Autoren: Wojciech Zarzecki, Jarosław Arabas

Veröffentlicht 2026-08-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wojciech Zarzecki, Jarosław Arabas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Erkennen von Tieren beizubringen. Sie zeigen ihm tausende Bilder von Pferden, Katzen und Hunden, bis er sehr gut darin wird, zu raten. Aber was wäre, wenn jemand den Roboter austricksen könnte? Was wäre, wenn jemand ein winziges, unsichtbares Körnchen „Rauschen“ zu einem Bild eines Pferdes hinzufügen könnte und der Roboter plötzlich glaubt, er sähe eine Katze? Dies wird als adversarieller Angriff (adversarial attack) bezeichnet. Es ist wie ein Zaubertrick für Computer: Das menschliche Auge sieht ein Pferd, aber das Gehirn des Computers sieht eine Katze, weil es durch einen geheimen, mathematischen Anstoß manipuliert wurde.

Um herauszufinden, wie man diese Tricks zum Laufen bringt (oder wie man sie verhindert), müssen Wissenschaftler verschiedene „Suchstrategien“ testen. Stellen Sie sich vor, Sie befinden sich in einem riesigen, nebligen Gebirge und suchen nach dem tiefsten Tal. Einige Suchstrategien sind wie das Gehen in einer geraden Linie, bis man gegen eine Wand stößt; andere sind wie das Aussenden eines Schwarms von Bienen, die jede Nische und jeden Winkel erkunden. Jahrzehntelang haben Wissenschaftler diese Strategien mit einfachen, künstlich erzeugten Bergen (mathematischen Funktionen) getestet, die leicht zu zeichnen waren, aber vielleicht nicht wie die reale Welt aussah. Die große Frage ist: Sind diese alten, einfachen Tests gut genug, um uns zu sagen, welche Suchstrategie tatsächlich die beste für die chaotische, komplexe Welt moderner KI ist?

Dieses Papier, geschrieben von Wojciech Zarzecki und Jarosław Arabas von der Warschauer Technischen Universität, sagt: „Nein, das sind sie nicht.“ Die Autoren argumentieren, dass das Problem, eine KI auszutricksen (ein adversarieller Angriff), eigentlich ein perfekter, realer Test für diese Suchstrategien ist. Sie behandeln den Angriff als ein riesiges Puzzle: Finde die kleinste, unsichtbarste Veränderung an einem Bild, die den Computer täuscht. Sie testeten verschiedene dieser „Schwarm“-Suchmethoden (wie evolutionäre Algorithmen und Grey Wolf Optimizer), um zu sehen, welche davon dieses Rätsel am besten lösen kann.

Hier ist, was sie herausgefunden haben:

Das Rätsel ist knifflig
Zuerst wollten die Autoren beweisen, dass dies kein einfaches Rätsel mit nur einer Antwort ist. Sie verwendeten eine lokale Suchmethode (eine Strategie, die nur die unmittelbare Umgebung betrachtet) auf tausenden Bildern. Sie fanden heraus, dass sie, wenn sie von verschiedenen zufälligen Punkten aus starteten, zu unterschiedlichen „Lösungen“ gelangten. Einige Lösungen veränderten ein paar Pixel hier, andere veränderten ein paar Pixel dort. Dies bewies, dass die Landschaft „multimodal“ ist, was bedeutet, dass sie viele verschiedene Täler und Gipfel hat, nicht nur einen. Es ist keine glatte Rutschpartie zum Boden; es ist eine zerklüftete, verwirrende Gebirgskette, in der man in einer kleinen Senke stecken bleiben kann, die nicht die tiefste ist. Dies bestätigt, dass man leistungsstarke „globale“ Suchmethoden benötigt, um die beste List zu finden.

Die Sucher
Das Team stellte mehrere verschiedene Suchalgorithmen auf zwei berühmten Bilddatensätzen auf die Probe: CIFAR-10 (kleine 32x32 Pixel große Bilder) und ImageNet (riesige, hochauflösende Bilder). Sie gaben jedem Algorithmus ein Budget dafür, wie oft er das Bild „ansehen“ durfte, um zu prüfen, ob es getäuscht wurde.

Die „gierigen“ Sucher: Einige Methoden, wie der INFO-Optimizer, agierten ein wenig wie eine gierige lokale Suche. Sie fanden Lösungen schnell, blieben aber oft bei schwächeren Tricks (geringeren Erfolgsraten) stecken.
Die „Schwarm“-Sucher: Methoden wie DE (Differential Evolution), GEN (Genetischer Algorithmus) und SHADE waren viel besser. Sie erkundeten den Raum gründlicher. Auf dem CIFAR-10-Datensatz beispielsweise, als das erlaubte „Rauschen“ (Perturbation) auf 0,2 gesetzt wurde, täuschte die GEN-Methode den Computer in 97,40 % der Fälle, während SHADE dies in 89,61 % der Fälle tat.
Der „Wolf“ hatte zu kämpfen: Der GWO (Grey Wolf Optimizer) hatte Schwierigkeiten, wenn die Regeln streng waren. Ohne eine spezielle „Regularisierung“ (eine Regel, um das Rauschen klein zu halten), gelang ihm der Erfolg nur in etwa 10–15 % der Fälle. Als die Autoren jedoch eine spezifische Regel hinzufügten, um das Rauschen auszubalancieren, holte der GWO auf und performte deutlich besser.

Die Größe spielt eine Rolle
Die Größe des Bildes machte einen riesigen Unterschied. Bei den kleineren CIFAR-10-Bildern war selbst eine winzige Menge an erlaubtem Rauschen (0,01) fast unmöglich zu nutzen; die Algorithmen versagten fast vollständig. Aber bei den massiven ImageNet-Bildern war dieselbe winzige Menge an Rauschen noch schwieriger zu nutzen (0 % Erfolgsrate für alle). Soblich sie jedoch etwas mehr Rauschen erlaubten (0,1 oder 0,2), wurden die Algorithmen sehr effektiv. Auf ImageNet mit 0,2 Rauschen erreichte der DE-Algorithmus eine Erfolgsquote von 100 %, was bedeutet, dass er den Computer bei jedem einzelnen Bild, das er versuchte, täuschen konnte.

Das Fazit
Das Papier legt nahe, dass die Verwendung dieser „Black-Box“-adversariellen Angriffe eine fantastische Möglichkeit ist, um zu testen, wie gut globale Optimierungsmethoden wirklich sind. Es ist eine schwierigere, realistischere Herausforderung als die alten, einfachen mathematischen Probleme. Die Ergebnisse zeigen, dass, obwohl einige Methoden besser als andere sind, das Feld noch am Lernen ist. Die Autoren behaupteten nicht, den „perfekten“ Algorithmus gefunden zu haben; stattdessen stellten sie einen neuen Spielplatz bereit, auf dem Forscher ihre Werkzeuge testen können. Sie merkten auch an, dass sie in Zukunft vielleicht nicht nur testen wollen, den Computer zu verwirren, sondern ihn dazu zu bringen, eine spezifische falsche Antwort zu wählen, und dass sie möglicherweise eine andere Art der Messung von „Rauschen“ verwenden möchten, die eher dem entspricht, was ein menschliches Auge wahrnehmen würde.

Kurz gesagt: Die Autoren haben erfolgreich gezeigt, dass das Austricksen einer KI ein komplexer, vielgipfliger Aufstieg in den Bergen ist, und obwohl einige Suchteams (wie GEN und SHADE) derzeit die besten Wanderer sind, gibt es noch viel Terrain zu erkunden.

Technische Zusammenfassung: Großangelegte Testverfahren für globale Optimierungsmethoden mittels Black-Box-Adversarial-Attacks

Problemdefinition
Die Autoren identifizieren eine Stagnation in der Entwicklung globaler Optimierungsmethoden aufgrund der Abhängigkeit von Benchmark-Suites, die aus einer begrenzten Anzahl analytischer Funktionen bestehen, von denen viele aus den 1970er und 1980er Jahren stammen (z. B. Ackley, Griewank, Rosenbrock). Diese „synthetischen“ Probleme bergen das Risiko, die Methodenentwicklung zu verzerren. Das Paper schlägt vor, dass Black-Box Adversarial Attacks (BBAA) auf Bildklassifikationsmodelle als robuster, hochdimensionaler Benchmark für die globale Optimierung dienen.

In einem BBAA-Szenario versucht ein Angreifer, einen Perturbationsvektor $\delta$ zu finden, der zu einem Eingabebild $x$ hinzugefügt wird, sodass sich die Klassifikation des Modells ändert (Fehlklassifikation), während die Perturbation für Menschen unmerklich bleibt. Das Problem wird als randbeschränktes Minimierungsproblem formuliert, bei dem die Zielfunktion $L(\delta)$ den negativen Logarithmus der Wahrscheinlichkeit der Grundwahrheitsklasse mit einem $L_2$ -Regularisierungsterm kombiniert, um die Größe der Perturbation zu minimieren:
$L(\delta) = -\log p_{c(x)}(x + \delta) - \alpha\|\delta\|_2^2$
Die zulässige Menge ist ein Hyperwürfel $[-\epsilon, \epsilon]^n$ , wobei $n$ der Anzahl der Pixel entspricht (z. B. 3.072 für CIFAR-10, 150.528 für ImageNet).

Methodik
Um die BBAA als globales Optimierungsproblem zu validieren, haben die Autoren zunächst deren Multimodalität nachgewiesen. Sie setzten eine lokale Suchmethode, den Stochastic Growth Attack mit Binary Search Refinement (SGA-BSR), über 100 unabhängige Durchläufe mit unterschiedlichen Random Seeds pro Bild ein. Die Ergebnisse zeigten, dass unabhängige Durchläufe zu unterschiedlichen Perturbationsvektoren mit variierenden Zielfunktionswerten konvergierten, was die Existenz zahlreicher lokaler Optima und die Notwendigkeit globaler Suchstrategien bestätigte.

Die zentrale Experimentalphase bestand darin, mehrere Metaheuristik-Algorithmen zur globalen Optimierung auf BBAA-Aufgaben unter Verwendung zweier Datensätze zu testen: CIFAR-10 und ImageNet. Die verwendeten Modelle waren ein Standard, vortrainiertes ResNet-18 für ImageNet und eine benutzerdefinierte VGG-ähnliche Architektur für CIFAR-10. Die getesteten Optimierungsalgorithmen umfassten:

Klassische evolutionäre Algorithmen (GEN)
Differential Evolution Varianten: DE, JADE, SADE, SHADE
Grey Wolf Optimizer (GWO)
INFO (Effizienter Optimierer basierend auf dem gewichteten Mittelwert von Vektoren)

Die Experimente wurden mit variierenden Hyperparametern durchgeführt:

$\epsilon$ (Maximale Perturbation): 0,01, 0,1, 0,2
$\alpha$ (Regularisierungsgewicht): 0,0, 0,1, 1,0, 10,0, 100,0
Budget: Populationsgröße von 500 und 500 Iterationen pro Durchlauf.

Wichtigste Ergebnisse
Die Experimente lieferten die folgenden Beobachtungen:

Multimodalität: Die lokale Suche mittels SGA-BSR erzeugte über verschiedene Durchläufe hinweg diverse Lösungen, was bestätigte, dass die BBAA-Landschaft hochgradig multimodal ist.
Einfluss von Hyperparametern:
- Die Begrenzung der Perturbation $\epsilon$ war der entscheidendste Faktor. Bei $\epsilon=0,01$ scheiterten die meisten Optimierer bei beiden Datensätzen. Die Erfolgsraten stiegen bei $\epsilon=0,1$ und $\epsilon=0,2$ signifikant an.
- Das Regularisierungsgewicht $\alpha$ hatte einen nicht-monotonen Effekt. Ein moderater Wert ( $\alpha=0,1$ ) verbesserte die Leistung im Allgemeinen, indem er das Überqueren der Entscheidungsgrenze mit der Minimierung der Perturbation ausbalancierte.
Algorithmenleistung:
- GEN (Genetischer Algorithmus) und SHADE erreichten konsistent hohe Erfolgsraten bei gleichzeitig geringer Perturbationsstärke ( $L_2$ -Norm).
- GWO performte ohne Regularisierung schlecht (nahezu null Erfolg bei niedrigem $\epsilon$ ), verbesserte sich jedoch mit $\alpha=0,1$ signifikant und schloss zu anderen populationsbasierten Methoden auf.
- INFO verhielt sich wie eine gierige (greedy) lokale Suche, stagnierte bei niedrigeren Erfolgsraten, demonstrierte jedoch eine hohe Abfrageeffizienz (Query Efficiency).
- DE und GWO tendierten dazu, in Richtung der Ecken des zulässigen Bereichs zu driften, was wahrscheinlich auf einen Mangel an Selbstadaptionsmechanismen zurückzuführen ist, wie sie in SADE, JALL oder SHADE vorhanden sind.
Datensatzvergleich: Angriffe waren bei identischen $(\epsilon, \alpha)$ -Einstellungen auf ImageNet einheitlich einfacher als auf CIFAR-10. Die Autoren führen dies auf die höhere Eingabedimensionalität und das größere Label-Set von ImageNet zurück, was statistisch gesehen die Margin zur nächstgelegenen konkurrierenden Klasse verkleinert.

Bedeutung und Beiträge
Das Paper beansprucht, einen Schritt zur Angleichung der Forschung zur globalen Optimierung an die Herausforderungen des modernen maschinellen Lernens zu gehen. Seine primären Beiträge sind:

Vorschlag eines Benchmarks: Etablierung von BBAA als wertvoller, hochdimensionaler Benchmark für die globale Optimierung, der über traditionelle synthetische Funktionen hinausgeht.
Empirische Validierung: Nachweis, dass BBAA ein multimodales Problem ist, das globale Suchfähigkeiten erfordert, verifiziert durch lokale Suchexperimente.
Leistungs-Baseline: Bereitstellung einer vergleichenden Effizienzanalyse mehrerer Metaheuristiken (einschließlich klassischer EAs, DE-Varianten, GWO und INFO) auf BBAA-Aufgaben ohne umfangreiches Hyperparameter-Tuning.
Offenes Framework: Veröffentlichung eines Frameworks, das es der Community ermöglicht, neue Optimierungsmethoden gegen diese adversariellen Herausforderungen zu testen.

Die Autoren kommen zu dem Schluss, dass aktuelle Methoden zwar vielversprechend sind, zukünftige Arbeit jedoch die Abstimmung dieser Methoden auf höhere Effizienz, die Erweiterung des Portfolios an Optimierern und die potenzielle Neuformulierung der Zielfunktion zur Einbeziehung von Perceptual-Loss-Termen umfassen sollte, die menschlich sichtbare Verzerrungen besser widerspiegeln.

Mehr davon