🤖 machine learning

NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs

Die Arbeit stellt NERO-Net vor, einen neuroevolutionären Ansatz, der ohne adversariales Training architekturen entwickelt, die durch ihre inhärente Struktur eine hohe Robustheit gegen Adversarial Attacks bei gleichzeitig guter Genauigkeit auf sauberen Daten erreichen.

Ursprüngliche Autoren: Inês Valentim, Nuno Antunes, Nuno Lourenço

Veröffentlicht 2026-03-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Inês Valentim, Nuno Antunes, Nuno Lourenço

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die unsichtbare Brille

Stell dir vor, du hast einen sehr klugen Roboter, der Bilder von Hunden und Katzen erkennt. Er ist super gut darin, wenn er saubere, klare Fotos sieht. Aber dieser Roboter hat eine seltsame Schwäche: Wenn jemand ein winziges, für das menschliche Auge unsichtbares "Rauschen" (wie ein paar verpixelte Punkte) auf das Foto malt, denkt der Roboter plötzlich, das sei ein Toaster oder ein Flugzeug.

Das nennt man einen adversariellen Angriff (oder einen "Trick"). Es ist wie eine unsichtbare Brille, die der Roboter aufsetzt und die ihm die Welt völlig falsch zeigt. In der echten Welt ist das gefährlich, wenn ein autonomes Auto plötzlich ein Stoppschild für einen Blumenstrauch hält.

Die alte Lösung: Der harte Drill

Bisher haben Forscher versucht, diesen Roboter zu schützen, indem sie ihn mit diesen manipulierten Bildern "trainiert" haben. Das ist wie ein Soldat, der im Training ständig mit Blindenführern und Lärm konfrontiert wird, damit er im echten Krieg nicht panisch wird. Das funktioniert, aber es ist teuer, langsam und der Roboter vergisst dabei oft, wie man normale Bilder (ohne Lärm) gut erkennt.

Die neue Idee: NERO-Net (Der Architekt)

Die Autoren dieses Papers sagen: "Warte mal! Vielleicht liegt das Problem gar nicht am Training, sondern am Bauplan des Roboters selbst."

Stell dir vor, du baust ein Haus.

Die alte Methode: Du baust ein Haus aus Holz und versuchst dann, es gegen Sturm zu schützen, indem du es mit Sandsäcken füllst (das Training).
Die NERO-Net-Methode: Du suchst einen Architekten, der von Anfang an ein Haus aus Stahl und Beton entwirft, das von Natur aus sturmfest ist, ohne dass du Sandsäcke brauchst.

Das Team hat NERO-Net entwickelt. Das ist ein "Architekt-Algorithmus", der automatisch neue Baupläne für neuronale Netze erfindet. Aber hier ist der Clou:

Kein Stress-Training: Der Algorithmus baut die Netze und trainiert sie nur mit normalen, sauberen Bildern. Er fügt keine manipulierten Bilder hinzu.
Der Test: Wenn ein neues Netz fertig ist, wird es einem "Stress-Test" unterzogen. Man wirft einen Trick auf es.
Die Belohnung: Wenn das Netz den Trick übersteht und trotzdem das Bild richtig erkennt, bekommt es Punkte. Wenn es zusammenbricht, bekommt es keine Punkte.

Das System sucht also nach Bauplänen, die von Natur aus widerstandsfähig sind, nicht nur solche, die viel geübt haben.

Wie funktioniert das Suchen? (Die Evolution)

Stell dir vor, du hast eine Werkstatt voller tausender kleiner Architekten.

Jeder baut ein kleines Haus (ein neuronales Netz).
Die besten Architekten (die, deren Häuser den Trick am besten überstehen) dürfen ihre Baupläne kopieren und leicht verändern (Mutation).
Vielleicht ändern sie die Dicke der Wände oder fügen ein extra Fenster hinzu.
Die schlechten Architekten werden rausgeworfen.

Nach vielen Runden (Generationen) entsteht ein "Super-Haus", das nicht nur stabil ist, sondern auch noch sehr gut aussieht (hohe Genauigkeit bei normalen Bildern).

Die Ergebnisse: Ein Wunderbauplan

Das Team hat dieses System auf einem bekannten Datensatz (CIFAR-10) getestet. Das Ergebnis war beeindruckend:

Der "beste Architekt", den die Evolution gefunden hat, schaffte es, 33 % der Tricks abzuwehren, ohne dass er jemals trainiert wurde, Tricks zu erkennen.
Wenn man diesen speziellen Bauplan dann noch ein bisschen mehr trainierte (aber immer noch ohne Tricks), stieg die Abwehrkraft auf 47 %.
Und das Beste: Das Haus war immer noch super gut darin, normale Bilder zu erkennen (über 90 %).

Das zeigt: Der Bauplan selbst ist widerstandsfähig. Es ist nicht nur "Übung", es ist eine Eigenschaft der Struktur.

Ein kleiner Haken und die Zukunft

Natürlich ist nichts perfekt. Wenn man den Roboter dann doch noch mit den Tricks trainiert (der "harte Drill"), wird er noch robuster, aber er verliert etwas von seiner Fähigkeit, normale Bilder zu erkennen. Und er ist immer noch nicht so stark wie die allerbesten, speziell dafür gebauten Modelle der Konkurrenz.

Aber die Botschaft ist klar: Die Architektur ist der Schlüssel. Wenn wir die richtigen Baupläne finden, brauchen wir weniger "Schutzwesten" und weniger Stress beim Training.

Zusammenfassung in einem Satz

NERO-Net ist wie ein genialer Architekt, der durch Ausprobieren und Evolution Baupläne für Roboter findet, die von Natur aus so stabil gebaut sind, dass sie nicht so leicht durch kleine Tricks zu täuschen sind – ganz ohne dass man sie vorher mit diesen Tricks gequält hat.

1. Problemstellung

Tiefe neuronale Netze (ANNs), insbesondere Convolutional Neural Networks (CNNs), sind anfällig für adversarielle Beispiele (Adversarial Examples). Dabei handelt es sich um Eingabedaten mit kleinen, für das menschliche Auge kaum wahrnehmbaren Störungen, die das Modell zu Fehlklassifizierungen verleiten.

Bisherige Ansätze zur Abwehr konzentrieren sich stark auf adversarielles Training (das Hinzufügen von gestörten Beispielen zum Trainingsdatensatz). Dies hat jedoch zwei Hauptnachteile:

Es ist rechenintensiv.
Es maskiert oft den eigentlichen Beitrag der Architektur zur Robustheit. Es bleibt unklar, ob die Robustheit aus der Netzstruktur selbst oder nur aus dem Training resultiert.

Zudem ignorieren viele automatisierte Architektursuchverfahren (wie Neuroevolution oder NAS) die inhärente adversarielle Robustheit und optimieren primär die Genauigkeit auf sauberen Daten.

2. Methodik: NERO-Net

Die Autoren schlagen NERO-Net (NeuroEvolution of adversarially RObust artificial neural Networks) vor, einen neuroevolutionären Ansatz, der CNNs entwickelt, die inhärent robust sind, ohne adversarielles Training während der Suchphase.

Kernkomponenten:

Basis-Framework: NERO-Net baut auf Fast-DENSER auf, einer Erweiterung des DENSER-Algorithmus, der eine hierarchische Zwei-Ebenen-Repräsentation verwendet (äußere Ebene für die Makro-Struktur, innere Ebene für die Parametrisierung mittels Grammatik).
Fitness-Funktion ( $F_\beta$ ):
- Im Gegensatz zu herkömmlichen Ansätzen, die nur die Genauigkeit auf sauberen Daten optimieren, kombiniert NERO-Net die Clean Accuracy ( $C$ ) und die Adversarial Accuracy ( $A$ ) in einer gewichteten harmonischen Funktion.
- Formel: $F_\beta = (1 + \beta^2) \cdot \frac{C \cdot A}{C + \beta^2 \cdot A}$ .
- Der Parameter $\beta$ steuert das Gewicht der Robustheit gegenüber der reinen Genauigkeit.
- Wichtig: Während der Evolution werden die Kandidaten nur mit standardmäßigem Training (ohne adversarielle Beispiele) trainiert. Die Robustheit wird nur im Fitness-Test (via FGSM-Angriff) evaluiert. Dies stellt sicher, dass die gefundene Robustheit architektonisch bedingt ist.
Warm-up-Phase: Um die Suche zu stabilisieren, wird in den ersten Generationen nur die Clean Accuracy optimiert. Sobald ein Schwellenwert ( $\tau$ ) erreicht ist, wird die kombinierte Fitness-Funktion aktiviert.
Erweiterte Repräsentation:
- Layer-Blöcke: Statt einzelner Schichten werden Blöcke (z. B. Conv-BN-ReLU) als evolutionäre Einheiten kodiert, was die Suche nach modernen CNN-Strukturen erleichtert.
- Flexible Konnektivität: Die Einschränkung, dass jede Schicht nur mit der unmittelbar vorhergehenden verbunden sein muss, wurde aufgehoben. Dies ermöglicht Skip-Connections über mehrere Schichten hinweg (ähnlich wie bei DenseNet), was die Topologievielfalt erhöht.
- Parameter-Typen: Neue Datentypen (z. B. Potenzen von 2 oder 10) wurden eingeführt, um den Suchraum für Hyperparameter effizienter zu gestalten.
Vermeidung degenerierter Lösungen: Es gibt Mechanismen, um Modelle zu bestrafen, die instabil sind (NaN-Verluste) oder trivial nur eine Klasse vorhersagen („Robustness Trap").

3. Schlüsselergebnisse

Die Methode wurde auf dem CIFAR-10-Datensatz evaluiert, mit einem Fokus auf $L_\infty$ -Robustheit.

Evolutionäre Suche:
- Der fitteste Individuum erreichte während der Suche (nach nur 10 Minuten Training pro Kandidat) eine Clean Accuracy von 87,5 % und eine Adversarial Accuracy von 33,25 % gegen FGSM-Angriffe.
- Dies zeigt, dass die Evolution Architekturen findet, die auch ohne adversarielles Training robust sind.
Nachträgliches Training (Post-Evolution):
- Standard-Training: Bei weiterem standardmäßigen Training (350 Epochen) verbesserte sich die Clean Accuracy auf 93,5 % und die FGSM-Robustheit auf 47,9 %.
- Adversarielles Training: Nachträgliches adversarielles Training (PGD) steigerte die Robustheit gegen den starken AutoAttack (AA) auf 40,4 %.
Vergleich mit NSGA-Net:
- Das gefundene NERO-Net-Modell ist deutlich größer (26,7 Mio. Parameter vs. 3,4 Mio. bei NSGA-Net).
- Unter Standard-Training war NERO-Net robuster als NSGA-Net.
- Unter adversariellem Training lag NERO-Net bei $L_\infty$ -Angriffen leicht hinter NSGA-Net (40,4 % vs. 47,1 %), was die Autoren auf das größere Modell und nicht optimierte Trainingshyperparameter zurückführen.
Multi-Threat-Robustheit:
- Ein bemerkenswertes Ergebnis ist, dass die Architektur, die nur für $L_\infty$ optimiert wurde, auch eine signifikant höhere Robustheit gegen $L_2$ -begrenzte Störungen aufweist (70,98 % vs. 60,79 % bei NSGA-Net unter AutoAttack).

4. Hauptbeiträge

Neuroevolutionärer Rahmen: Einführung von NERO-Net, das Robustheit direkt in die Fitness-Funktion integriert, ohne adversarielles Training während der Suche.
Flexible Genotyp-Repräsentation: Erweiterung des Suchraums durch Block-basierte Kodierung und Unterstützung komplexer Skip-Connections, die über feste Zellstrukturen hinausgehen.
Nachweis inhärenter Robustheit: Demonstration, dass evolutionäre Suche Architekturen finden kann, die intrinsisch widerstandsfähig gegen Angriffe sind, unabhängig von speziellen Verteidigungsmethoden.
Transferierbarkeit: Entdeckung, dass die Optimierung für $L_\infty$ -Bedrohungen auch die Robustheit gegen $L_2$ -Bedrohungen verbessert.

5. Bedeutung und Ausblick

Das Paper zeigt, dass die Architektur selbst ein entscheidender Faktor für die adversarielle Robustheit ist und nicht nur das Training. NERO-Net beweist, dass Neuroevolution in der Lage ist, komplexe Suchräume zu navigieren und robuste CNNs zu entdecken.

Herausforderungen und Zukunft:

Der Rechenkosten der Neuroevolution bleiben hoch, besonders bei der Evaluierung der Robustheit.
Die Ergebnisse bei adversariellem Training waren nicht ganz so stark wie bei spezialisierten NAS-Modellen, was darauf hindeutet, dass die Trainingshyperparameter für die gefundenen großen Architekturen noch optimiert werden müssen.
Zukünftige Arbeiten sollen sich auf die Analyse der emergenten architektonischen Muster konzentrieren, die Robustheit fördern, sowie auf die Entwicklung von „Zero-Cost-Proxies", um die Evaluierungskosten zu senken.

Zusammenfassend bietet NERO-Net einen vielversprechenden Weg, um die Lücke zwischen automatisiertem Design und inhärenter Sicherheit von KI-Modellen zu schließen.