HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search

Dieser Beitrag stellt HERCULES vor, ein neues Framework und eine neue Taxonomie für die Suche nach neuronalen Architekturen, die die kritischen Ziele der Hardwareeffizienz, Robustheit und des kontinuierlichen Lernens vereint, um die Entwicklung einsetzbarer KI-Systeme für lebenslanges Lernen zu leiten.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Architekt, der beauftragt ist, ein Haus zu bauen. Lange Zeit war das Einzige, was zählte, dass das Haus gut aussah (hohe Genauigkeit). Doch als wir begannen, diese „Häuser" (KI-Modelle) aus den Bauplänen in die reale Welt zu bringen, stellten wir fest, dass ein gutes Aussehen nicht ausreichte.

Diese Arbeit mit dem Titel HERCULES argumentiert, dass man für den Bau eines wirklich erfolgreichen KI-Hauses drei schwierige Ziele gleichzeitig in Einklang bringen muss:

1. Effizienz: Das Haus muss klein genug sein, um auf einem winzigen, batteriebetriebenen Gerät (wie einer Smartwatch oder einem Sensor) Platz zu finden, und dabei sehr wenig Energie verbrauchen.
2. Robustheit: Das Haus muss stabil genug sein, um Stürmen, Erdbeben oder sogar Versuchen standzuhalten, es zu durchbrechen (adversariale Angriffe oder Hardware-Rauschen).
3. Kontinuierliches Lernen: Das Haus muss in der Lage sein, im Laufe der Zeit zu wachsen und sich zu verändern. Wenn ein neues Familienmitglied einzieht (eine neue Aufgabe), sollte das Haus sich erweitern, um Platz zu schaffen, ohne dass die alten Räume einstürzen (Vergessen des vorherigen Wissens).

Das Problem: Der „Silos"-Ansatz

Die Autoren weisen darauf hin, dass aktuelle KI-Forscher normalerweise Häuser bauen, bei denen sie sich nur auf eines dieser Dinge konzentrieren.

• Manche bauen winzige Häuser, die energieeffizient sind, aber bei einem Sturm auseinanderfallen.
• Manche bauen festungsartige Häuser, die super stabil sind, aber zu schwer, um sie zu bewegen.
• Manche bauen Häuser, die leicht neue Räume hinzufügen können, aber so groß sind, dass sie die Batterie sofort entleeren.

Die Arbeit behauptet, dass man in der realen Welt ein Haus braucht, das alle drei gleichzeitig leistet.

Die Lösung: Das HERCULES-Framework

Die Autoren schlagen ein neues Framework namens HERCULES (Hardware-Efficient, Robust, and Continual LEarning Search) vor. Sie nennen es nach dem griechischen Helden Herkules, weil die Aufgabe, wie bei dem Helden, eine „überwältigende" ist.

Stellen Sie sich HERCULES als einen Meisterarchitekten vor, der nicht nur einen statischen Bauplan zeichnet. Stattdessen entwirft dieser Architekt ein „lebendiges" Haus mit zwei besonderen Merkmalen:

1. Der „intelligente Schalter" (Dynamische Adaptivität):
   Stellen Sie sich ein Haus mit einer intelligenten Beleuchtungsanlage vor. Wenn Sie nur durch den Flur gehen, sind die Lichter gedimmt (Energieeinsparung). Aber wenn Sie ein komplexes Essen zubereiten, leuchten die Lichter hell auf (mehr Leistung für bessere Ergebnisse).

   • In der Arbeit: Dies wird als Dynamisches Neuronales Netz bezeichnet. Die KI kann wählen, ob sie für einfache Aufgaben einen „schnellen Schätzwert" liefert (Energie sparen) oder für schwierige Aufgaben einen „tiefen Einblick" (Gewährleistung der Genauigkeit). Sie kann auch ihre interne Verkabelung umleiten, wenn die Hardware Anzeichen von Störungen zeigt.

2. Die „modulare Erweiterung" (Kontinuierliches Lernen):
   Stellen Sie sich ein Haus mit einem magischen Fundament vor. Wenn ein neues Familienmitglied ankommt, kann das Haus sanft einen neuen Flügel hinzufügen, ohne das alte abzureißen.

   • In der Arbeit: Dies löst das Problem des „katastrophalen Vergessens". Die KI lernt neue Aufgaben, indem sie ihre Struktur leicht erweitert, anstatt ihre alten Erinnerungen zu überschreiben.

Die „zwölf Arbeiten" von HERCULES

Genau wie Herkules zwölf unmögliche Aufgaben erfüllen musste, sagen die Autoren, dass der Bau dieses perfekten KI-Systems die Bewältigung von 12 spezifischen Herausforderungen (oder „Arbeiten") erfordert. Hier sind einige der wichtigsten, in alltäglichen Begriffen übersetzt:

• Arbeit 1: Der Realitäts-Test (Co-Design von Hardware und Software).
  Berechnen Sie nicht nur auf dem Papier, wie viele Steine Sie benötigen. Sie müssen das Haus auf dem tatsächlichen Gelände testen, auf dem es stehen wird. Das KI-Design muss die spezifischen Eigenheiten des Chips berücksichtigen, auf dem es laufen wird.
• Arbeit 2: Der Sturm-Test (Skalierbare Robustheit).
  Sie können nicht auf einen Hurrikan warten, um zu testen, ob Ihr Haus sicher ist. Sie benötigen eine Möglichkeit, Stürme schnell während der Designphase zu simulieren, um sicherzustellen, dass das Haus nicht einstürzt.
• Arbeit 3: Der Balanceakt (Plastizität vs. Stabilität).
  Dies ist der schwierigste Teil. Sie wollen, dass das Haus flexibel genug ist, um einen neuen Raum hinzuzufügen (Plastizität), aber stabil genug, damit der neue Raum das Fundament nicht aufreißt (Stabilität). Das Framework muss die perfekte Balance finden.
• Arbeit 12: Die Langzeitperspektive (Lebenszyklus-Nachhaltigkeit).
  Die meisten KI-Systeme werden „eingesetzt und vergessen". HERCULES fragt: „Was passiert in 5 Jahren, wenn die Hardware alt wird oder sich die Daten ändern?" Das Design muss für die lange Dauer nachhaltig sein, nicht nur für den ersten Tag.

Warum dies wichtig ist

Die Arbeit kommt zu dem Schluss, dass wir uns nicht länger auf separate Tools für Effizienz, Stärke und Wachstum verlassen können. Wir brauchen einen einheitlichen Ansatz.

HERCULES ist der Fahrplan für den Bau von KI, die:

• Leichtgewichtig genug ist, um auf Ihrem Telefon oder einem Sensor zu laufen.
• Robust genug ist, um schlechte Daten oder Hardwarefehler zu bewältigen.
• Anpassungsfähig genug ist, um für immer neue Dinge zu lernen, ohne das Alte zu vergessen.

Es ist ein Aufruf, aufhören, „statische" KI zu bauen, und beginnen, „lebendige" KI zu bauen, die in der chaotischen, sich verändernden und ressourcenhungrigen realen Welt überleben kann.

Technische Zusammenfassung

Technische Zusammenfassung: HERCULES – Hardware-effiziente, robuste, kontinuierliche Lernende Neuronale Architektursuche

1. Problemstellung

Die Neuronale Architektursuche (NAS) hat sich traditionell auf die Optimierung des Kompromisses zwischen Genauigkeit und Hardware-Effizienz (z. B. Latenz, Speicher, Energie) konzentriert. Da sich KI-Systeme jedoch von statischen Benchmarks hin zum Einsatz in der realen Welt entwickeln, ist dieser duale Fokus unzureichend. Moderne KI-Anwendungen stehen vor drei orthogonalen, jedoch miteinander verknüpften Herausforderungen:

1. Effizienz: Die Notwendigkeit, innerhalb strenger Ressourcenbeschränkungen (Energie, Speicher, Rechenleistung) auf Edge-Geräten zu operieren.
2. Robustheit: Die Anforderung, die Zuverlässigkeit unter Umweltvariabilitäten aufrechtzuerhalten, einschließlich adversarialer Störungen, hardwarebedingter Rauschsignale (z. B. Leitfähigkeitsdrift in neuartigen Speichern) und Verteilungsverschiebungen.
3. Kontinuierliches Lernen (CL): Die Fähigkeit, sich an sequenzielle Aufgaben anzupassen, ohne katastrophales Vergessen, unter Ausbalancierung von Plastizität (Lernen neuen Wissens) und Stabilität (Beibehalten alten Wissens).

Die aktuelle NAS-Literatur behandelt diese Ziele weitgehend isoliert. Es existieren Übersichten für hardwarebewusste NAS, robuste NAS oder NAS für kontinuierliches Lernen, doch keine bietet eine vereinheitlichte Perspektive, die alle drei als gleich fundamental betrachtet. Darüber hinaus berücksichtigen bestehende Lösungen oft nicht die dynamische Natur des Einsatzes in der realen Welt, bei der Modelle sich an sich ändernde Datenströme und Hardware-Degradation im Laufe der Zeit anpassen müssen. Die zentrale Forschungsfrage lautet: Ist es möglich, die Gestaltung neuronaler Netzarchitekturen zu automatisieren, die unter Hardware-Rauschen und Datenverschiebungen eine zuverlässige Leistung aufrechterhalten, während strenge Energiebudgets und sich entwickelnde Aufgabenanforderungen respektiert werden?

2. Methodik und Taxonomie

Der Artikel schlägt eine umfassende Taxonomie von NAS-Ansätzen durch die „drei Linsen" von Effizienz, Robustheit und kontinuierlichem Lernen vor. Er kategorisiert bestehende Methoden in drei Hauptpfeiler und analysiert deren Schnittstellen:

A. Effizienz (Hardware-bewusste NAS)

Die Übersicht rezensiert Methoden zur Optimierung für ressourcenbeschränkte Umgebungen, kategorisiert in:

• Modellkompression: Integration von Pruning, Quantisierung und Architekturskalierung direkt in die Suchschleife (z. B. MSuNAS, CNAS, APQ).
• Dynamische neuronale Netze: Architekturen, die die Berechnung an die Eingabekomplexität anpassen, wie Early-Exit-Netzwerke (EENNs), Mixture-of-Experts (MoE) und Multi-Branch-Netzwerke (z. B. EExNAS, HADAS, InstaNAS).
• Hardware-Software-Co-Design: Gemeinsame Optimierung neuronaler Architekturen und Beschleunigerparameter (z. B. FPGA/ASIC-Konfigurationen, Datenflüsse), um Pareto-optimale Lösungen zu erreichen, die durch die Fixierung einer der beiden Seiten nicht erreichbar sind (z. B. Codesign-NAS, DNA, NACIM).

B. Robustheit

Der Artikel kategorisiert robustheitsbewusste NAS in fünf Störungsquellen:

• Flachheits-Optimierung: Suche nach flachen Minima im Verlustlandschaftsprofil zur Verbesserung der Generalisierung und Stabilität (z. B. R-DARTS, GeNAS, A2M).
• Adversarial Robustheit: Optimierung gegen absichtliche Störungen unter Verwendung von Techniken wie adversarialem Training und Lipschitz-Regularisierung (z. B. ADVRUSH, RNAS, WsrNAS).
• Hardware-Rausch-Robustheit: Adressierung von Nicht-Idealitäten in In-Memory-Computing-Geräten (IMC) wie RRAM und PCM, einschließlich Leitfähigkeitsdrift und stochastischem Schalten (z. B. CMQ, UAE, AnalogNAS).
• Ressourcenverschiebungs-Robustheit: Anpassung an dynamische Energieverfügbarkeit (z. B. Szenarien der Energiegewinnung).
• Multimodale Robustheit: Sicherstellung der Stabilität über verschiedene Modalitäten und Domänenverschiebungen hinweg (z. B. NAS-OOD, MFAS, Harmonic-NAS).

C. Kontinuierliches Lernen

Die Übersicht identifiziert, dass nur wenige NAS-Arbeiten CL isoliert optimieren. Die meisten CL-fokussierten NAS-Methoden werden im Kontext der gemeinsamen Optimierung mit Effizienz rezensiert. Wichtige Ansätze umfassen:

• Erweiterungsbasiert: Dynamisches Wachstum der Netzwerkbreite oder -tiefe mit dem Eintreffen neuer Aufgaben (z. B. Continual NAS, CLEAS, BNS).
• Regularisierungsbasiert: Verwendung von Strafen, um zu verhindern, dass Gewichtsaktualisierungen frühere Aufgaben beeinträchtigen (z. B. REC).
• Distillationsbasiert: Übertragung von Wissen von alten auf neue Modelle.

D. Die Lücke

Der Artikel hebt kritische Schwächen bestehender Lösungen hervor:

• Statische Sicht: Die meisten hardwarebewussten NAS gehen von einer statischen, rauschfreien Umgebung aus und versäumen es, Hardware-Degradation oder Verteilungsverschiebungen im Laufe der Zeit vorherzusehen.
• Zeitliche Blindheit: Robustheitsfokussierte NAS ignoriert oft die Notwendigkeit von Anpassungsfähigkeit und erstellt Modelle, die robust, aber starr sind (unfähig, neue Aufgaben zu lernen).
• Hardware-Overhead: Robuste Architekturen verursachen oft erheblichen Parameter-Overhead, was sie für TinyML-Budgets ungeeignet macht.
• Isolation: Effizienz, Robustheit und CL werden selten gemeinsam optimiert, was zu suboptimalen Kompromissen für den Einsatz in der realen Welt führt.

3. Hauptbeiträge: Das HERCULES-Framework

Um diese Lücken zu schließen, schlagen die Autoren HERCULES (Hardware-Efficient, Robust, and Continual LEarning Search) vor, ein neues Framework und eine Taxonomie für die NAS der nächsten Generation.

Framework-Architektur

HERCULES erweitert die traditionelle NAS durch Einführung eines Arch-Adapter-Moduls, das Basisarchitekturen (aus dem Suchraum $\Gamma_x$) mit dynamischen Fähigkeiten (aus dem Konfigurationsraum $\Gamma_\theta$) anreichert und einen verfeinerten Suchraum $\Gamma_{\tilde{x}}$ schafft.

• Eingaben: Datensätze, Architektursätze, Hyperparameter für dynamisches Verhalten, Evaluierungsparameter, Vorinformationen (z. B. Hardware-Rauschprofile, Energiegewinnungsmuster) und Beschränkungen.
• Ausgabe: Eine Menge von Pareto-optimalen neuronalen Netzen, die entweder statisch oder dynamisch sind (mit Laufzeit-Anpassungsfähigkeit).
• Optimierungsziel: Eine eingeschränkte Mehrziel-Funktion, die eine Kostenfunktion $G$ minimiert, welche ausbalanciert:
  • $F_A(\tilde{x})$: Genauigkeit (oder durchschnittliche inkrementelle Genauigkeit $F_{AIA}$ für CL).
  • $F_C(\tilde{x})$: Ressourcenkosten (Latenz, Energie, Speicher).
  • $F_R(\tilde{x}, \rho, \Delta)$: Robustheit gegen verschiedene Umweltstörungen.

Die zwölf Arbeiten von HERCULES

Der Artikel definiert zwölf technische Herausforderungen (Wunschvorstellungen), die erforderlich sind, um einsetzbare KI-Systeme für lebenslanges Lernen zu realisieren:

1. Hardware-Software-Co-Design: Integration von NAS mit Compilern und Laufzeitsystemen für tatsächliche Leistung.
2. Skalierbare Robustheitsschätzung: Effiziente Schätzung von Robustheitsmetriken ohne prohibitiven Overhead.
3. Ausbalancierung von Plastizität und Stabilität: Explizite Optimierung des Kompromisses zwischen dem Erlernen neuer Aufgaben und dem Beibehalten alten Wissens.
4. Einsatztreue: Sicherstellung, dass Evaluierungen zur Suchzeit reale Betriebsbedingungen unter Verwendung von Vorinformationen getreu approximieren.
5. Zielmodellierung: Behandlung von Effizienz, Robustheit und CL als orthogonale, gleichrangige Ziele.
6. Dynamische Anpassungsfähigkeit: Optimierung sowohl statischer Motive als auch adaptiver Richtlinien zur Laufzeit.
7. Ausdrucksstarke Suchräume: Einschließung architektonischer Blöcke, die in der Lage sind, über alle drei Pfeiler hinweg zu optimieren.
8. Mehrziel-Suchstrategien: Entwicklung von Algorithmen zur Navigation der nicht-konvexen Pareto-Frontier der drei Ziele.
9. Umweltanpassung: Anpassung von Suchräumen und Strategien an spezifische Einsatzumgebungen.
10. Benchmark-Reproduzierbarkeit: Vorschlag eines einheitlichen HERCULES-Bench, der inkrementelles Lernen, OOD-Robustheit und Hardware-Variabilität kombiniert.
11. Sucheffizienz: Optimierung der Rechenkosten des NAS-Prozesses selbst.
12. Lebenszyklus-Nachhaltigkeit: Berücksichtigung langfristiger Einsatzkosten, einschließlich Neutrainierung und Wartung unter alternder Hardware.

4. Ergebnisse und Belege

Der Artikel präsentiert keine neuen experimentellen Ergebnisse aus einem neuartigen Algorithmus, sondern liefert eine umfassende Übersicht und Synthese bestehender Literatur.

• Tabellen I–VIII: Der Artikel kategorisiert und fasst systematisch über 50 NAS-Methoden über die drei Pfeiler hinweg zusammen. Er detailliert deren Ziele, Suchkosten, Datensätze und Leistungsmetriken.
• Lückenanalyse: Die Übersicht zeigt, dass, obwohl einzelne Pfeiler gut untersucht sind, eine gemeinsame Optimierung selten ist. Beispielsweise optimieren nur wenige Arbeiten CL isoliert; die meisten tun dies gemeinsam mit Effizienz. Ebenso geht Robustheit oft auf Kosten der Effizienz, und dynamische Anpassungsfähigkeit wird erst beginnend mit Robustheit und Effizienz integriert.
• Synthese: Die Analyse zeigt, dass sich das Feld der Notwendigkeit einer gemeinsamen Optimierung nähert, was die Notwendigkeit des HERCULES-Frameworks untermauert.

5. Bedeutung und Behauptungen

Der Artikel beansprucht Bedeutung als Roadmap für das Feld der Neuronale Architektursuche.

• Vereinheitlichte Perspektive: Es ist die erste Übersicht, die Effizienz, Robustheit und kontinuierliches Lernen explizit als gleich fundamentale und orthogonale Ziele behandelt und damit über die siloartige Sichtweise aktueller Forschung hinausgeht.
• Paradigmenwechsel: Er plädiert für einen Wechsel von „deploy-and-forget"-statischer NAS hin zu „lebenslang-lernender" dynamischer NAS, die Umwelt- und Zeitdynamiken berücksichtigt.
• Fundamentales Framework: Durch die Definition von HERCULES und seinen zwölf Arbeiten bietet der Artikel eine strukturierte Reihe von Wunschvorstellungen für zukünftige Forschung, die die Entwicklung wirklich einsetzbarer KI-Systeme leitet.
• Zukünftige Richtungen: Der Artikel schlägt bescheiden vor, dass, während HERCULES ein Framework für die Gestaltung dynamischer Netze bietet, zukünftige Arbeiten Anpassungsfähigkeit in den Suchprozess selbst integrieren (Dynamic NAS) und die Schleife mit echtem Hardware-Feedback schließen müssen, um „auto-evolvierende" Systeme zu erreichen.

Zusammenfassend postuliert der Artikel, dass die Zukunft des KI-Einsatzes von Architekturen abhängt, die nicht nur genau, sondern inhärent widerstandsfähig, ressourcenbewusst und fähig sind, sich parallel zu ihren Betriebsumgebungen weiterzuentwickeln. HERCULES wird als konzeptionelle und technische Grundlage vorgeschlagen, um dieses Ziel zu erreichen.