SEval-NAS: A Search-Agnostic Evaluation for Neural Architecture Search

Die Arbeit stellt SEval-NAS vor, einen suchagnostischen Evaluierungsmechanismus, der Architekturen in Vektoren umwandelt, um Hardware-Kosten wie Latenz und Speicherbedarf präzise vorherzusagen und so die Integration neuer Metriken in NAS-Verfahren wie FreeREA zu ermöglichen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Architekt, der versuchen soll, das perfekte Haus zu bauen. Aber anstatt selbst zu planen, lassen Sie einen Roboter Millionen von verschiedenen Hausentwürfen durchprobieren. Das ist im Grunde das, was Neural Architecture Search (NAS) in der künstlichen Intelligenz macht: Ein Algorithmus sucht automatisch nach der besten Struktur für ein neuronales Netzwerk (eine Art "Gehirn" für Computer).

Das Problem dabei ist wie beim Bauen eines Hauses: Um zu wissen, ob ein Entwurf gut ist, muss man ihn oft erst wirklich bauen und bewohnen (also trainieren). Das kostet aber extrem viel Zeit, Strom und Geld.

Hier kommt SEval-NAS ins Spiel, die Lösung, die in diesem Papier vorgestellt wird.

Die Idee: Der "Blaupausen-Scanner"

Stellen Sie sich vor, Sie müssten nicht jedes Haus wirklich bauen, um zu wissen, wie lange es dauert, es zu errichten (Latenz) oder wie viel Baumaterial es braucht (Speicherbedarf). Stattdessen hätten Sie einen magischen Scanner.

1. Der Scan (Netzwerk zu Text):
   Der Scanner nimmt den komplexen Bauplan eines Hauses (das neuronale Netzwerk) und verwandelt ihn in eine einfache Textliste.

   • Analogie: Statt den ganzen Hausplan zu studieren, wandelt der Scanner ihn in eine Einkaufsliste um: "100 Ziegelsteine, 50 Fenster, 3 Türen, Beton für das Fundament".
   • Der Scanner liest den "Gehirn-Plan" des Computers und schreibt einfach auf, welche Bauteile (Operationen) wo stehen.

2. Der Experte (Der Vorhersager):
   Diese Textliste wird einem erfahrenen Baumeister (einem KI-Modell namens Evaluator) vorgelegt. Dieser Experte hat schon Tausende von ähnlichen Listen gesehen.

   • Analogie: Der Experte liest die Liste "100 Ziegelsteine, 50 Fenster" und sagt sofort: "Aha! Mit dieser Menge wird das Haus etwa 2 Tage dauern zu bauen und kostet 50.000 Euro."
   • Er muss das Haus nicht bauen, er weiß es einfach basierend auf der Liste.

Warum ist das so cool?

Bisher waren diese "Experten" oft stur. Wenn man einen neuen Baustoff (eine neue Metrik) einführen wollte, musste man den ganzen Such-Prozess neu programmieren. Das war wie ein Roboter, der nur Häuser aus Holz bauen kann und bei Stein komplett versagt.

SEval-NAS ist anders:

• Es ist universell: Der Scanner kann jeden Bauplan lesen, egal ob es ein Hochhaus oder eine Hütte ist.
• Es ist flexibel: Sie können dem Experten sagen: "Hey, sag mir nicht nur die Bauzeit, sondern auch den Stromverbrauch!" Und der Experte lernt das schnell dazu, ohne dass man den Roboter umbauen muss.

Was haben die Forscher getestet?

Sie haben ihren Scanner an zwei großen Baustellen getestet:

1. NATS-Bench: Hier ging es darum, wie gut die Vorhersagen für Bauzeit (Latenz) und Materialkosten (Speicher) waren.
   • Ergebnis: Der Scanner war bei Bauzeit und Material fast perfekt! Er konnte genau vorhersagen, wie schnell und wie "schwer" ein Netzwerk sein würde. Bei der reinen "Schönheit" des Hauses (der Genauigkeit/Genauigkeit der KI) war er etwas weniger sicher, aber immer noch gut.
2. HW-NAS-Bench: Hier testeten sie, ob der Scanner auch für verschiedene Geräte funktioniert (wie ein kleiner Raspberry Pi oder eine starke Grafikkarte).
   • Ergebnis: Ja! Der Scanner konnte vorhersagen, wie schnell ein Netzwerk auf einem Handy oder einem speziellen Chip laufen würde.

Das große Fazit

Stellen Sie sich vor, Sie suchen nach dem perfekten Auto für eine Reise. Früher mussten Sie jedes Auto kaufen, tanken und eine Runde fahren, um zu sehen, wie viel Benzin es verbraucht. Das war teuer und langsam.

Mit SEval-NAS können Sie einfach den Motor und die Karosserie beschreiben (die "Textliste"). Ein Experte sagt Ihnen dann sofort: "Dieses Auto verbraucht 5 Liter auf 100 km und passt in Ihre Garage."

Warum ist das wichtig?

• Zeitersparnis: Man muss keine Millionen von Netzwerken mehr wirklich trainieren.
• Hardware-Freundlichkeit: Man kann Netzwerke finden, die speziell für kleine, energieeffiziente Geräte (wie Smartphones oder Drohnen) geeignet sind, ohne diese Geräte physisch zu besitzen.
• Einfache Integration: Man kann diesen Scanner in fast jede bestehende Suchmaschine für KI-Netzwerke einbauen, ohne alles umzukrempeln.

Zusammengefasst: SEval-NAS ist wie ein Kristallkugel-Scanner für KI-Architekten. Er spart enorme Mengen an Zeit und Energie, indem er die Eigenschaften von KI-Modellen vorhersagt, bevor sie überhaupt fertig gebaut sind.

Technische Zusammenfassung

1. Problemstellung

Das Neural Architecture Search (NAS) automatisiert die Entwicklung neuronaler Netze, stößt jedoch bei der Evaluierung von Kandidatenarchitekturen auf erhebliche Herausforderungen:

• Hohe Rechenkosten: Traditionelle NAS-Methoden erfordern oft das vollständige Training und Testen jeder Kandidatenarchitektur, was zu extrem hohen GPU-Stunden führt (z. B. 22.400 Stunden in früheren Arbeiten).
• Starre Evaluierung: Die Evaluierungsverfahren sind häufig fest im Suchalgorithmus kodiert („hardcoded"). Dies erschwert die Einführung neuer Metriken, insbesondere bei hardwarebewusstem NAS (HW-NAS), wo Ziele wie Latenz oder Speicherverbrauch auf spezifischen Endgeräten (Edge Devices) entscheidend sind.
• Mangelnde Flexibilität: Bestehende Methoden sind oft auf Genauigkeit (Accuracy) spezialisiert oder benötigen separate, einzweckige Kosten-Schätzer für Hardware-Metriken, was die Systemkomplexität erhöht.

Es besteht daher ein Bedarf an einer suchalgorithmus-unabhängigen (search-agnostic) Evaluierungsmethode, die flexibel neue Metriken integrieren kann, ohne den Suchprozess neu zu designen.

2. Methodik: SEval-NAS

Die Autoren schlagen SEval-NAS vor, einen Evaluierungsmechanismus, der Architekturen in String-Repräsentationen umwandelt und diese mittels eines neuronalen Netzwerks in Leistungsmetriken vorhersagt. Der Ansatz besteht aus zwei Hauptkomponenten:

A. Umwandlung von Netzwerk zu String (Network-to-String Conversion)

• Prozess: Jede neuronale Architektur wird durch Traversierung ihres Autograd-Graphen (während eines Vorwärtsdurchlaufs mit zufälligen Eingabedaten) analysiert.
• String-Generierung: Der Graph wird in eine standardisierte Zeichenkette umgewandelt, die Operationen (z. B. Convolution, ReLU), deren Parameter und die Verbindungsstruktur kodiert.
• Tokenisierung: Die Zeichenkette wird in eine Sequenz von Tokens zerlegt, die als universelle Repräsentation für diverse NAS-Aufgaben dient.

B. Der Evaluator (Encoder-Predictor-Netzwerk)

• Encoder: Ein Transformer-basiertes Modell (basierend auf T5) verarbeitet die Token-Sequenz und erzeugt hochdimensionale Vektor-Embeddings, die die strukturellen Abhängigkeiten der Architektur erfassen.
• Predictor: Ein vollvernetztes neuronales Netz (Regression Head) mappt die Embeddings auf die Zielmetriken (z. B. Genauigkeit, Latenz, Speicherverbrauch).
• Training: Das Modell wird auf bestehenden NAS-Benchmarks trainiert, um die Diskrepanz zwischen vorhergesagten und tatsächlichen Metriken (mittels Mean Squared Error) zu minimieren.
• Integration: Der Evaluator kann als „Plug-and-Play"-Modul in bestehende NAS-Pipelines (z. B. FreeREA) integriert werden, um Kandidaten basierend auf vorhergesagten Metriken zu rangieren, ohne den Suchalgorithmus selbst signifikant zu ändern.

3. Wichtige Beiträge

1. Universelle String-Konvertierung: Ein Mechanismus, der den Autograd-Graphen beliebiger neuronaler Netze traversiert und in eine textuelle Repräsentation überführt, was die Anpassung an alle NN-Typen ermöglicht.
2. Flexibler Evaluator: Ein Encoder-Predictor-System, das beliebige Evaluierungsmetriken (insbesondere Hardware-Kosten) und eine beliebige Anzahl von Zielen (Single- oder Multi-Objective) unterstützen kann.
3. Suchalgorithmus-Unabhängigkeit: SEval-NAS ist modular und kann in bestehende NAS-Methoden integriert werden, ohne den Kern des Suchalgorithmus neu zu erfinden.
4. Umfassende Abtaststudie: Evaluation verschiedener T5-Modelle (Small, Base, Large) zur Analyse des Einflusses der Modellgröße auf die Vorhersagegenauigkeit.

4. Ergebnisse und Experimente

Die Autoren evaluierten SEval-NAS auf den Benchmarks NATS-Bench und HW-NAS-Bench sowie in einer Integration mit dem Algorithmus FreeREA.

• Korrelationen (Kendall's $\tau$):
  • Hardware-Metriken: Die Vorhersagen für Latenz und Speicherverbrauch zeigten starke positive Korrelationen mit den tatsächlichen Werten (oft $\tau > 0.8$ bis $0.97$ auf verschiedenen Edge-Geräten wie Edge GPU, TPU, FPGA).
  • Genauigkeit (Accuracy): Die Vorhersage der Genauigkeit war deutlich schwächer korreliert. Dies deutet darauf hin, dass strukturelle Merkmale allein weniger zuverlässig für die Genauigkeit als für Hardware-Kosten sind.
• Hardware-Vielfalt: Auf HW-NAS-Bench konnte SEval-NAS die Latenz über sechs verschiedene Edge-Geräte hinweg erfolgreich vorhersagen. Lediglich beim Edge TPU traten aufgrund negativer Latenzwerte im Datensatz Abweichungen auf.
• Modellgröße (Ablation):
  • Auf NATS-Bench zeigten kleinere Modelle (T5-Small) oft bessere oder gleichwertige Ergebnisse als größere Modelle (T5-Large), insbesondere im Size Search Space (SSS).
  • Auf HW-NAS-Bench verbesserten größere Modelle (T5-Base/Large) die Latenz-Korrelation auf Edge GPUs leicht, erhöhten jedoch die Inferenzzeit.
• Integration in FreeREA:
  • Die Integration von SEval-NAS in FreeREA ermöglichte es, Suchen unter Latenz- oder Speicherbeschränkungen durchzuführen.
  • Die Suchzeit stieg nur minimal an (die Inferenz des Evaluators ist schnell im Vergleich zum Training), und die algorithmischen Änderungen waren minimal.
  • Die Methode konnte erfolgreich Architekturen rangieren, die für spezifische Hardware-Einschränkungen geeignet sind.

5. Bedeutung und Fazit

SEval-NAS adressiert eine kritische Lücke im NAS-Bereich, indem es eine flexible, suchalgorithmus-unabhängige Evaluierung für Hardware-Kosten bietet.

• Praktischer Nutzen: Es ermöglicht die einfache Erweiterung von NAS-Pipelines um neue Hardware-Metriken (z. B. für Edge-Computing), ohne den Suchalgorithmus neu zu entwickeln.
• Effizienz: Durch die Vorhersage von Latenz und Speicher ohne vollständiges Training reduziert es den Suchaufwand erheblich.
• Limitationen: Die Vorhersage der Genauigkeit bleibt eine Herausforderung, und die Ergebnisse basieren auf Benchmark-Daten, die sich von echten Geräteläufen unterscheiden können.

Zukunftsausblick: Die Autoren planen, SEval-NAS direkt auf Endgeräten („on-device") einzusetzen, um Echtzeit-Evaluierungen zu ermöglichen, und die Auswirkungen verschiedener Schwellenwerte auf die Suchdynamik weiter zu untersuchen.

Der Code ist unter https://github.com/Analytics-Everywhere-Lab/neural-architecture-search verfügbar.