NAS-Driven Hardware Accelerator Exploration for Edge AI and Quantization Effects on the Pareto Space

Stellen Sie sich vor, Sie versuchen, das ultimative Robotergehirn zu bauen, aber Sie haben eine strikte Regel: Es muss in ein winziges, batteriebetriebenes Gerät wie eine Smartwatch oder eine Drohne passen. Das ist die Welt der „Edge AI“, in der künstliche Intelligenz auf kleinen Geräten lebt und nicht auf riesigen, stromhungrigen Cloud-Servern. Um dies zu ermöglichen, müssen Ingenieure ein kniffliges Rätsel lösen: Sie benötigen ein Gehirn, das klug genug ist, um Gesichter oder Geräusche zu erkennen, aber klein und schnell genug, um zu laufen, ohne den Akku in Minuten zu entladen.

Um das perfekte Gehirndesign zu finden, nutzen Wissenschaftler eine Methode namens Neural Architecture Search (NAS). Betrachten Sie dies als einen superschnellen, automatisierten Koch, der Millionen von verschiedenen Rezepten (neuronale Netzwerkdesigns) ausprobiert, um das eine zu finden, das am besten schmeckt (höchste Genauigkeit), während es die wenigsten Zutaten (Rechenleistung) verbraucht. Normalerweise kochen diese Köche mit „Full-Precision“-Zutaten, was so ist, als würde man mit exakten, schweren Maßen arbeiten. Aber für winzige Gadgets müssen Sie zu „Quantisierung“ wechseln, was so ist, als würde man zu kleineren, leichteren Messbechern wechseln (weniger Bits verwenden, um Zahlen darzustellen). Die große Frage ist: Wenn man die Messbecher ändert, schmeckt das Rezept, das in der Küche perfekt aussah, auf der Straße immer noch gleich? Dieses Paper taucht genau in diese Frage ein und untersucht, wie die Änderung des Messsystems die Suche nach dem besten Robotergehirn beeinflusst und wie man dieses Gehirn auf einen speziellen, rekonfigurierbaren Chip bringt.

---

Die dreistufige Reise zu einem winzigen Gehirn

Die Autoren dieses Papers schlagen eine clevere, dreistufige Pipeline vor, um das Problem der Anpassung von KI an die Hardware zu lösen. Sie nennen es einen „NAS-then-quantized“-Ansatz, was ein wenig so ist, als würde man zuerst ein Auto am Computer entwerfen, dann testen, wie es sich auf einer holprigen Schotterstraße schlägt, und schließlich den Motor passend zum Gelände bauen.

Stufe 1: Das hardwareunabhängige Frontend
Zuerst verwendet das Team ein „Surrogatmodell“ – einen smarten Prädiktor, der errät, wie gut ein Design ist, ohne es tatsächlich zu bauen. Sie trainieren diesen Prädiktor auf einer massiven Bibliothek von 15.625 verschiedenen neuronalen Netzwerkdesigns (aus einem Datensatz namens NAS-Bench-201). Diese Stufe ist „hardwareagnostisch“, was bedeutet, dass es das spezifische Chip-Setup noch nicht berücksichtigt; es sucht lediglich nach den besten Designs basierend auf der Genauigkeit und der Anzahl der mathematischen Operationen (FLOPs), die sie benötigen. Sie verwenden zwei Suchstrategien: eine einfache „Random Search“ (das zufällige Auswählen von Designs) und einen „Multi-Objective Evolutionary Algorithm“ (der die natürliche Selektion nachahmt, um bessere Designs zu entwickeln). Nach dieser Stufe haben sie eine Shortlist von zehn Top-Kandidaten.

Stufe 2: Die Quantisierungsbrücke
Als Nächstes folgt der Realitätscheck. Das Team nimmt diese zehn Top-Kandidaten und schrumpft sie mittels einer Technik namens Post-Training Quantization (PTQ) zusammen, indem sie speziell zu INT4 wechseln (also nur 4 Bits pro Zahl statt der üblichen 32). Dies ist vergleichbar damit, ein hochauflösendes Foto zu komprimieren, um es auf einem alten Telefon unterzubringen. Sie verwenden dafür ein Tool namens Brevitas.

Hier wird es interessant. Wenn sie die Modelle komprimieren, können einige Designs, die in der ersten Stufe großartig aussah, scheitern oder schlechter werden. Die „Quantisierungsbrücke“ fungt als Filter. Sie ordnet die Designs neu, basierend darauf, wie gut sie die Kompression überleben. Wenn ein Design auseinanderfällt, wird es aussortiert. Wenn kein Design überlebt, kehrt das System zu Stufe 1 zurück, um es erneut zu versuchen. Sie entschieden sich für INT4, weil sie – obwohl es sehr aggressiv ist – feststellten, dass die Modelle mit nur ein wenig zusätzlichem Training (nur zwei Epochen) ihre Genauigkeit signifikant wiederherstellen konnten, wobei sie von einem Tiefpunkt von 9,49 % auf bis zu 83,53 % sprangen, was beweist, dass die ursprünglichen Modellinformationen weitgehend erhalten blieben.

Stufe 3: Das hardwarebewusste Backend
Schließlich benötigen die überlebenden Designs ein Zuhause. Das Team bildet diese komprimierten Gehirne auf einen speziellen Typ von Hardware ab, einen CGRA (Coarse-Grained Reconfigurable Array). Stellen Sie sich einen CGRA wie ein Lego-Board vor, bei dem man die Blöcke umordnen kann, um jede beliebige Form zu bilden. Sie verwenden einen evolutionären Algorithmus, um verschiedene Wege der Hardware-Anordnung zu erforschen (Änderung der Anzahl der Recheneinheiten, der Speichertiefe und der Datenpfade). Sie bauen keinen physischen Chip; stattdessen nutzen sie einen „free analytical oracle“ – einen mathematischen Simulator – um vorherzusagen, wie schnell und effizient jede Anordnung wäre. Sie wählen die Konfiguration, die die Verzögerung minimiert und die Nutzung der Hardwareressourcen maximiert.

Die große Überraschase: Werfen Sie die alte Karte nicht weg

Die spannendste Entdeckung in diesem Paper ist nicht nur die dreistufige Pipeline; es ist das, was sie über die Beziehung zwischen der „Full-Precision“-Welt und der „komprimierten“ Welt gelernt haben.

Normalerweise, wenn man ein Modell komprimiert, könnte man denken, dass man die Suche von Grund auf neu beginnen muss, indem man einen neuen Prädiktor speziell für die komprimierte (INT4)-Welt trainiert. Die Autoren testeten diese Idee. Sie verglichen zwei Ansätze:

1. Der dedizierte INT4-Surrogat: Ein Prädiktor, der speziell auf komprimierten Daten trainiert wurde.
2. Der FP32 Zero-Shot-Surrogat: Ein Prädiktor, der auf den ursprünglichen Full-Precision-Daten trainiert wurde, den sie dann nutzten, um die Leistung der komprimierten Modelle vorherzusagen, ohne ihn neu zu trainieren.

Die Ergebnisse waren überraschend. In Simulationen schnitt der FP32 Zero-Shot-Surrogat tatsächlich besser ab als der dedizierte INT4-Surrogat. Als sie ihre Suchstrategien ausführten, fand der FP32-Prädiktor Designs, die eine breitere Palette der bestmöglichen Trade-offs (den „Pareto-Raum“) abdeckten als der INT4-spezifische Prädiktor.

Warum? Die Autoren vermuten, dass die Full-Precision-Daten „sauberer“ und weniger verrauscht sind. Selbst wenn die komprimierte Welt anders ist, bleibt die Rangfolge, welche Designs „gut“ und welche „schlecht“ sind, überraschend ähnlich. Das Paper stellt fest, dass sich zwar die genaue Reihenfolge der Designs ändert (in etwa 21 % der Fälle wird ein Design, das in Full Precision besser war, nach der Kompression schlechter), die allgemeine Struktur der „besten“ Designs jedoch stabil genug bleibt, dass die alte Karte (der FP32-Prädiktor) immer noch ein zuverlässiger Wegweiser ist.

Die Stabilität des Puzzles

Das Team hat nicht nur geraten; sie haben das Chaos gemessen. Sie untersuchten alle 15.625 Architekturen, um zu sehen, wie stark sich die „Pareto-Front“ (die Liste der absolut besten Designs) verschob, wenn sie zu INT4 wechselten.

• Die Verschiebung: Die Liste der Top-Designs organisierte sich komplett neu. Keines der ursprünglichen Top-Designs überlebte als Top-Design in der komprimierten Welt.
• Der Flip: In etwa 21,73 % der Fälle kehrte sich die Beziehung zwischen zwei Designs um (Design A war in Full Precision besser als Design B, aber Design B wurde nach der Kompression besser).
• Die Korrelation: Trotz dieses Chaos war die allgemeine Rangkorrelation mit 0,6655 immer noch moderat, was bedeutet, dass die allgemeine „Form“ der guten Designs bewahrt wurde.

Sie fanden auch heraus, dass kleinere, einfachere Modelle (solche mit weniger mathematischen Operationen) viel empfindlicher auf die Kompression reagierten und oft an Genauigkeit verloren. Größere, komplexere Modelle waren überraschend robust, wahrscheinlich weil ihre Struktur die durch die kleineren Zahlen eingeführten Fehler natürlich glättet.

Die Hardware-Ergebnisse

Schließlich nahmen sie drei ihrer besten überlebenden Designs und bildeten sie auf die CGRA-Hardware ab. Sie fanden heraus, dass sie trotz der unterschiedlichen Designs alle zur exakt gleichen optimalen Hardware-Konfiguration konvergierten: einem Gitter aus 16 Reihen und 66 Spalten von Recheneinheiten mit einer spezifischen Speichertiefe. Dies deutet darauf hin, dass der „Sweet Spot“ der Hardware für diese Art von Aufgabe recht konsistent ist, unabhängig vom spezifischen neuronalen Netzwerkdesign, solange das Design ähnliche Bausteine verwendet.

Fazit

Dieses Paper legt nahe, dass wir das Rad nicht jedes Mal neu erfinden müssen, wenn wir ein KI-Modell für ein winziges Gerät verkleinern wollen. Indem wir einen dreistufigen Prozess nutzen – die besten Designs in Full Precision finden, sie durch einen Kompressionstest filtern und sie dann auf flexible Hardware abbilden –, können wir effizient das perfekte Gleichgewicht zwischen Genauigkeit und Größe finden. Am wichtigsten ist jedoch, dass wir unseren Full-Precision-Suchwerkzeugen vertrauen können, um uns selbst in der komprimierten Welt zu leiten, was Zeit und Aufwand spart bei dem Bestreben, leistungsstarke KI in unsere Taschen zu bringen.