🤖 machine learning

LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models

LLMForge ist ein hardwarebewusstes Framework für die neuronale Architektursuche, das Infinite-Head Attention und ein Multi-Backend-Kostenmodell nutzt, um automatisch optimierte Sprachmodelle mit weniger als einer Milliarde Parametern zu generieren, die auf spezifische Randgerätebeschränkungen zugeschnitten sind, und damit im Vergleich zu bestehenden Baselines signifikante Verbesserungen bei der Energieeffizienz, der Latenz und der Modellgenauigkeit erzielt.

Ursprüngliche Autoren: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das perfekte, winzige Roboter-Gehirn zu bauen, das auf einem Smartphone oder einer Smartwatch laufen kann. Sie wollen, dass es intelligent genug ist, um Sprache zu verstehen, aber klein genug, um in Ihre Tasche zu passen, ohne den Akku zu entleeren oder das Telefon heiß zu machen.

Das Problem ist, dass die Standard„Baupläne" für diese Gehirne (sogenannte Transformer) für massive Supercomputer entwickelt wurden. Wenn Sie versuchen, sie für Edge-Geräte zu verkleinern, geraten sie oft in Staus, laufen aus dem Speicher oder verbrauchen zu viel Energie.

LLMForge ist ein neues Werkzeug, das von Forschern entwickelt wurde, um dieses Problem zu lösen. Stellen Sie es sich als einen superintelligenten, hardwarebewussten Architekten vor, der das Gehirn nicht nur verkleinert, sondern den Bauplan vollständig neu gestaltet, basierend auf dem spezifischen „Gelände" des Geräts, auf dem es leben wird.

So funktioniert LLMForge, aufgeteilt in drei einfache Teile:

1. Die Infinite-Head-Attention (IHA): Die Regeln brechen

Traditionelle Roboter-Gehirne haben ein starres Regelbuch. Wenn Sie die Anzahl der „Denkköpfe" (Prozessoren, die verschiedene Teile eines Satzes betrachten) erhöhen wollen, sind Sie gezwungen, jeden Kopf kleiner zu machen. Es ist wie eine Pizza: Wenn Sie sie in mehr Scheiben schneiden, wird jede Scheibe kleiner. Dies begrenzt, wie intelligent das Gehirn sein kann.

Die Innovation von LLMForge: Es wirft das starre Regelbuch weg. Mit Infinite-Head-Attention kann der Architekt die Anzahl der Scheiben, die Größe der Scheiben und die Art der Beläge unabhängig für jede einzelne Schicht des Gehirns ändern.

Die Analogie: Stellen Sie sich ein Bauunternehmen vor, das normalerweise Räume in identischen Größen bauen muss. LLMForge gibt ihnen ein magisches Werkzeug, das es ihnen erlaubt, einen winzigen Schrank neben einen riesigen Ballsaal zu bauen, dann ein mittelgroßes Büro, alles innerhalb desselben Grundrisses. Dies erweitert die Anzahl möglicher Baupläne um das 400-fache und ermöglicht es ihnen, eine Form zu finden, die perfekt in die Einschränkungen eines bestimmten Geräts passt.

2. Forge-Former: Die Kristallkugel

Das Bauen und Testen eines neuen Gehirnbauplans von Grund auf ist teuer und langsam. Es ist wie das Backen eines Kuchens, nur um zu sehen, ob das Rezept funktioniert, und ihn dann wegzuwerfen. Wenn Sie Tausende von Rezepten testen müssen, wären Sie pleite.

Die Lösung von LLMForge: Sie haben eine Kristallkugel namens Forge-Former gebaut.

Wie es funktioniert: Anstatt jeden einzelnen Kuchen zu backen, betrachtet die Kristallkugel das Rezept (den Bauplan) und sagt genau vorher, wie gut der Kuchen schmecken wird (wie intelligent das Modell sein wird) und wie viel Energie es verbrauchen wird.
Das Ergebnis: Diese Kristallkugel ist viel genauer als frühere „Ratgeber"-Werkzeuge. Sie ermöglicht es dem System, Tausende von Designs in der Zeit zu testen, die früher zum Testen nur weniger reichte, und spart enorme Mengen an Zeit und Energie.

3. Forge-DSE: Der Multi-Tool-Navigator

Verschiedene Geräte haben verschiedene Probleme. Eine High-End-Grafikkarte (GPU) könnte durch die Geschwindigkeit, mit der sie Daten bewegen kann, begrenzt sein, während ein winziger Chip in einer Smartwatch durch die Wärmemenge begrenzt sein könnte, die er verkraften kann. Ein Design, das für das eine perfekt ist, kann für das andere schrecklich sein.

Der Ansatz von LLMForge: Die Forge-DSE-Engine fungiert wie ein Navigator mit einem Multi-Tool.

Sie sucht nicht nur nach dem „intelligentesten" Modell. Sie sucht nach dem besten Kompromiss (eine „Pareto-Front") zwischen Intelligenz, Geschwindigkeit und Energieeffizienz.
Sie testet die Designs gegen vier verschiedene Hardware-Typen (wie eine Hochgeschwindigkeits-GPU, einen spezialisierten Chip und einen ringförmigen Chip).
Das Ergebnis: Das System erkennt, dass „eine Größe für alle nicht passt". Es produziert verschiedene, einzigartige Baupläne für jedes Gerät.
- Für ein geschwindigkeitsorientiertes Gerät baut es ein Gehirn, das breit und flach ist.
- Für ein energieorientiertes Gerät baut es ein Gehirn, das tief und schmal ist.

Die Ergebnisse: Realwelt-Erfolge

Die Forscher testeten dieses System an zwei Modellgrößen (etwa 100 Millionen und 300 Millionen Parameter) und verglichen sie mit bestehenden populären Modellen wie SmolLM2 und Qwen.

Das „Genauigkeits"-Modell: Einer ihrer neuen Designs war intelligenter (niedrigere Fehlerrate) als die Konkurrenz, obwohl es weniger Parameter hatte (es war kleiner).
Das „Energie"-Modell: Ein anderes Design verbraucht 40 % weniger Energie pro generiertem Wort im Vergleich zu den Standardmodellen.
Das „Geschwindigkeits"-Modell: Ein drittes Design war 43 % schneller beim Starten der Rede (Time-to-First-Token) und beim Abschließen von Sätzen.

Zusammenfassung

LLMForge ist ein System, das aufhört, einen „Einheits"-Gehirn-Bauplan auf jedes Gerät zu zwingen. Stattdessen verwendet es eine flexible Designsprache, eine schnelle Vorhersage-Kristallkugel und einen intelligenten Navigator, um ein maßgeschneidertes Gehirn für jede spezifische Hardware zu entwickeln. Das Ergebnis ist eine kleinere, schnellere und energieeffizientere KI, die tatsächlich in Ihre Tasche passt.

Technischer Überblick: LLMForge

Problemstellung

Sub-Milliarden-Parameter-Transformer-Sprachmodelle werden zunehmend auf Edge-Geräten eingesetzt, um Vorteile in Bezug auf Datenschutz, Latenz und Kosten zu nutzen. Die Inferenz auf dem Gerät ist jedoch durch enge Speicherbandbreiten-, Energie- und thermische Budgets eingeschränkt. Bestehende Ansätze verlassen sich häufig auf Komprimierung nach dem Training (Quantisierung, Pruning), wodurch die zugrunde liegenden architektonischen Freiheitsgrade ungenutzt bleiben. Darüber hinaus leiden aktuelle Hardware-bewusste Neural-Architecture-Search (NAS)-Pipelines für Transformer unter drei Einschränkungen:

Eingeschränkter Suchraum: Attention-Parametrisierungen fixieren oft die Dimensionen pro Kopf und koppeln Key/Value-Kapazitäten, was die möglichen Formkonfigurationen auf eine einzige Wahl der Kopfanzahl beschränkt.
Bewertungsengpass: Die Bewertung von Kandidaten durch Training von Grund auf ist rechenintensiv.
Grobe Kostenmodellierung: Hardwarekosten werden häufig über einzelne Beschleunigerklassen oder grobe Stellvertreter (z. B. Parameteranzahl) modelliert, was substratabhängige Neuordnungen von Kandidaten verschleiert.

Methodik

Die Autoren stellen LLMForge vor, ein hardware-bewusstes NAS-Framework, das drei kombinierbare Beiträge in eine einzige NSGA-II-evolutionäre Suchschleife integriert.

1. Infinite-Head Attention (IHA)

IHA entkoppelt die Attention-Formparameter ( $n_h$ , $n_{kv}$ , $d_{qk}$ , $d_v$ ) als unabhängige Variablen pro Schicht. Im Gegensatz zu standardmäßiger Multi-Head Attention (MHA) oder Grouped-Query Attention (GQA), die Teilbarkeitsbedingungen erzwingen ( $d_{model} = n_h \cdot d_h$ ) und Q/K–V-Kopplung ( $d_h = d_{qk} = d_v$ ), lockert IHA diese Bedingungen. Es bewahrt lediglich die GQA-Gruppierungsbedingung ( $n_{kv} | n_h$ ) bei.

Auswirkung: Dies erweitert den machbaren Konfigurationsraum der Attention pro Schicht um etwa das 400-fache (von 27 Konfigurationen unter GQA auf 11.250 unter IHA innerhalb der definierten Suchbereiche).

2. Forge-Former (Genauigkeits-Surrogat)

Um den Bewertungsengpass zu adressieren, stellen die Autoren Forge-Former vor, ein auf Transformer-Encodern basierendes Surrogatmodell.

Architektur: Es kodiert eine Architektur als Sequenz von Schicht-Token, wobei jedes Token die IHA-Parameter der Schicht konkateniert. Skalare Felder werden über lineare Schichten angehoben und mit Positions-Embeddings summiert. Ein Pre-LN Transformer-Encoder erfasst Interaktionen innerhalb der Schicht (über Feedforward-Subschichten) und Interaktionen zwischen Schichten (über Self-Attention).
Leistung: Auf dem IHA-Testsplit erreicht Forge-Former einen Spearman $\rho = 0,75$ und Kendall $\tau = 0,58$ und übertrifft MLP- und Random-Forest-Baselines um das 1,4- bis 2,5-fache. Es ermöglicht die NSGA-II-Auswahl zu einem Bruchteil der Kosten eines Trainings von Grund auf.

3. Forge-DSE (Design-Space-Exploration-Engine)

Forge-DSE ist die Multi-Objective-Suchmaschine, die Forge-Former mit einem Multi-Backend-Hardwarekostenmodell koppelt.

Suchschleife: Sie entwickelt Populationen von IHA-parametrisierten Architekturen unter Verwendung von NSGA-II mit nicht-dominierter Sortierung und Überleben basierend auf der Crowding-Distanz. Sie verwendet benutzerdefinierte Mutationsoperatoren (Löschung, Duplizierung, Rotation, numerische Perturbation) und einen Schritt zur Reparatur der Machbarkeit.
Ko-Evolution des Surrogats: Das Framework verfeinert Forge-Former optional während der Suche, indem es informative Stichproben aus der aktuellen Population neu trainiert und das Surrogat durch Experience Replay feinabstimmt, um Verschiebungen der Verteilung zu korrigieren.
Hardware-Backends: Das System unterstützt drei verschiedene Backends:
1. Backend A: Gemessene Kosten auf einer NVIDIA A100 GPU unter Verwendung von ZEUS.
2. Backend B: Analytische Kosten über Timeloop für systolische (Gemmini), reihenstationäre (Eyeriss) und fusionierte Attention (FLAT) Datenflüsse.
3. Backend C: Ein Multi-Chip-Ring-Datenfluss-Simulator (rDXE) für Edge-Beschleuniger, der eine gemeinsame Suche nach Architektur und Chip durchführt.

Wichtige Ergebnisse

Validierung des Surrogats

Auf dem IHA-Datensatz übertrifft Forge-Former die Baselines bei der Rangfolge-Genauigkeit und der Wiederherstellung der Top-X% signifikant. Es reduziert den Mean Absolute Error (MAE) für die Top 5% der Architekturen um etwa das 5-fache im Vergleich zu MLP- und Random-Forest-Baselines. Die t-SNE-Analyse bestätigt, dass Forge-Former-Embeddings die Leistungsähnlichkeit besser widerspiegeln und die Schwänze mit hohem Verlust eng clustern.

Multi-Backend-Suchleistung

Über vier Hardware-Substrate (A100, Gemmini, Eyeriss, FLAT) hinweg konvergieren die Suchen zu unterschiedlichen Pareto-Front-Architekturen, die die spezifischen Kostenengpässe jedes Substrats nachvollziehen:

A100 (Bandbreitenreich): Führt zu flachen MLP-Breiten und den breitesten Attention-Köpfen.
Eyeriss/Gemmini (KV-Cache-limitiert): Kollabieren $n_{kv}$ zu aggressiver Grouped-Query-Attention und kompensieren dies mit breiterer MLP-Kapazität.
FLAT (Flexibel): Erzeugt das kleinste Modell mit flacher Tiefe und schmalen Köpfen.
Verbesserungen: Im Vergleich zur SmolLM2-135M-Baseline erzielt die Suche Reduktionen von 5–7% im Validierungsverlust, 16–63% im Energieverbrauch pro Token und 16–59% bei Latenzmetriken (TTFT/TPOT).

Skalierte Validierung auf rDXE

Die Autoren führten eine gemeinsame Suche nach Architektur und Chip auf dem rDXE Multi-Chip-Ring-Substrat durch und trainierten ausgewählte Kandidaten auf FineWeb-Edu-10BT (13,1 Mrd. Token) gegen SmolLM2- und Qwen-Baselines neu:

Genauigkeitsvariante (347M Parameter): Erreichte den niedrigsten Validierungsverlust (2,798) und wettbewerbsfähige Benchmark-Leistung mit weniger Parametern als SmolLM2-360M und Qwen-0.5B.
Energievariante (294M Parameter): Reduzierte den Energieverbrauch pro Token um 40%.
Latenzvariante (365M Parameter): Reduzierte Time-to-First-Token (TTFT) und Time-Per-Output-Token (TPOT) um 43%.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LLMForge zeigt, dass hardware-bewusste NAS substrat-konditionierte Pareto-Fronten erzeugen kann, anstatt eine einzelne „beste" Architektur. Durch die Entkopplung der Attention-Parameter via IHA und die Nutzung eines hochgenauen, auf Encodern basierenden Surrogats gestaltet das Framework die Profilprofile von Breite und Tiefe pro Schicht effektiv neu, um spezifische Hardware-Engpässe zu entsprechen.

Die Autoren positionieren LLMForge als methodischen Beitrag, der die Entdeckung von deploymentsbewussten Architektur-und-Chip-Konfigurationspaaren ermöglicht. Sie weisen darauf hin, dass die Energie- und Latenzreduktionen zwar bescheiden sind, sie jedoch primär die Betriebskosten und das Kohlenstoffprofil wiederholter Edge-Inferenz begünstigen. Die Arbeit ist aufgrund der Rechenkosten für die Generierung des Trainingskorpus für das Surrogat auf Sub-Milliarden-Parameter-Skalen ( $\le$ 500M) beschränkt, wobei die Skalierung auf Milliarden-Parameter-Modelle als zukünftiger Schritt identifiziert wurde.