🤖 machine learning

N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation

Das Papier stellt N-vium vor, einen Mixture-of-Exits-Transformer, der durch die Nutzung tokenadaptiven Routings zur Kombination von Vorhersagen aus mehreren Tiefenstufen und zur Verzögerung von Berechnungen in oberen Schichten eine bis zu 57,9 %ige Beschleunigung der Wandzeit im Vergleich zu Standard-Transformern erzielt, ohne die Modellqualität zu beeinträchtigen.

Ursprüngliche Autoren: Aleksander Lorenc, Frédéric Berdoz, Joël Mathys, Roger Wattenhofer

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aleksander Lorenc, Frédéric Berdoz, Joël Mathys, Roger Wattenhofer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen ein langes, komplexes Buch und müssen das nächste Wort in einem Satz vorhersagen.

In einem Standard-KI-Modell (einem „Transformer") ist der Prozess wie eine Fabrik-Fließbandstraße mit 48 Arbeitern, die in einer einzigen Schlange stehen. Jedes einzelne Wort, das Sie tippen, muss an jedem einzelnen Arbeiter vorbeigehen, eins nach dem anderen, und erhält an jeder Station eine winzige Menge an Verarbeitung. Erst nachdem das Wort alle 48 Arbeiter besucht hat, ruft der letzte Arbeiter die Vorhersage heraus.

Das Problem? Viele Wörter sind einfach. Das Wort „der" oder „Katze" braucht nicht 48 Arbeiter, um herauszufinden, was als Nächstes kommt. Aber das Standardmodell zwingt sie trotzdem, jeden zu besuchen, nur um auf der sicheren Seite zu sein. Das ist langsam und verschwendet Energie.

Die alte Lösung: „Early Exit" (Die Abkürzung)

Frühere Methoden versuchten dies zu beheben, indem sie einfachen Wörtern erlaubten, die Schlange frühzeitig zu verlassen. Wenn ein Arbeiter denkt: „Ich kenne dieses", lassen sie das Wort gehen.

Der Fehler: Das war wie ein Arbeiter, der die Antwort rät, ohne den finalen Boss zu überprüfen. Manchmal rieten sie falsch. Außerdem verlor die Fabrik, weil das Wort frühzeitig ging, den „Speicher" (den KV-Cache), der für zukünftige Wörter benötigt wurde, was das System zwang, es zu fälschen oder Dinge neu zu berechnen, was die Qualität der Antwort ruinieren würde.

Die neue Lösung: N-vium (Die intelligente Mischung)

Die Arbeit führt N-vium ein, das die Spielregeln völlig verändert. Anstatt einer einzigen Schlange stellen Sie sich vor, die Fabrik hat vier verschiedene Ausgänge an verschiedenen Punkten entlang der Schlange.

So funktioniert N-vium, unter Verwendung einiger Analogien:

1. Die „intelligente Ampel" (Lernendes Routing)

An jedem der vier Ausgänge gibt es eine intelligente Ampel (ein „Router"). Sie betrachtet das Wort und entscheidet:

„Dieses Wort ist einfach. Lass es am Ausgang 1 raus."
„Dieses Wort ist knifflig. Halte es in Bewegung zum Ausgang 3."
„Dieses Wort ist sehr komplex. Schicke es den ganzen Weg zum Ausgang 4."

Entscheidend ist, dass die KI lernt, wie sie diese Ampeln während ihres Trainings steuert. Sie rät nicht einfach; sie weiß genau, welcher Ausgang für dieses spezifische Wort die beste Antwort liefert.

2. Die „perfekte Mischung" (Exakte Mischung)

Bei alten „Early Exit"-Methoden musste die KI einen Ausgang wählen und hoffen, dass er richtig war. Bei N-vium erstellt die KI einen perfekten Smoothie aller möglichen Antworten.

Sie nimmt ein wenig von der Antwort aus Ausgang 1.
Sie mischt ein wenig von Ausgang 3 hinzu.
Sie fügt einen Schuss von Ausgang 4 hinzu.
Das Ergebnis: Die endgültige Antwort ist mathematisch exakt. Sie ist genauso gut, als hätte das Wort alle 48 Arbeiter besucht, aber sie kam schneller an, weil die „einfachen" Teile der Berechnung von den frühen Ausgängen bewältigt wurden.

3. Der „Aufsitz"-Trick (Kein verlorener Speicher)

Dies ist der größte Magietrick der Arbeit. Normalerweise vergisst die Fabrik, wenn ein Wort frühzeitig geht, die Arbeit, die für das nächste Wort benötigt wird.

N-viums Lösung: Wenn ein Wort frühzeitig geht, wirft die Fabrik die Arbeit nicht weg. Stattdessen sagt sie: „Okay, wir werden den Rest der Verarbeitung für dieses Wort später abschließen."
Wenn das nächste Wort die Schlange herunterkommt, macht die Fabrik zwei Dinge gleichzeitig: Sie verarbeitet das neue Wort und nimmt die unvollendete Arbeit für das vorherige Wort mit.
Die Analogie: Stellen Sie sich einen Busfahrer vor. Normalerweise hält der Fahrer an jeder Haltestelle, um Passagiere auszusetzen. Mit N-vium setzt der Fahrer die einfachen Passagiere frühzeitig aus, nimmt dann aber die „unvollendeten" Passagiere von der vorherigen Haltestelle auf und setzt sie auf dem Weg zur nächsten Haltestelle ab, alles ohne dass der Bus jemals anhält oder verlangsamt.

Die Ergebnisse

Die Forscher bauten Modelle mit bis zu 1,5 Milliarden „Arbeitern" (Parametern).

Geschwindigkeit: Ihr größtes Modell war 57,9 % schneller als ein Standardmodell derselben Größe.
Qualität: Trotz der höheren Geschwindigkeit waren die Antworten genauso gut (kein Qualitätsverlust).
Hardware: Dies funktioniert auf Standard-Computerchips (GPUs), ohne dass spezielle neue Hardware benötigt wird.

Zusammenfassung

Denken Sie an N-vium nicht als Abkürzung, die Ecken abschneidet, sondern als intelligente Neuorganisation. Es erkennt, dass nicht jedes Wort die volle Fabrik-Tour benötigt. Es lässt einfache Wörter frühzeitig gehen, mischt ihre Antworten perfekt mit den komplexen und nutzt „Aufsitz", um sicherzustellen, dass nie Arbeit verschwendet wird. Das Ergebnis ist eine KI, die schneller denkt, ohne weniger zu denken.

Technische Zusammenfassung: N-vium – Mixture-of-Exits-Transformer für beschleunigte exakte Generierung

1. Problemstellung

Standardmäßige autoregressive Large Language Models (LLMs) verarbeiten Token sequenziell durch einen Stapel von Decoder-Schichten. Dieser Vorwärtsdurchlauf erfüllt zwei gekoppelte Funktionen: (1) den Aufbau von Key-Value (KV)-Repräsentationen in jeder Schicht für zukünftige Aufmerksamkeit und (2) die Projektion des finalen versteckten Zustands zur Vorhersage des nächsten Tokens. Folglich erfordert jedes Token einen vollständigen Vorwärtsdurchlauf durch alle Schichten, unabhängig davon, ob die Vorhersageverteilung bereits konvergiert ist.

Bestehende Ansätze zur Verbesserung der Inferenzeffizienz, wie Early Exit-Methoden, versuchen, diese Funktionen zu entkoppeln, indem sie Vorhersageköpfe an Zwischenschichten anfügen. Diese Methoden behandeln Zwischenvorhersagen jedoch typischerweise als Approximationen der Verteilung der finalen Schicht. Dies führt zu mehreren Nachteilen:

Approximationsfehler: Zwischenvorhersagen sind oft schwächer als solche mit voller Tiefe, was zu einer Diskrepanz zwischen Training und Test führt.
Heuristisches Routing: Entscheidungen darüber, wann ein Exit erfolgt, beruhen häufig auf manuell erstellten Konfidenzschwellenwerten, die kalibriert werden müssen.
Unvollständige KV-Caches: Um Rechenleistung zu sparen, überspringen Early-Exit-Methoden oft die Berechnung von KV-Caches für umgangene Schichten, was ein approximatives Kopieren oder Überspringen erfordert und die Qualität beeinträchtigt.
Qualitätsverschlechterung: Geschwindigkeit wird häufig auf Kosten der Perplexität und der Generierungsqualität erreicht.

Die Arbeit argumentiert, dass zwar empirische Beobachtungen (z. B. via „Logit-Lens") zeigen, dass sich Vorhersageverteilungen oft vor der finalen Schicht stabilisieren, aktuelle Methoden dies jedoch nicht für eine exakte Generierung ohne Qualitätsverlust nutzen können.

2. Methodik: N-vium

Die Autoren stellen N-vium vor, ein Mixture-of-Exits-Framework, das die Standard-Transformer-Architektur strikt verallgemeinert. Anstatt Early Exits als Approximationen zu behandeln, definiert N-vium die Ausgabe des Modells als eine gelernte Mischverteilung über mehrere Exits neu.

Architektur

Mixture of Exits: Das Modell partitioniert die $L$ Schichten des Backbones in $N_V$ Blöcke. Am Ende jedes Blocks (Knoten $k$ ) bestimmt ein Router die Wahrscheinlichkeit, den nächsten Token aus der Verteilung $\pi_k$ dieser Schicht zu sampeln.
Token-adaptives Routing: Ein Router-MLP verarbeitet den versteckten Zustand $h^{(\ell_k)}_t$ am Knoten $k$ , um eine Wahrscheinlichkeit $w_k$ auszugeben. Die Wahrscheinlichkeit $p_k$ , am Knoten $k$ zu exiten, wird berechnet als:
$p_k(x_t) = w_k(h^{(\ell_k)}_t) \prod_{j=1}^{k-1} (1 - w_j(h^{(\ell_j)}_t))$
wobei $w_{N_V} = 1$ konventionell festgelegt ist.
Mischverteilung: Die finale nächste-Token-Verteilung ist eine gewichtete Summe aller Exit-Verteilungen:
$\pi_{mix}(x_{t+1} | x_{1:t}) = \sum_{k=1}^{N_V} p_k(x_t) \pi_k(x_{t+1} | x_{1:t})$
Gemeinsamer Kopf: Alle Exits teilen sich den finalen Language Modeling (LM)-Projektionskopf $W_{lm}$ , wobei leichte Adapter-MLPs die intermediären versteckten Zustände transformieren, um der erwarteten Geometrie des Kopfes zu entsprechen.

Training

Zielsetzung: Das Modell wird trainiert, um den Cross-Entropy-Verlust der gemeinsamen Mischverteilung $\pi_{mix}$ zu minimieren, anstatt einzelne Köpfe isoliert zu optimieren, um sie mit der finalen Schicht abzugleichen.
Rechenstrafe: Ein zusätzlicher Verlustterm $\mathcal{L}_{compute}$ wird hinzugefügt, um den Router zu ermutigen, Wahrscheinlichkeitsmasse früheren Exits zuzuweisen und das Modell so in Richtung Effizienz zu steuern:
$\mathcal{L}_{total} = \mathcal{L}_{mix} + \beta \mathcal{L}_{compute}$
wobei $\mathcal{L}_{compute}$ die erwartete normalisierte Schichtentiefe ist.
Warm-up: Eine Router-Warm-up-Phase wird eingesetzt, um ein „Router-Collapse" (bei dem alle Token zur finalen Schicht routen) zu verhindern, indem Abweichungen von einer einheitlichen Exit-Verteilung anfangs bestraft werden.

Inferenz: Piggybacking

Eine entscheidende Innovation ist die Piggybacking-Technik, um eine exakte KV-Cache-Wiederherstellung ohne Überspringen von Berechnungen zu gewährleisten:

Verzögerte Berechnung: Wenn ein Token am Knoten $k$ exitet, wird die Berechnung für die Schichten $k+1$ bis $L$ verzögert.
Paralleles Batching: Während zukünftige Token verarbeitet werden, erreichen deren Vorwärtsdurchläufe die verzögerten Schichten. In diesen Tiefen werden die versteckten Zustände der verzögerten Token mit dem Zustand des aktuellen Tokens verkettet und parallel verarbeitet.
Ergebnis: Dies füllt die fehlenden KV-Zustände für alle verzögerten Token in einem einzigen parallelen Durchlauf auf, wodurch sichergestellt wird, dass der KV-Cache vollständig, exakt und konsistent mit dem gesampelten Token ist. Keine Berechnung wird übersprungen; sie wird lediglich von sequenzieller zu paralleler, gebatchter Ausführung umorganisiert.

3. Hauptbeiträge

Exakte Sampling-Mischung: N-vium ist die erste Methode, die token-adaptives Depth-Routing mit exaktem Sampling aus der trainierten Verteilung ermöglicht und die bei Standard-Early-Exit-Methoden inhärenten Approximationsfehler vermeidet.
Vollständige KV-Wiederherstellung: Durch das Verzögern und Batching von Berechnungen in oberen Schichten stellt N-vium vollständige und exakte KV-Caches wieder her, ein Merkmal, das bei anderen adaptiven Berechnungsmethoden oft verloren geht.
Trainingsframework: Die Autoren stellen eine praktische Trainingspipeline bereit, die das Mischungsziel direkt optimiert, einschließlich Strategien, um Modelle über einen lernbaren Rechenstrafe-Term in Richtung Effizienz zu steuern.
Skalierbarkeit: Die Methode wurde über Skalen bis zu 1,5 Milliarden Parametern validiert und zeigt, dass der Ansatz nicht auf kleine Modelle beschränkt ist.

4. Experimentelle Ergebnisse

Die Autoren haben N-vium-Modelle (speziell „Quadrivium" mit 4 Exits) auf dem C4-Datensatz unter Verwendung der LLaMA-2-Architektur vortrainiert und sie mit parametrisierten und datengleichen dichten Baselines verglichen.

Beschleunigung vs. Perplexität:
- Das größte Modell (1,5 Milliarden Parameter, 48 Schichten, 1536 versteckte Breite) erreichte eine 57,9%ige Beschleunigung der Wandzeit gegenüber der dichten Baseline ohne Perplexitätsverschlechterung (0% Unterschied).
- Kleinere Modelle zeigten konsistente Beschleunigungen von 23% bis 41% mit leichten Verbesserungen der Perplexität (z. B. zeigte ein 36-Schichten-Modell eine 36,4%ige Beschleunigung mit einer 3,7%igen Verbesserung der Perplexität).
Pareto-Frontier: In Qualitäts-Geschwindigkeits-Diagrammen besetzt N-vium das „obere-rechte" Quadrant (schneller und gleiche oder bessere Qualität), während Methoden wie CALM (neu implementiert als CALM*) im „unteren-rechten" Quadranten liegen (schneller, aber schlechtere Qualität) und LayerSkip auf einer konstanten Perplexitätslinie unterhalb der Baseline liegt.
Downstream-Leistung: Nach supervised fine-tuning (SFT) auf der Tulu-3-Mischung entsprachen N-vium-Modelle den dichten Baselines oder übertrafen diese in Downstream-Benchmarks (MMLU, ARC, HellaSwag usw.), was bestätigt, dass die Modelle steuerbar bleiben und sich nicht auf Kosten der Aufgabenleistung an das Cross-Entropy-Ziel überanpassen.
Hardware-Robustheit: Beschleunigungsmessungen auf A100-, RTX A6000- und RTX 3090-GPUs ergaben konsistente Ergebnisse (~57%), während ältere GPUs mit Turing-Architektur aufgrund fehlender nativer bfloat16-Unterstützung geringere Gewinne zeigten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass N-vium einen Paradigmenwechsel in der Inferenzeffizienz darstellt. Im Gegensatz zu den meisten Methoden, die Tokens pro Sekunde durch Reduzierung der FLOPs pro Token verbessern (oft durch Approximation), verbessert N-vium die Effizienz durch Erhöhung der FLOPs pro Sekunde. Dies wird erreicht, indem sequenzielle Berechnungen in parallele, gebatchte Durchläufe umorganisiert werden, wodurch die Hardware-Parallelität besser genutzt wird, ohne Berechnungen zu verwerfen.

Die Autoren betonen, dass N-vium eine strikte Verallgemeinerung des Standard-Transformers ist: Wenn die Routing-Gewichte für intermediäre Exits null sind, verhält sich das Modell exakt wie ein Standard-Transformer. Die Methode erfüllt gleichzeitig vier kritische Kriterien, von denen die Autoren behaupten, dass keine andere bestehende Methode dies tut:

Exakte Inferenz: Sampling aus der trainierten Verteilung ohne Approximation.
Vollständige KV-Cache-Wiederherstellung: Keine übersprungenen Schichten oder approximativen Cache-Füllungen.
Gelerntes Routing: Die Berechnung pro Token wird von einem trainierten Router zugewiesen, nicht von Heuristiken.
Beschleunigung zur Dekodierungszeit: Reduzierung der Wandzeit-Latenz während der autoregressiven Generierung.

Die Arbeit schließt damit, dass, obwohl das Training von N-vium höhere FLOP-Kosten pro Token verursacht (durch die Auswertung von Köpfen an mehreren Knoten), dieser Overhead für den produktiven Einsatz gerechtfertigt ist, wo die Inferenzkosten dominieren, und der relative Overhead mit der Skalierung der Modellgröße abnimmt.