💬 NLP

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs

Das Papier schlägt Pair-In, Pair-Out (PIPO) vor, ein einheitliches Framework, das latente Eingabekompression mit Multi-Token-Ausgabevorhersage und einem leichtgewichtigen, vertrauensbasierten Akzeptanzmechanismus kombiniert, um signifikante Latenzbeschleunigungen und verbesserte Reasoning-Leistung bei großen Sprachmodellen ohne den Overhead eines separaten Verifizierungsdurchlaufs zu erzielen.

Ursprüngliche Autoren: Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (LLM) als einen sehr klugen, aber sehr langsamen Schreiber vor, der Geschichten Wort für Wort niederschreibt. Um ein schwieriges mathematisches Problem zu lösen oder komplexen Code zu schreiben, muss dieser Schreiber laut denken und eine lange „Gedankenkette" generieren, bevor er die endgültige Antwort niederschreibt. Das Problem ist, dass das Schreiben eines Wortes, das Anhalten, das Nachdenken und das Schreiben des nächsten Wortes unglaublich langsam und teuer ist.

Die Arbeit stellt eine neue Methode namens PIPO (Pair-In, Pair-Out) vor, um diesen Schreiber viel schneller zu machen, ohne dass er mehr Fehler macht. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Eins-nach-dem-Anderen"-Engpass

Derzeit arbeitet der Schreiber wie eine Person, die auf einer Schreibmaschine tippt: Er tippt einen Buchstaben, drückt „Enter", wartet, bis die Maschine verarbeitet hat, tippt den nächsten Buchstaben und so weiter. Selbst wenn der Schreiber klug ist, ist die Maschine langsam, weil sie pro Zyklus nur einen Buchstaben verarbeiten kann.

2. Die Lösung: Der „Zweigeschossige" Bus (PIPO)

PIPO ändert die Verkehrsregeln. Anstatt dass der Schreiber ein Wort nach dem anderen verarbeitet, erlaubt PIPO ihm, zwei Wörter gleichzeitig zu verarbeiten.

Pair-In (Die Kompression): Stellen Sie sich vor, der Schreiber erhält einen Stapel aus zwei Buchstaben (z. B. „T" und „h"). Anstatt sie einzeln in die Maschine einzuspeisen, faltet ein spezieller „Kompressor" sie zu einem einzigen, kompakten Paket (einer latenten Darstellung) zusammen. Es ist, als würde man eine große Landkarte zu einem kleinen Taschentuch falten, damit sie durch eine schmale Tür passt.
Die Reise: Die Maschine verarbeitet dieses einzelne „gefaltete" Paket.
Pair-Out (Das Entfalten): Sobald die Maschine fertig ist, spuckt sie nicht nur einen Buchstaben aus. Sie verfügt über einen speziellen „Entfaltungs"-Kopf, der das Ergebnis nimmt und sofort zwei Buchstaben produziert: das erwartete nächste Wort und ein vorhergesagtes Entwurfswort (z. B. „e" und „ ").

Das Ergebnis: Der Schreiber schreibt nun zwei Buchstaben für jeden einzelnen Maschinenzyklus. Dies verdoppelt effektiv die Schreibgeschwindigkeit.

3. Das Risiko: Das „Raten-Spiel"

Es gibt einen Haken. Das Vorhersagen des zweiten Wortes ist eine Vermutung. Wenn die Vermutung falsch ist, könnte der ganze Satz Unsinn werden.

Alter Weg (Spekulatives Decodieren): Früher musste der Schreiber, um zu prüfen, ob eine Vermutung richtig war, anhalten, einen massiven „Verifizierungs"-Test durchführen (wie ein leitender Redakteur, der den gesamten Entwurf erneut liest), und dann entscheiden, ob die Vermutung gut war. Dieser Verifizierungsschritt war so langsam, dass er die Geschwindigkeitsgewinne zunichtemachte.
PIPOs Weg (Der Vertrauens-Kopf): PIPO installiert einen winzigen, superschnellen „Vertrauens-Messwert" direkt neben dem Schreiber. Dieser Messwert ist darauf trainiert, die beiden Wörter zu betrachten und sofort zu sagen: „Ich bin zu 95 % sicher, dass dieses zweite Wort korrekt ist", oder „Ich bin mir nicht sicher, lassen wir es weg".
- Wenn der Messwert „Go" sagt, behält der Schreiber beide Wörter.
- Wenn der Messwert „Nein" sagt, behält der Schreiber das erste Wort und ersetzt das zweite durch ein „Leerzeichen" (Padding), um den Rhythmus aufrechtzuerhalten.

4. Das Geheimnis: Lernen aus Fehlern (On-Policy Distillation)

Wie lernt der „Vertrauens-Messwert", so genau zu sein, ohne einen langsamen Redakteur?

Die Arbeit verwendet einen cleveren Trainingstrick namens On-Policy Distillation.

Stellen Sie sich vor, der Schreiber (der Schüler) versucht, eine Geschichte zu schreiben.
Ein superschlauer Lehrer (ein größeres, vortrainiertes Modell) schreibt ebenfalls die Geschichte.
Das System vergleicht die Vermutung des Schülers mit der Antwort des Lehrers.
Die Magie: Das System erkennt, dass der „Lehrer" genau denselben Job macht wie der „Redakteur" in der alten Methode. Anstatt also jedes Mal einen langsamen Redakteur-Check durchzuführen, nutzt das System die Antworten des Lehrers, um den winzigen „Vertrauens-Messwert" während der Lernphase zu trainieren.
Einmal trainiert, weiß der Vertrauens-Messwert genau, wann er der Vermutung vertrauen soll und wann er vorsichtig sein muss, alles ohne den langsamen Redakteur während des eigentlichen Schreibprozesses.

5. Die Ergebnisse: Schneller und schlauer

Die Arbeit testete dies an schwierigen mathematischen und Codierungsaufgaben (wie dem AIME-Mathematikwettbewerb und Codierungs-Benchmarks).

Geschwindigkeit: Da es zwei Wörter gleichzeitig verarbeitet und den langsamen Redakteur-Check überspringt, ist PIPO 2 bis 2,6 Mal schneller als die Standardmethode. Es bringt das erste Wort viel schneller heraus und hält den Fluss in Bewegung.
Genauigkeit: Überraschenderweise wurde es nicht nur schneller; es wurde besser. Indem es mehr „Gedanken" in denselben Platzraum packt (weil es die Eingabe komprimiert), konnte das Modell längere, vollständigere Gedankenketten generieren. Bei einigen Tests stieg die Erfolgsrate im Vergleich zu normalen Methoden um über 7 Punkte.

Zusammenfassung

PIPO ist wie der Umbau eines Lieferwagens von einer einspurigen Straße auf eine zweispurige Autobahn.

Komprimieren Sie die Fracht (Eingabe), um zwei Pakete in einen Slot zu passen.
Liefern Sie zwei Pakete gleichzeitig aus (Ausgabe).
Verwenden Sie einen intelligenten Sensor (Vertrauens-Kopf), um zu entscheiden, ob das zweite Paket sicher zu behalten ist, trainiert von einem Lehrer, der die Antwort bereits kennt.

Dies ermöglicht es der KI, länger zu denken und schneller zu antworten, komplexe Probleme zu lösen, ohne die übliche Verlangsamung.

Technische Zusammenfassung: Pair-In, Pair-Out (PIPO) für effiziente LLMs

1. Problemstellung

Moderne Large Language Models (LLMs) verlassen sich zunehmend auf lange Ketten des Denkens (Chain-of-Thought, CoT) für komplexe Aufgaben wie Mathematik und Programmierung. Während dieses Paradigma die Genauigkeit verbessert, entsteht ein erheblicher Inferenz-Engpass: Die standardmäßige autoregressive Dekodierung emittiert pro Vorwärtsschritt nur ein Token, wodurch die Kosten pro Token zum dominierenden Latenzfaktor für lange Denkpfade werden.

Bestehende Lösungen adressieren dies aus zwei unabhängigen Richtungen:

Eingabeseitig: Latente Kompressionsmethoden (z. B. CoLaR) fassen mehrere Eingabetoken zu einer einzigen kontinuierlichen Darstellung zusammen, um die Sequenzlänge zu reduzieren.
Ausgabeseitig: Multi-Token-Vorhersage (MTP) und spekulative Dekodierung (z. B. EAGLE, Medusa) versuchen, mehrere Token pro Schritt zu emittieren. Diese Methoden erfordern jedoch typischerweise einen teuren „Verifizierungs"-Durchgang (ein vollständiger Vorwärtsschritt des großen Backbones), um Entwurfstoken zu validieren, was die Effizienzgewinne oft zunichtemacht, insbesondere bei langen Kontextlängen. Darüber hinaus besteht bei unvalidierten MTP-Methoden die Gefahr, dass unzuverlässige Entwürfe propagiert werden, was die Genauigkeit verschlechtert.

Es gibt derzeit kein einheitliches Framework, das sowohl Eingabekompression als auch Multi-Token-Vorhersage gleichzeitig nutzt, ohne die hohen Kosten eines Verifizierers in Kauf zu nehmen.

2. Methodik: Pair-In, Pair-Out (PIPO)

PIPO schlägt ein einheitliches Framework vor, das latente Kompression und Multi-Token-Vorhersage als spiegelbildliche Operationen um das LLM-Backbone behandelt.

2.1 Kernarchitektur

Das Framework arbeitet mit Token-Paaren statt mit einzelnen Token:

Pair-In (Kompression): Ein leichter MLP-Kompressor faltet zwei aufeinanderfolgende Eingabetoken-Embeddings ( $x_{2i}, x_{2i+1}$ ) zu einer einzigen latenten Darstellung ( $z_i$ ). Dies halbiert die effektive Eingabelänge.
$z_i = f_\theta([x_{2i}; x_{2i+1}])$
Der Kompressor wird so initialisiert, dass $f_\theta([a; b]) \approx a + b$ gilt, um die Verteilung des Backbones während des Pretrainings beizubehalten.
Pair-Out (Vorhersage): Das Backbone verarbeitet den komprimierten latenten Zustand und erzeugt einen versteckten Zustand ( $h^b_i$ $h_{i}^{b}$ ).
1. Backbone-Token: Der Standard-LM-Head sagt das nächste Backbone-Token ( $x_{2i+2}$ ) voraus.
2. Entwurf-Token: Ein Multi-Token-Vorhersage- (MTP-) Head, konditioniert auf den versteckten Backbone-Zustand und das vorhergesagte Backbone-Token, sagt ein zusätzliches Entwurf-Token ( $x_{2i+3}$ ) voraus.
3. Konfidenz-Head: Ein leichter MLP sagt einen Konfidenzwert ( $c_i$ ) für das Entwurf-Token voraus.
  $c_i = g_\phi([h^b_i; h^d_i])$
- Akzeptanzlogik: Wenn $c_i \geq \tau_c$ , wird das Entwurf-Token akzeptiert, und das nächste Eingabepaar besteht aus zwei neu generierten Token. Bei Ablehnung wird das Entwurf-Token durch ein Padding-Token ( $x_{pad}$ ) ersetzt, und das nächste Eingabepaar ist $(x_{2i+2}, x_{pad})$ . Dies stellt sicher, dass die Schnittstelle unabhängig von der Akzeptanz konsistent bleibt.

2.2 Trainingsstrategie

PIPO nutzt einen zweistufigen Trainingsprozess, um die Lücke zwischen Training und Inferenz zu schließen:

Supervised Fine-Tuning (SFT):
- Das Modell wird mit einem Next-Pair-Vorhersage-Ziel unter Verwendung von Cross-Entropy (CE)-Verlust sowohl für Backbone- als auch für Entwurfstoken trainiert.
- Ein Konfidenz-Head wird mittels Binary Cross-Entropy (BCE)-Verlust bootstrapped, wobei der Konfidenzwert mit der Wahrscheinlichkeit des ground-truth Entwurfstokens abgeglichen wird.
- Zufälliges Padding: Während des Trainings werden ein Anteil der Entwurfspositionen zufällig durch Padding-Token ersetzt, um das Modell für Ablehnungsszenarien zu sensibilisieren.
On-Policy Distillation (OPD):
- PIPO adressiert die Verteilungsverschiebung zwischen Training und Inferenz, indem Antworten unter Verwendung der aktuellen Policy des Schülers ausrollt werden.
- Schlüsselerkenntnis: Die Rolle des „Lehrers" in OPD ist funktional identisch mit der des „Verifizierers" bei der spekulative Dekodierung. Beide bewerten die Konsistenz eines Entwurfs gegenüber einer stärkeren Referenzverteilung.
- Kostenlose Überwachung: Die Akzeptanzwahrscheinlichkeit für den Konfidenz-Head wird direkt aus der OPD-Verlustberechnung abgeleitet: $y_c = \min(p_t(x)/p_s(x), 1)$ , wobei $p_t$ die Lehrer- (Backbone-) Wahrscheinlichkeit und $p_s$ die Schüler- (Entwurf-) Wahrscheinlichkeit ist.
- Dies ermöglicht es, den Konfidenz-Head mit dem Ablehnungs-Sampling-Kriterium als Label zu trainieren, ohne zusätzliche Vorwärtsschritte oder ein separates Verifizierer-Modell zu benötigen.

3. Hauptbeiträge

Einheitliches Framework: PIPO vereint eingabeseitige latente Kompression und ausgabeseitige Multi-Token-Vorhersage zu einer symmetrischen „Pair-In/Pair-Out"-Schnittstelle, wodurch sich die Eingabelänge effektiv halbiert und die Ausgabe pro Schritt verdoppelt.
Eliminierung des Verifizierers: Durch die Erkenntnis, dass der OPD-Lehrer und der spekulative Verifizierier dieselbe Rolle spielen, trainiert PIPO einen leichten Konfidenz-Head unter Verwendung des Ablehnungs-Sampling-Verhältnisses als kostenloses Label. Dies ersetzt den teuren Verifizierer-Durchgang des Backbones pro Schritt durch einen einzigen MLP-Vorwärtsschritt.
Effizienz und Genauigkeit: Die Methode erzielt erhebliche Beschleunigungen bei Time-to-First-Token (TTFT) und Time-Per-Output-Token (TPOT) und verbessert gleichzeitig die pass@4-Genauigkeit auf komplexen Reasoning-Benchmarks.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PIPO auf den Backbones Qwen3.5-4B und Qwen3.5-9B über vier Benchmarks hinweg: AIME 2025, GPQA-Diamond, LiveCodeBench v6 und LongBench v2.

Genauigkeit: PIPO + OPD erzielte unter allen Methoden die höchsten pass@4-Werte.
- Auf Qwen3.5-9B verbesserte PIPO pass@4 um +7,15 Punkte gegenüber der regulären autoregressiven Dekodierung.
- Auf Qwen3.5-4B betrug die Verbesserung +3,83 Punkte gegenüber dem besten Baseline.
- Der Vorteil vergrößerte sich mit längeren Kontextbudgets (bis zu 32K Slots), da PIPO vollständigere Denkpfade in dasselbe Budget einpasst.
Effizienz:
- TTFT: Bis zu 2,64× Beschleunigung (z. B. bei 128K Eingabelänge) aufgrund der komprimierten Prefill-Phase.
- TPOT: Bis zu 2,07× Beschleunigung, da zwei Token pro Backbone-Vorwärtsschritt emittiert werden.
Ablationsstudien:
- Nichtlineare Kompressoren sind essenziell; lineare Kompressoren führten zu einem signifikanten Leistungsabfall.
- Die Initialisierung des Kompressors als additive Summe ( $a+b$ ) ist entscheidend für die Stabilität.
- Der Konfidenz-Head lehnt unzuverlässige Entwürfe effektiv ab, übertrifft Baselines mit zufälliger Ablehnung und findet einen „Sweet Spot" (Schwelle $\tau_c \approx 0,95$ ), der pass@4 maximiert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass PIPO einen Wandel darstellt, wie effiziente LLM-Dekodierung angegangen wird:

Symmetrie: Sie zeigt, dass Eingabekompression und Ausgabenerweiterung keine konkurrierenden Strategien sind, sondern komplementäre, spiegelbildliche Operationen, die kombiniert werden können.
Kostenamortisation: Sie amortisiert erfolgreich die Kosten der Verifizierung. Anstatt für jeden Schritt hohe Inferenzkosten (vollständiger Backbone-Durchgang) zu zahlen, wird die Verifizierungslogik in ein leichtes Trainingssignal (den Konfidenz-Head) destilliert, wodurch ein wiederkehrender Inferenzkosten in ein einmaliges Trainingssignal umgewandelt wird.
Praktikabilität: Das Framework basiert größtenteils auf handelsüblichen Komponenten (vortrainierte MTP-Heads, Standard-Backbones) und erfordert nur kleine zusätzliche Module (Kompressor und Konfidenz-Head), was eine Implementierung auf bestehenden starken LLMs machbar macht.

Die Autoren weisen auf Einschränkungen hin, darunter den Fokus auf die paarweise Verarbeitung (anstatt größerer Kompressionsfaktoren), die Beschränkung auf textbasierte Modelle und die Evaluierung primär auf Aufgaben mit überprüfbaren Antworten (Mathematik/Programmierung) statt auf offene Generierung. Sie argumentieren jedoch, dass PIPO einen robusten Weg zur Reduzierung der Inferenzkosten langer Denkpfade ohne Einbußen bei der Zuverlässigkeit bietet.