💬 NLP

Breaking the Autoregressive Chain: Hyper-Parallel Decoding for Efficient LLM-Based Attribute Value Extraction

Dieser Beitrag stellt Hyper-Parallel Decoding (HPD) vor, einen neuartigen Algorithmus, der die Inferenz großer Sprachmodelle für Aufgaben wie die Extraktion von Attributwerten beschleunigt, indem er die bedingte Unabhängigkeit von Ausgabesequenzen nutzt, um eine nicht sequenzielle, parallele Token-Generierung zu ermöglichen und dadurch die Inferenzzeit sowie die Kosten um bis zu 13,8-fach senkt, ohne die Qualität zu beeinträchtigen.

Ursprüngliche Autoren: Theodore Glavas, Nikhita Vedula, Dushyanta Dhyani, Yilun Zhu, Shervin Malmasi

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Theodore Glavas, Nikhita Vedula, Dushyanta Dhyani, Yilun Zhu, Shervin Malmasi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine hochqualifizierte Bibliothekarin (die KI), die damit beauftragt ist, einen massiven Stapel von Produktkarten auszufüllen. Jede Karte verfügt über eine Liste leerer Felder, die Sie ausfüllen müssen, wie etwa „Bildschirmgröße", „Display-Typ" und „Auflösung".

Der alte Weg (Autoregressive Dekodierung):
Traditionell füllt die Bibliothekarin diese nacheinander aus, strikt von oben nach unten. Sie muss das Schreiben der „Bildschirmgröße" beenden, bevor sie überhaupt beginnen kann, über die „Auflösung" nachzudenken. Obwohl die „Bildschirmgröße" nichts mit der „Auflösung" zu tun hat, ist die Bibliothekarin gezwungen, auf den Abschluss der ersten Aufgabe zu warten, bevor sie mit der nächsten beginnt. Es ist wie eine einspurige Straße, auf der jedes Auto warten muss, bis das vor ihm fertig ist, bevor es sich bewegen kann. Dies ist langsam und teuer, da die Bibliothekarin sequenziell arbeitet.

Der neue Weg (Hyper-Parallel Decoding oder HPD):
Die Arbeit stellt einen cleveren Trick namens Hyper-Parallel Decoding (HPD) vor. Die Autoren erkannten, dass die Antworten bei solchen Aufgaben tatsächlich unabhängig voneinander sind. Die Kenntnis der Bildschirmgröße ändert nichts an der Auflösung. Also, warum warten?

HPD ermöglicht es der Bibliothekarin, an allen leeren Feldern gleichzeitig zu arbeiten.

So gelingt dieser magische Trick, ohne das Gehirn der Bibliothekarin (das KI-Modell) zu überfordern:

Die „Fake"-Lücken: Die Bibliothekarin ist darauf trainiert, die Position von Wörtern zu betrachten, um die Reihenfolge zu verstehen. HPD täuscht die Bibliothekarin, indem es „Fake-Lücken" im Satz erzeugt. Stellen Sie sich vor, die Bibliothekarin sieht eine Liste, bei der die erste Antwort an Position 1 steht, die zweite Antwort jedoch magisch zu Position 10 übersprungen wird und die dritte zu Position 20.
Ausfüllen der Lücken: Da die Bibliothekarin glaubt, diese Antworten seien im Satz weit voneinander entfernt, spielt es keine Rolle, dass sie sie alle gleichzeitig schreibt. Sie kann den ersten Buchstaben von „Bildschirmgröße", den ersten Buchstaben von „Auflösung" und den ersten Buchstaben von „Display-Typ" alle in demselben Moment generieren.
Das Fließband: Im nächsten Moment füllt sie den zweiten Buchstaben aller drei Antworten gleichzeitig aus. Sie fährt damit fort, bis alle Felder gefüllt sind.

Der „Stapel"-Bonus:
Die Arbeit erwähnt auch einen zweiten Trick namens Document Stacking. Stellen Sie sich vor, statt eine Karte auszufüllen, erhält die Bibliothekarin einen Stapel von 10 Karten und wird angewiesen, dieselben Felder für alle gleichzeitig auszufüllen. HPD kombiniert dies mit dem Trick der „Fake-Lücken". Jetzt füllt die Bibliothekarin nicht nur 3 Felder auf einer Karte aus; sie füllt 3 Felder auf 10 verschiedenen Karten gleichzeitig aus. Es ist wie eine Fabrikfließbandlinie, die ihre Geschwindigkeit plötzlich verdoppelt, indem sie mehrere Produkte parallel verarbeitet.

Die Ergebnisse:
Die Arbeit testete dies an realen E-Commerce-Daten (wie TV-Spezifikationen). Sie ergab, dass:

Geschwindigkeit: Sie bis zu 13,8-mal schneller verarbeiten konnten als die alte Methode.
Kosten: Da es so viel schneller ist, kostet es bis zu 13,8-mal weniger, es auszuführen.
Qualität: Die Antworten waren genauso genau wie die langsame, alte Methode. In einigen Fällen waren sie sogar leicht besser.

Auf den Punkt gebracht:
Die Arbeit erfindet keine neue Bibliothekarin; sie erfindet nur eine neue Art, den Schreibtisch zu organisieren. Durch das Umordnen der „Position IDs" (die Sitznummern) und die Verwendung einer speziellen Maske, um der Bibliothekarin mitzuteilen, welche Wörter sie betrachten soll, brachen sie die Regel, die besagt: „Man muss immer nur eine Sache auf einmal tun." Dies verwandelt eine langsame, einspurige Straße in eine hochgeschwindigkeitsfähige, mehrspurige Autobahn und spart Unternehmen, die Daten aus Millionen von Produktbeschreibungen extrahieren müssen, enorme Mengen an Zeit und Geld.

Wichtiger Hinweis: Die Autoren stellen ausdrücklich fest, dass dies für Aufgaben funktioniert, bei denen die Antworten unabhängig voneinander sind (wie Produktattribute). Sie behaupten nicht, dass dies für Aufgaben funktioniert, bei denen die Antwort auf eine Frage stark von der Antwort auf die vorherige abhängt (wie das Schreiben einer komplexen Geschichte oder das schrittweise Lösen eines mathematischen Problems).

1. Problemstellung

Die Extraktion von Attributwerten (Attribute Value Extraction, AVE) ist eine kritische Teilaufgabe im Informationsextraktion (Information Extraction, IE), insbesondere im E-Commerce, bei der Modelle mehrere unabhängige Werte (z. B. Bildschirmgröße, Auflösung, HDR-Unterstützung) aus einem einzigen unstrukturierten Produktdokument extrahieren müssen.

Der Engpass: Standard-Large-Language-Modelle (LLMs) verwenden eine autoregressive Dekodierung, bei der Token sequenziell ( $t=1, 2, \dots$ ) generiert werden. Dies erzeugt eine Abhängigkeit, bei der die Generierung des $n$ -ten Attributwerts von der Vollendung des $(n-1)$ -ten Werts abhängt.
Die Ineffizienz: Diese sequenzielle Natur verhindert eine Parallelisierung, was zu einer hohen Inferenz-Latenz und prohibitiven Kosten bei der Verarbeitung massiver Datensätze offline führt.
Die Chance: Bei AVE-Aufgaben ist die Extraktion verschiedener Attributwerte bedingt unabhängig gegeben den Kontext des Eingabedokuments. Der Wert der „Bildschirmgröße" erfordert theoretisch nicht, dass der Wert der „Auflösung" zuerst bekannt ist. Die Standard-Generierung durch Autoregression erzwingt jedoch eine künstliche Abhängigkeitskette, die den Durchsatz begrenzt.

2. Methodik: Hyper-Parallel Decoding (HPD)

Die Autoren schlagen Hyper-Parallel Decoding (HPD) vor, einen neuartigen Inferenzalgorithmus, der die autoregressive Kette durchbricht, um mehrere unabhängige Attributwerte gleichzeitig innerhalb eines einzigen Prompts zu generieren.

Kernmechanismen

Durchbrechen der Abhängigkeitskette:
- HPD geht von bedingter Unabhängigkeit aus: $P(V_1, \dots, V_N | p) = \prod P(V_n | p)$ .
- Anstatt Token $1 \to T$ sequenziell zu generieren, generiert HPD den ersten Token aller $N$ Werte parallel, dann den zweiten Token aller $N$ Werte und so weiter.
- Dies reduziert die Anzahl der Inferenzschritte von $T$ (Gesamtanzahl der Token) auf $K_{max}$ (maximale Länge eines einzelnen Werts).
Manipulation der Positions-IDs:
- Um eine parallele Generierung innerhalb eines Standard-Decoder-only-LLM zu ermöglichen, manipuliert HPD die Positions-IDs.
- Einfügen von Lücken: Der Eingabe-Prompt wird mit einem „Gerüst" konstruiert, das Attribut-Schlüssel enthält. Die Positions-IDs werden nach jedem Attribut-Schlüssel um eine Lückengröße ( $K_{max}$ ) erhöht, wodurch „Slots" für die Werte entstehen.
- Out-of-Order-Speicher: Neue Token werden am Ende der Sequenz im Speicher angehängt (um die Kontinuität des Key-Value-Caches zu gewährleisten), erhalten jedoch Positions-IDs, die sie logisch in die Lücken platzieren.
- Benutzerdefinierte Attention-Masken: Eine modifizierte kausale Attention-Maske wird basierend auf Positions-IDs und nicht auf der Speicherreihenfolge angewendet. Dies stellt sicher, dass beim Generieren des $k$ -ten Tokens eines Werts das Modell die $k$ -ten Token anderer Werte nicht „sehen" kann (Wahrung der Kausalität), aber den Prompt und die vorherigen Token seines eigenen Werts sehen kann.
Dokumentstapelung (Hyper-Parallelismus):
- HPD führt eine zweite Dimension der Parallelisierung ein, indem mehrere Dokumente ( $J$ ) innerhalb eines einzigen Prompts gestapelt werden.
- Da Werte über verschiedene Dokumente hinweg ebenfalls unabhängig sind, kann das System $J \times N$ Token in einem einzigen Inferenzschritt dekodieren.
Training und Feinabstimmung:
- Zero-Shot-Kompatibilität: HPD funktioniert direkt auf vortrainierten Modellen ohne architektonische Änderungen.
- Feinabstimmungsstrategie: Um die Diskrepanz zwischen Training und Test (bei der Trainingsdaten sequentiell sind, die Inferenz jedoch parallel) zu adressieren, werden die Modelle von den Autoren mit einer modifizierten Attention-Maske feinabgestimmt, die das HPD-Inferenzmuster nachahmt. Dies ermöglicht es dem Modell, die spezifische Attention-Verteilung zu erlernen, die für die parallele Dekodierung erforderlich ist.

3. Hauptbeiträge

Neuartiger Algorithmus: Einführung von HPD, das die Generierung von bis zu 96 Token pro Prompt (durch Dokumentstapelung und mehrere Attribute) ermöglicht, indem gemeinsam genutzter Speicher und Rechenleistung über unabhängige Sequenzen hinweg genutzt werden.
Plug-and-Play-Effizienz: HPD ist mit bestehenden Kostenreduktionstechniken (Quantisierung, Wissensdestillation) und standardmäßiger Inferenz in Batches kompatibel und erfordert keine Änderungen an der zugrunde liegenden LLM-Architektur.
Theoretische Generalisierung: Obwohl für AVE entwickelt, stützt sich die Methode auf die Annahme der bedingten Unabhängigkeit, was sie theoretisch auf jede Aufgabe mit unabhängigen Output-Strukturen anwendbar macht.
Umfassende Evaluierung: Umfassende Tests an drei E-Commerce-Benchmarks (OA-Mine, AE110k, Amazon Reviews 2023) über verschiedene Modellgrößen hinweg (1,7B bis 32B Parameter).

4. Experimentelle Ergebnisse

Die Autoren bewerteten HPD im Vergleich zur Standard-Autoregressiven (AR) Dekodierung und zur Spekulativen Dekodierung.

Durchsatz & Geschwindigkeit:
- HPD erreichte im Vergleich zur AR-Dekodierung eine bis zu 13,8-fache Beschleunigung der Inferenzzeit.
- Auf dem Amazon-Reviews-Datensatz erreichte HPD eine 10,78-fache Steigerung des Durchsatzes gegenüber AR und schnitt dabei deutlich besser ab als die Spekulativen Dekodierung (die nur eine ~2-fache Beschleunigung erreichte).
Kostenreduktion:
- Die Inferenzkosten wurden um bis zu 13,8-fach reduziert (z. B. von 7,74 $ auf 0,89 $ pro 1.000 Produkte für Qwen3-32B auf Amazon Reviews).
- Hochgerechnet auf ein Korpus von 500 Millionen Dokumenten könnte HPD im Vergleich zu AR etwa 597.000 $ und im Vergleich zu GPT-4.1 etwa 486.000 $ einsparen.
Output-Qualität:
- Keine Qualitätsminderung: HPD behielt State-of-the-Art-F1-Werte bei. In einigen Fällen (z. B. AE110k) übertrafen feinabgestimmte HPD-Modelle die AR-Baselines tatsächlich um ca. 4,5 %.
- Menschliche Evaluation: Blindtests durch Menschen auf Amazon Reviews bestätigten, dass HPD-Outputs gegenüber AR-Outputs und GPT-4.1 bevorzugt wurden oder gleichwertig waren.

5. Bedeutung und Auswirkung

Lösung des Offline-Engpasses: HPD zielt spezifisch auf das Szenario der Offline-Inferenz in Batches ab (häufig in Datenverarbeitungspipelines), bei dem Durchsatz und Kosten kritischer sind als eine Antwort mit niedriger Latenz für einzelne Anfragen.
Hardware-Auslastung: Durch die Maximierung der Anzahl der pro Inferenzschritt generierten Token nutzt HPM GPU-VRAM und Rechenressourcen besser aus und überwindet die sequenziellen Beschränkungen von Standard-Transformern.
Wirtschaftliche Tragfähigkeit: Die drastische Reduzierung der Inferenzkosten macht hochwertige generative IE für großskalige industrielle Anwendungen (z. B. Katalogisierung von Millionen von Produkten) möglich, bei denen die vorherigen Kosten prohibitiv waren.
Zukünftige Richtungen: Das Paper legt nahe, dass HPD auf andere Domänen mit unabhängigen Output-Strukturen erweitert werden könnte, sofern die Annahme der bedingten Unabhängigkeit gilt.

Fazit: Hyper-Parallel Decoding stellt einen Paradigmenwechsel in der LLM-Inferenz für strukturierte Extraktionsaufgaben dar. Durch die Entkopplung der Generierung unabhängiger Sequenzen mittels Manipulation von Positions-IDs und benutzerdefinierter Attention-Maskierung werden massive Effizienzgewinne erzielt, ohne die Output-Qualität zu beeinträchtigen.