💬 NLP

Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models

Das Papier stellt Prefilling-dLLM vor, ein trainingsfreies Framework, das die Long-Context-Inferenz in Diffusion-Sprachmodellen beschleunigt, indem es relevante Präfix-Chunks zwischenspeichert und spärlich auswählt, um die Komplexität von quadratisch in Bezug auf die volle Sequenzlänge auf quadratisch in Bezug auf die Dekodierlänge zu reduzieren, wodurch es State-of-the-Art-Beschleunigungen erzielt und das Lost-in-the-Middle-Phänomen mildert.

Ursprüngliche Autoren: Jing Xiong, Qi Han, Shansan Gong, Yunta Hsieh, Chengyue Wu, Chaofan Tao, Chenyang Zhao, Ngai Wong

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jing Xiong, Qi Han, Shansan Gong, Yunta Hsieh, Chengyue Wu, Chaofan Tao, Chenyang Zhao, Ngai Wong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu lösen, aber anstatt das gesamte Bild auf einmal zu betrachten, müssen Sie jedes Mal die gesamte Schachtel mit den Puzzleteilen neu untersuchen, wenn Sie nur ein einziges neues Teil auf den Tisch legen.

Das ist im Wesentlichen so, wie Diffusion Large Language Models (dLLMs) derzeit arbeiten, wenn sie lange Geschichten oder Dokumente verarbeiten. Jedes Mal, wenn das Modell versucht, ein neues Wort zu generieren, liest und verarbeitet es die gesamte Historie des Gesprächs von Anfang an neu. Je länger die Geschichte wird, desto langsamer und teurer wird dieses „Neu-Lesen“, als würde man einen Marathon laufen, während man einen schweren Rucksack trägt, der mit jedem Schritt schwerer wird.

Das Paper stellt eine neue Methode namens Prefilling-dLLM vor, um dies zu beheben. So funktioniert sie, unter Verwendung einiger Alltagsanalogien:

1. Das Problem: Die „Neu-Lesen“-Falle

In traditionellen KI-Modellen gilt: Sobald Sie eine Seite eines Buches gelesen haben, erinnern Sie sich daran und konzentrieren sich nur auf die neue Seite, die Sie gerade lesen. Aber bei diesen Diffusionsmodellen vergisst der Computer das Buch und liest das ganze Buch von Seite 1 bis Seite 1.000 jedes Mal neu, wenn er ein einziges neues Wort schreibt.

Das Ergebnis: Wenn das Buch kurz ist, ist es kein Problem. Wenn das Buch 32.000 Seiten lang ist, verbringt der Computer 99 % seiner Zeit damit, die alten Seiten einfach nur neu zu lesen, und widmet nur 1 % dem Schreiben neuer Wörter.

2. Die Lösung: Das „Schlaue Bibliothekar“-System

Die Autoren schlagen ein System vor, das Prefilling-dLLM genannt wird und wie ein hocheffizienter Bibliothekar arbeitet. Anstatt die ganze Bibliothek jedes Mal neu zu lesen, tut der Bibliothekar zwei Dinge:

Schritt A: Das „Prefilling“ (Die Bibliothek organisieren)

Bevor das Schreiben beginnt, nimmt der Bibliothekar den massiven Eingabetext (den „Präfix“) und zerlegt ihn in Häppchen (Chunks, wie zum Beispiel Kapitel in einem Buch).

Der Trick: Der Bibliothekar liest jedes Kapitel einmal, erstellt eine „Zusammenfassungskarte“ (einen sogenannten KV-Cache) dafür und stellt sie in ein Regal.
Die Innovation: Der Bibliothekar liest nicht jedes einzelne Wort in jedem Kapitel. Er nutzt einen speziellen Trick, um nur die wichtigsten Sätze aus jedem Kapitel zu behalten und den unnötigen Ballast wegzuwerfen. Dies macht die Zusammenfassungskarten viel kleiner und schneller handhabbar.

Schritt B: Das „Decode“ (Die Geschichte schreiben)

Wenn das Modell nun das nächste Wort schreiben muss, liest es nicht die ganze Bibliothek neu.

Die Auswahl: Das Modell fragt: „Welche Kapitel sind tatsächlich relevant für das, was ich gerade schreibe?“ Es nutzt ein intelligentes Bewertungssystem, um nur die top paar Kapitel (die relevantesten Häppchen) aus dem Regal zu wählen.
Die Effizienz: Es ignoriert die anderen 90 % der Bibliothek, die für diesen spezifischen Satz nicht benötigt werden. Es schaut nur auf die relevanten „Zusammenfassungskarten“, die es zuvor erstellt hat.

3. Warum dies ein Game-Changer ist

Das Paper behauptet, dass dieser Ansatz eine massive Beschleunigung bewirkt, weil:

Kein Neu-Lesen mehr: Die schwere Arbeit des Lesens des langen Textes findet einmalig zu Beginn statt.
Intelligentes Überspringen: Während der eigentlichen Schreibphase schaut das Modell nur auf einen winzigen Bruchteil des Textes (die relevantesten Häppchen), anstatt auf das Ganze.
Die Geschwindigkeit: Bei langen Kontexten (8.000 bis 32.000 Wörter) ist diese Methode 9- bis 28-mal schneller als bisherige Methoden, während sie gleichzeitig die richtigen Antworten liefert.

4. Das Rätsel um „Lost in the Middle“ lösen

Es gibt ein bekanntes Problem bei langen KI-Modellen namens „Lost in the Middle“ (In der Mitte verloren gehen). Stellen Sie sich eine Person vor, die eine lange Liste von Fakten liest; sie erinnert sich perfekt an die ersten paar und die letzten paar, aber sie vergisst den Inhalt in der Mitte komplett.

Die Lösung des Papers: Die Autoren haben herausgefunden, dass das Modell, indem es den Text in Häppchen zerlegt und ein spezielles „Anker“-Token (wie eine Kapitelüberschrift) an den Anfang jedes Häppchens setzt, Informationen überall im Text finden kann, selbst in der Mitte. Es ist wie ein Inhaltsverzeichnis, das perfekt funktioniert, sodass das Modell niemals den Faden verliert, egal wie lang die Geschichte ist.

5. Die Balance der „Chunk-Größe“

Das Paper hat auch getestet, wie groß diese „Kapitel“ sein sollten.

Zu groß: Wenn die Häppchen riesig sind, könnte das Modell wichtige Details in der Mitte des Textes übersehen.
Zu klein: Wenn die Häppchen winzig sind, verbringt der Computer zu viel Zeit mit der Verwaltung der Liste der Häppchen.
Der „Sweet Spot“: Sie fanden heraus, dass für sehr lange Texte die Verwendung vieler kleinerer Häppchen am besten funktioniert, um die Genauigkeit hoch zu halten.

Zusammenfassung

Prefilling-dLLM ist vergleichbar mit dem Wechsel von einem Schüler, der jedes Mal ein 500-seitiges Lehrbuch neu liest, bevor er eine Quizfrage beantwortet, zu einem Schüler, der einmalig einen klugen, kompakten Lernführer erstellt und dann nur die spezifischen Seiten aufschlägt, die er gerade braucht.

Das Ergebnis? Die KI kann viel längere Gespräche und Dokumente verarbeiten, ohne dass sie extrem langsam wird, und sie vergisst auch nicht die wichtigen Details, die in der Mitte des Textes verborgen sind.

Technisches Resümee: Prefilling-dLLM

Problemstellung

Diffusion Large Language Models (dLLMs) bieten eine vielversprechende Alternative zu autoregressiven (AR) Modellen, indem sie eine parallele Token-Generierung durch iteratives Denoising ermöglichen. dLLMs stehen jedoch vor einer kritischen Ineffizienz in Szenarien mit langem Kontext: In jedem Denoising-Schritt muss das Modell den gesamten Eingabepräfix erneut kodieren, um Self-Attention zu berechnen. Dies führt zu einer Rechenkomplexität, die quadratisch mit der Gesamtlänge der Sequenz skaliert ( $O((L_p + L_d)^2 \cdot T)$ , wobei $L_p$ die Präfixlänge, $L_d$ die Dekodierlänge und $T$ die Anzahl der Denoising-Schritte ist). Im Gegensatz zu AR-Modellen, bei denen die Prefill-Phase rechengebunden (compute-bound) und die Dekodierphase speichergebunden (memory-bound) ist, bleibt die Inferenz von dLLMs während aller Iterationen rechengebunden, da die vollständige Sequenz (Präfix + Antwort) in jedem Schritt gemeinsam verarbeitet wird. Diese wiederholte Neuberechnung des Präfixes wird für Anwendungen mit langem Kontext (z. B. 8K–32K+ Token) prohibitiv.

Methodik: PREFILLING-dLLM

Die Autoren schlagen PREFILLING-dLLM vor, ein trainingsfreies Prefill-Decode-Disaggregation-Framework, das darauf ausgelegt ist, die Präfix-Neuberechnung zu eliminieren und Sparsamkeit (Sparsity) einzuführen. Die Methode operiert in drei Stufen:

1. Chunked Prefill und KV-Caching

Anstatt das gesamte Präfix als einen einzigen Block zu verarbeiten, wird das Eingabepräfix in $N$ überlappungsfreie Chunks fester Größe $C$ unterteilt.

Unabhängige Verarbeitung: Jeder Chunk wird unabhängig mit Intra-Chunk-bidirektionaler Attention verarbeitet. Ein spezielles Beginning-of-Sequence (BOS)-Token wird jedem Chunk vorangestellt, um als Delimiter zu fungieren.
Prädiktive Bewertung: Um zu bestimmen, welche Chunks relevant sind, ohne Ground-Truth-Targets zu nutzen, generiert das Framework Pseudo-Labels ( $m$ $m$ ) über einen vorläufigen Diffusion-Pass. Es bewertet dann jeden Chunk anhand von zwei Signalen:
- Selbstinformation-Score ( $s_I$ ): Die negative Log-Likelihood des Query-Fensters unter der Bedingung des Chunks.
- Pseudo-Label-Score ( $s_P$ ): Die Likelihood der Pseudo-Labels unter der Bedingung des Chunks und der Query.
Selektion: Die Top- $K$ relevantesten Chunks werden basierend auf dem kombinierten Score ( $s = s_I + s_P$ ) ausgewählt. Die KV-Repräsentationen dieser ausgewählten Chunks werden gecacht.

2. Zwei-stufige Sparsity

Das Framework führt Sparsity sowohl auf Chunk- als auch auf Token-Ebene ein, um die Komplexität zu reduzieren:

Inter-Chunk-Sparsity: Nur die Top- $K$ Chunks nehmen während des Dekodierens am Attention-Mechanismus teil, anstatt der vollständige Satz von $N$ Chunks.
Intra-Chunk-Sparsity: Innerhalb eines ausgewählten Chunks werden die Token nach ihrem kumulativen bidirektionalen Attention-Gewicht mit den Query-Token gerankt. Nur die Top- $B$ relevantesten Token pro Chunk werden im KV-Cache behalten, wobei irrelevante Token verworfen werden.

3. Dekodierung mit statischer KV-Wiederverwendung

Während des iterativen Denoising-Prozesses:

Die gecachten KV-Repräsentationen der ausgewählten $K$ Chunks bleiben statisch und werden über alle $T$ Denoising-Schritte hinweg wiederverwendet.
Das Modell berechnet lediglich die KV-Repräsentationen für die Query und die sich entwickelnden Antwort-Token neu.
Dies reduziert die Komplexität pro Schritt von $O((L_p + L_d)^2 \cdot T)$ auf $O(N \cdot C^2 + (L_d^2 + K \cdot C) \cdot T)$ , was die Dekodierkosten effektiv von der vollen Präfixlänge entkoppelt.

Attention-Kernel-Optimierung

Um die Speicherengpässe zu adressieren, die durch das Laden nicht-kontinuierlicher Chunk-KV-Caches entstehen, implementieren die Autoren einen Split-S FlexAttention Kernel. Dieser Kernel parallelisiert das Dekodieren über die nicht-kontinuierlich gecachten Chunk-KVs, indem er die KV-Dimension partitioniert und die Chunks unabhängig verarbeitet, bevor die Ergebnisse via Log-Sum-Exp-Reduktion zusammengeführt werden, wodurch eine Zusammenführung der Daten in einen kontinuierlichen Speicher vermieden wird.

Wichtigste Erkenntnisse und Ergebnisse

Performance und Effizienz

Beschleunigung: Auf LongBench und InfiniteBench erreicht PREFILLING-dLLM eine 9,1- bis 28,0-fache Beschleunigung bei Kontextlängen von 8K bis 32K im Vergleich zu Standard-Transformer-Baselines.
Qualität: Die Methode erreicht eine State-of-the-Art-Qualität unter den dLLM-Beschleunigungsmethoden. Auf LongBench erzielt sie einen Durchschnittswert von 34,59 (Dream-7B) und 37,02 (UltraLLaMA), womit sie Baselines wie Fast-dLLM, Sparse-dLLM und dKV-Cache übertrifft.
Skalierung bei langem Kontext: Auf InfiniteBench (Kontexte > 128K) erreicht die Methode eine durchschnittliche Genauigkeit von 43,62 % auf Dream-7B und übertrifft damit signifikant die stärkste Baseline (Fast-dLLM v2 mit 30,32 %). Bemerkenswert ist, dass sie eine Genauigkeit von 95,42 % bei der Passkey-Retrieval-Aufgabe und 70,00 % bei der Number-Retrieval-Aufgabe erreicht.

Adressierung von „Lost-in-the-Middle“

Phänomen: Die Arbeit beobachtet, dass dLLMs unter Kontext-Extrapolation ein „Lost-in-the-Middle“-Phänomen zeigen, bei dem die Genauigkeit für Informationen in der Mitte des Kontexts abnimmt, was zu einem monotonen Abfall-Bias in Richtung der Antwort führt, statt der U-förmigen Kurve, die bei AR-Modellen zu sehen ist.
Abschwächung: Durch die Auswahl von Chunks basierend auf prädiktiver Relevanz anstatt auf Positionsnähe eliminiert PREFILLING-dLLM diesen Bias. Die Methode hält eine hohe Exact-Match-Genauigkeit über alle Positionen im Kontext aufrecht, selbst bei 32K und 128K Länge.

Mechanismus-Einblicke

Attention-Anker: Die jedem Chunk vorangestellten BOS-Token fungieren als periodische Attention-Anker. Analysen zeigen, dass diese Token die Attention-Masse gleichmäßig über den Kontext verteilen (sie bilden stabile, niedrig-magnitude Ridges), anstatt zu „Attention Sinks“ zu degenerieren, die eine unverhältnismäßig große Attention-Masse absorbieren. Dieser Mechanismus ermöglicht eine positionsinvariante Retrieval-Fähigkeit.
Chunk-Größen-Trade-off: Es gibt einen Trade-off zwischen der Chunk-Größe und der Retrieval-Genauigkeit. Kleinere Chunks (z. B. 256 Token) bewahren eine hohe Genauigkeit selbst bei 128K Kontexten, während größere Chunks (z. B. 4096 Token) jenseits von 32K stark an Qualität verlieren. Die Auswahl mehrerer Chunks (Multi-Chunk Selection) ist für die Inferenz mit langem Kontext essenziell.

Bedeutung und Ansprüche

Das Paper behauptet, dass PREFILLING-dLLM die Lücke zwischen der rechengebundenen Natur der dLLM-Inferenz und der Effizienz von Prefill-Decode-Disaggregation-Architekturen schließt, wie sie bei AR-Modellen verwendet werden. Die primären Beiträge sind:

Trainingsfreies Disaggregation: Es führt ein Framework ein, das die Präfix-KV-Repräsentationen einmalig cached und wiederverwendet, wodurch die quadratische Neuberechnungskosten des Präfixes in jedem Denoising-Schritt ohne Modell-Retraining eliminiert werden.
Spärliches Prefilling: Es demonstriert, dass spärliches Prefilling (Auswahl relevanter Chunks und Token) die dichte Attention in dLLMs übertreffen kann, was die Komplexität reduziert und gleichzeitig die Generierungsqualität verbessert oder beibehält.
System-Level-Optimierung: Es stellt einen spezialisierten Attention-Kernel (Split-S FlexAttention) bereit, der die chunkbasierte Struktur des Präfixes nutzt, um signifikante Latenzreduktionen (bis zu 10,2-mal schneller als Vanilla FlexAttention) während der Dekodierphase zu erreichen.
Robustheit gegenüber langem Kontext: Es zeigt, dass dieser Ansatz das „Lost-in-the-Middle“-Phänomen mildert und es dLLMs ermöglicht, effektiv auf 128K+ Token zu skalieren, eine Fähigkeit, die bisher bei dLLM-Beschleunigung kaum erforscht wurde.

Die Autoren weisen auf Limitationen hin, darunter die statische Natur der Chunk-Auswahl (keine dynamische Neuauswahl während des Dekodierens), die Notwendigkeit einer aufgaben-spezifischen Abstimmung von Chunk-Größe und $K$ sowie die Tatsache, dass die aktuelle Evaluierung auf englische Benchmarks beschränkt ist und sich auf spezifische Modellarchitekturen (Dream-7B und UltraLLaMA) bezieht.