🤖 machine learning

UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective

Das Papier schlägt UNIFUSION vor, ein vereinheitlichtes Framework, das Verbindungen zwischen verschiedenen diskreten Diffusionszielen herstellt, um die direkte Anpassung vortrainierter autoregressiver Modelle an Uniform-Noise-Diffusion zu ermöglichen und damit Spitzenleistungen sowohl in der generativen Qualität als auch in der Genauigkeit bei Downstream-Aufgaben zu erzielen.

Ursprüngliche Autoren: Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

Veröffentlicht 2026-07-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Geschichtenschreiben beizubringen. Lange Zeit war der beste Weg, dies zu tun, dem Roboter beizubringen, ein Wort nach dem anderen zu schreiben, von links nach rechts, so wie ein Mensch einen Satz tippt. Diese Methode, genannt „autoregressives“ Lernen, ist großartig, weil sie schnell ist und der Roboter viel über Sprachregeln lernt. Aber sie hat einen großen Makel: Sobald der Roboter ein Wort geschrieben hat, kann er nie wieder zurückgehen und es ändern. Wenn er in den ersten Satz einen Fehler macht, kann die ganze Geschichte ruiniert werden, weil er seine Vergangenheit nicht bearbeiten kann.

Kürzlich haben Wissenschaftler einen anderen Ansatz ausprobiert, der „diskrete Diffusion“ genannt wird. Anstatt Wort für Wort zu schreiben, beginnt diese Methode mit einem vollständigen Satz, der durcheinandergebracht oder mit Rauschen „verunreinigt“ wurde, und der Roboter lernt, diesen aufzuräumen, indem er nach und nach ein Wort nach dem anderen korrigiert, bis der Satz perfekt ist. Das ist so, als würde man ein unordentliches Zimmer nehmen und es langsam organisieren. Das Problem ist, dass die meisten dieser neuen „Aufräum“-Roboter von Grund auf neu trainiert werden, wodurch sie das gesamte Sprachwissen der alten „Wort-für-Wort“-Roboter verschwenden. Zudem verwenden viele dieser neuen Roboter eine spezifische Art von Rauschen, bei der sie Wörter hinter einer „Maske“ (wie einer schwarzen Box) verstecken. Das bedeutet, dass der Roboter nur die verborgenen Teile korrigieren kann, nicht aber die Wörter, die bereits sichtbar sind. Die große Frage war: Können wir einen smarten, vortrainierten „Wort-für-Wort“-Roboter nehmen und ihn sofort in einen leistungsfähigen „Aufräum“-Roboter verwandelt, der jedes Wort in einem Satz korrigieren kann, selbst die, die nicht verborgen sind?

Dieses Paper mit dem Titel „Unifusion“ sagt ja und zeigt, wie man es macht. Die Forscher entdeckten, dass trotz der unterschiedlichen mathematischen Formeln, die verschiedene „Aufräum“-Roboter verwenden, alle im Grunde versuchen, dasselbe zugrunde liegende Problem zu lösen: vorherzusagen, wie schnell ein Wort von einem Zustand in einen anderen springen sollte. Sie nennen dies die „Reverse Rate“ (Umkehrrate). Indem sie erkannten, dass all diese verschiedenen Methoden eigentlich nur verschiedene Dialekte derselben Sprache sprechen, erschufen sie einen universellen Übersetzer. Dieser Übersetler ermöglicht es ihnen, das Wissen eines Standard-„Wort-für-Wort“-Modells (wie GPT-2) direkt auf ein „Uniform-Noise“-Diffusionsmodell zu übertragen.

Die entscheidende Innovation ist, dass dieses neue Modell, Unifusion, keine Wörter hinter Masken verstecken muss. Stattdessen behandelt es jedes einzelne Wort im Satz als bearbeitbar, genau wie man jedes Wort in einem Google Doc bearbeiten kann. Die Forscher testeten dies, indem sie zwei Versionen eines vortrainierten Modells (eines mit 124 Millionen Parametern und eines mit 355 Millionen) trainierten, um „Aufräum-Künstler“ zu werden. Sie fanden heraus, dass die Qualität des Textes stetig anstieg, wenn sie dem Modell mehr Zeit zum Nachdenken gaben (Erhöhung der Schritte von 16 auf 256).

Beim Maximum von 256 Schritten erreichte das kleinere Modell (Unifusion-S) eine „generative Perplexität“ (ein Maß dafür, wie verwirrt das Modell durch den von ihm erzeugten Text ist) von 97,783, während das größere Modell (Unifusion-M) 71,516 erreichte. Noch wichtiger ist, dass diese Modelle nicht nur flüssigen Text erzeugten, sondern auch eine hohe „Unigram-Entropie“ beibehielten, was eine schicke Art zu sagen ist, dass der Text vielfältig war und nicht dazu neigte, dieselben Phrasen oder Muster zu wiederholen. Tatsächlich war bei 256 Schritten kein anderes getestetes Modell derselben Größe in der Lage, Unifusion gleichzeitig in Bezug auf Flüssigkeit und Vielfalt zu schlagen.

Das Paper zeigte auch, dass diese direkte Konvertierung besser funktioniert als der alte Weg, von „Wort-für-Wort“ zu „Masked Diffusion“ und dann zu „Uniform Diffusion“ zu gehen. Indem sie den Zwischenhändler übersprangen, erreichte Unifusion die gleiche hohe Qualität viel effizienter. Bei Tests mit realen Logikrätseln und Fragen zum gesunden Menschenverstand (wie WinoGrande und SIQA) übertrafen diese neuen Diffusionsmodelle alle anderen Diffusionsmodelle ihrer Größe, was beweist, dass sie nicht nur lernten, Rauschen aufzuräumen, sondern auch die klugen Denkfähigkeiten ihres ursprünglichen „Wort-für-Wort“-Trainings beibehalten haben.

Kurz gesagt ist Unifusion wie die Eigenschaft, einen Meisterkoch zu nehmen, der daran gewöhnt ist, eine Mahlzeit Zutat für Zutat zuzubereiten, und ihm eine neue Technik beizubringen, bei der er den gesamten Topf Suppe auf einmal probieren und anpassen kann, ohne seine jahrelange kulinarische Erfahrung wegwerfen zu müssen. Das Ergebnis ist ein Modell, das Text generieren kann, der sowohl flüssig als auch kreativ vielfältig ist, indem es einfach lernt, den ganzen Satz auf einmal zu bearbeiten.

Technisches Resümee: Unifusion

Problemstellung

Bestehende Methoden zur Anpassung vortrainierter autoregressiver (AR) Sprachmodelle an diskrete Diffusion stützen sich typischerweise auf eine Absorptionsmasken-Korruption (absorbing mask corruption). Während diese Wahl natürlich mit dem AR-Training verknüpft ist (da die AR-Dekodierung eine spezifische Reihenfolge der Token-Enthüllung darstellt), erzwingt sie eine signifikante Einschränkung: Sobald ein Token enthüllt wurde, kann es während des Sampling-Prozesses nicht mehr bearbeitet werden. Dies führt häufig zu Generierungsproblemen wie Repetitionen, Template-Kollaps oder der Erzeugung unsinniger Fragmente, wenn das Sampling-Budget erhöht wird.

Im Gegensatz dazu ersetzt die Uniform-Noise-Diffusion Tokens durch Vokabular-Elemente anstatt durch ein spezielles Masken-Symbol, wodurch alle Positionen während des Samplings editierbar bleiben. Dies bietet das Potenzial für höhere lexikalische Diversität und bessere Kontrolle. Die direkte Anpassung von AR-Checkpoints an die Uniform-Diffusion war jedoch bisher eine Herausforderung, da existierende diskrete Diffusionsmodelle (SEDD, MDLM/GIDD, M2S, Neural CTMC) unterschiedliche Parametrisierungen der Vorhersage (z. B. konkrete Scores, Clean-Tokens, Posterior-Mittelwerte oder Exit-Raten) und distinkte Verlustfunktionen verwenden. Diese Unterschiede verschleiern, ob die Methoden grundlegend unterschiedliche Reverse-Prozesse lernen oder lediglich denselben Prozess mit unterschiedlichen Ausgaben beschreiben, und sie verhindern die direkte Wiederverwendung von AR-Ausgaben für Uniform-Kernel.

Methodik

1. Vereinheitlichung der diskreten Diffusion im Reverse-Rate-Raum

Die Autoren stellen eine theoretische Verbindung zwischen vier bedeutenden Frameworks der diskreten Diffusion her: SEDD, MDLM/GIDD, M2S und Neural CTMC.

Vereinheitlichtes Ziel: Sie zeigen auf, dass die bedingten Verluste aller vier Methoden als ein einziges generalisiertes Kullback–Leibler-Ziel (KL-Objective) über die Modell-Reverse-Raten ausgedrückt werden können. Durch die Abbildung der spezifischen Ausgaben jeder Methode (Scores, Tokens, Mittelwerte oder Raten) auf die induzierten Off-Diagonal-Reverse-Raten zeigen die Autoren, dass das zugrunde liegende Optimierungsziel identisch ist.
Konvertierungs-Theoreme: Die Arbeit leitet explizite mathematische Konversionen her, um eine Clean-Token-Vorhersage ( $x_0$ ) in die spezifischen Parametrisierungen zu übersetzen, die für SEDD, M2S und Neural CTMC erforderlich sind. Dies schafft eine gemeinsame Schnittstelle, über die eine einzige $x_0$ -Vorhersage jede dieser Parametrisierungen steuern kann.
Kernel-Agnostik: Die Verteilung der Clean-Tokens $x_\theta(x_0 | x_t, t)$ beantwortet dieselbe Frage, unabhängig vom Korruptions-Kernel: „Welches Vokabular-Token besetzte diese Position vor der Korruption?“ Einmal vorhergesagt, konvertiert der bekannte Forward-Kernel diese Vorhersage in die notwendigen Reverse-Raten. Dies überbrückt die Lücke zwischen der AR-Initialisierung und der Uniform-Diffusion.

2. Der Unifusion-Ansatz

Aufbauend auf diesen theoretischen Verbindungen schlagen die Autoren Unifusion vor, eine einfache Strategie des kontinuierlichen Pre-Trainings, um vortrainierte GPT-2-Checkpoints direkt an die Uniform-Noise-Diffusion anzupassen, ohne eine zwischengeschaltete Masked-Diffusion-Stufe zu nutzen.

Initialisierung: Die Methode nutzt die inhärente Struktur von AR-Modellen. Die Next-Token-Verteilung eines AR-Checkpoints für Position $i$ gegeben $x_{<i}$ wird um eine Position verschoben, um als initiale Vorhersage für das Clean-Token $x_0$ an Position $i$ zu dienen.
Trainingsdynamik:
- Attention Annealing: Das Modell geht von kausaler Attention (verwendet im AR-Pretraining) zu voll-bidirektionaler Attention über die sichtbaren korrumpierten Tokens über. Dies ermöglicht es dem Modell, den vollen Kontext während der Optimierung schrittweise zu öffnen.
- Zeit-Konditionierung: Da AR-Checkpoints keine Zeit-Konditionierung besitzen, lernt das Modell zeitabhängige Parameter während des Fine-Tunings, während es die AR-Initialisierung für andere Gewichte beibehält.
- Korruptions-Schema: Das Modell wird mit einem linearen Uniform-Korruptions-Schema ( $\alpha_t = 1-t, \beta_t = t$ ) und einem Uniform-Prior trainiert.

Zentrale Beiträge

Theoretische Vereinheitlichung: Die Arbeit vereinheitlicht die bedingten Verluste von SEDD, MDLM/GIDD, M2S und Neural CTMC im Reverse-Rate-Raum und beweist, dass diese unter demselben Forward-CTMC und derselben Noise-Schedule äquivalent sind. Sie liefert explizite Konversionsformeln zwischen Clean-Token-Vorhersagen und allen vier Parametrisierungen.
Direkte AR-zu-Uniform-Adaption: Durch die Nutzung von Clean-Token- $x_0$ -Vorhersagen als Brücke ermöglichen die Autoren die direkte Anpassung vortrainierter AR-Modelle an Uniform-Diffusion-Kernel und umgehen so die Notwendigkeit zwischengeschalteter Masked-Diffusion-Checkpoints.
Empirische Validierung: Die Studie trennt die Äquivalenz im Rate-Raum von der Optimierung bei endlichem Budget und zeigt, dass trotz theoretischer Äquivalenz die nativen Trainingspfade variieren. Unifusion demonstriert, dass das direkte AR-zu-Uniform-Training eine Performance erreicht, die mit zweistufigen Masked-Pfaden vergleichbar ist, jedoch überlegene Trade-offs in der Generationsqualität bietet.

Ergebnisse

Die Autoren evaluierten Unifusion auf 124M (Unifusion-S) und 355M (Unifusion-M) Parametern abgeleitet von GPT-2.

Generative Perplexity (GenPPL) vs. Entropie: Unifusion verbessert stetig den Trade-off zwischen GenPPL und Unigram-Entropie, wenn das Sampling-Budget von 16 auf 256 Schritte erhöht wird.
- Bei 256 Schritten erreichte Unifusion-S eine GenPPL von 97,783 mit einer Entropie von 5,2626.
- Bei 256 Schritten erreichte Unifusion-M eine GenPPL von 71,516 mit einer Entropie von 5,6669.
- Kein evaluiertes Modell derselben Skala übertraf Unifusion gleichzeitig auf beiden Metriken. Beispielsweise erreichten einige Baselines zwar eine niedrigere GenPPL, litten aber unter signifikant niedrigerer Entropie (was auf Repetition oder Kollaps hindeutet), während Unifusion eine hohe lexikalische Diversität beibehielt.
Downstream-Genauigkeit: Unifusion-Modelle erzielten die höchste Zero-Shot-Genauigkeit unter den verglichenen Diffusionsmodellen auf WinoGrande, SIQA und BBH, wobei sie sowohl ihre GPT-2-Initialisierungen als auch andere Diffusion-Baselines wie DiffuGPT und SEDD übertrafen.
Sampling-Effizienz: Der 64-Schritte-Punkt von Unifusion-M dominierte bereits den 256-Schritte-Punkt von DiffGPT-M im Pareto-Sinne, was auf eine hohe Effizienz im Sampling-Budget hindeutet.

Signifikanz und Behauptungen

Das Paper behauptet, dass Unifusion die „offene Frage“ erfolgreich beantwortet, wie man direkt von einem AR-Checkpoint zu einem Uniform-Noise-Diffusionsmodell gelangt. Durch die Vereinheitlichung der theoretischen Landschaft der diskreten Diffusion und die Nutzung der Clean-Token-Schnittstelle zeigen die Autoren:

Uniform-Diffusion kann die AR-Initialisierung effektiv erben, ohne eine zwischengeschaltete Masked-Diffusion-Stufe zu benötigen.
Direkte Anpassung führt zu einem überlegenen Gleichgewicht zwischen Fluenz (niedrige GenPPL) und Diversität (hohe Entropie) im Vergleich zu bestehenden Methoden.
Die theoretische Äquivalenz verschiedener diskreter Diffusionsverluste erlaubt flexible Implementierungsentscheidungen bei gleichzeitiger Aufrechterhaltung eines konsistenten Optimierungsziels im Reverse-Rate-Raum.

Die Arbeit legt nahe, dass die Wahl des Korruptions-Kernels (Maske vs. Uniform) eine kritische Designentscheidung ist, die die Generationsqualität beeinflusst, und dass Uniform-Kernel – wenn sie korrekt von AR-Modellen adaptiert werden – einen robusteren Generationsprozess bieten, der die bei Masked-Diffusion häufig auftretenden Repetitionsprobleme vermeidet.