💬 NLP

Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models

Das Papier stellt TIDE vor, das erste Framework für die architekturreibende Destillation von Diffusions-LLMs, das drei neuartige Komponenten einsetzt, um Wissen erfolgreich von heterogenen 8B- und 16B-Lehrmodellen auf ein 0,6B-Lernmodell zu übertragen und dabei in Benchmarks wie der Codegenerierung autoregressive Baselines deutlich zu übertreffen.

Ursprüngliche Autoren: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, weltklasse Koch (den Lehrer), der unglaubliche Mahlzeiten zubereiten kann, dafür jedoch eine riesige, industrielle Küche mit Milliarden von Dollar teurer Ausrüstung benötigt. Sie möchten einem jungen, talentierten Lehrling (dem Schüler) beibringen, diese gleichen Mahlzeiten zu kochen, doch der Lehrling verfügt nur über einen winzigen, tragbaren Campingkocher und einen kleinen Rucksack.

Das Problem? Der Koch und der Lehrling sprechen verschiedene Sprachen, verwenden verschiedene Rezepte, und der Koch gerät manchmal in Verwirrung, wenn die Küche zu dunkel oder unordentlich ist.

Diese Arbeit stellt TIDE vor, ein neues Lehrframework, das entwickelt wurde, um diese Lücke zu schließen. Es ist das erste System, das erfolgreich Wissen von einem riesigen, komplexen KI-Modell auf ein winziges, einfaches übertragen kann, selbst wenn sie unterschiedlich aufgebaut sind und verschiedene „Sprachen" sprechen.

So löst TIDE die drei Hauptprobleme dieser „Kochstunde" unter Verwendung einfacher Analogien:

1. Das Problem des Timings (TIDAL)

Die Herausforderung: In der Welt der Diffusionsmodelle (die Art von KI, die diese Arbeit verwendet) ist das Lehrermodell wie ein Koch, der nur zuverlässig ist, wenn die Küche gut beleuchtet ist.

Früh im Prozess (Niedriges Rauschen): Die Küche ist hell; der Koch sieht das gesamte Rezept klar und gibt perfekte Anweisungen.
Spät im Prozess (Hohes Rauschen): Die Küche ist stockdunkel; der Koch rät einfach wild herum.

Wenn Sie den Lehrling die Vermutungen des Kochs im Dunkeln hören lassen, wird der Lehrling schlechte Gewohnheiten lernen.

Die TIDE-Lösung (TIDAL):
TIDAL fungiert wie ein intelligenter Dimmer. Es dreht automatisch die Lautstärke der Stimme des Lehrers herunter, wenn die Küche dunkel ist (hohes Rauschen), und hoch, wenn die Küche hell ist (niedriges Rauschen). Es passt die Lautstärke zudem basierend darauf an, wie lange die Lektion bereits läuft. Dies stellt sicher, dass der Lehrling nur dann dem Lehrer zuhört, wenn der Lehrer sich tatsächlich sicher ist.

2. Das Problem fehlender Kontexte (COMPDEMO)

Die Herausforderung: Manchmal wird dem Koch befohlen, ein Gericht zu kochen, ihm werden aber nur die Hälfte der Zutaten gezeigt, weil die andere Hälfte in einem Nebel (Masken) verborgen ist. Wenn der Nebel dicht ist, kann der Koch nicht genug sehen, um eine gute Vermutung anzustellen.

Die TIDE-Lösung (COMPDEMO):
Anstatt dem Koch dasselbe neblige Bild zweimal zu zeigen, teilt TIDE den Nebel auf.

Durchgang 1: Der Koch sieht die linke Hälfte der Zutaten klar und rät die rechte Hälfte.
Durchgang 2: Der Koch sieht die rechte Hälfte klar und rät die linke Hälfte.
Das Ergebnis: Der Lehrling erhält ein „Super-Rezept", das die besten Vermutungen aus beiden Ansichten kombiniert. Es ist, als würde man dem Koch ein zweites Augenpaar geben, um die Lücken zu füllen, was die Anweisungen selbst im Nebel viel klarer macht.

3. Das Problem unterschiedlicher Sprachen (Reverse CALM)

Die Herausforderung: Der Lehrer spricht „Französisch" (eine spezifische Menge an Wortblöcken, sogenannte Tokens), und der Schüler spricht „Spanisch". Man kann dem Schüler nicht einfach sagen: „Der Lehrer hat 'Pomme' (Apfel) gesagt", weil der Schüler dieses Wort nicht kennt. Standard-Lehrmethoden scheitern hier.

Die TIDE-Lösung (Reverse CALM):
Anstatt zu versuchen, Wort für Wort zu übersetzen, betrachtet TIDE Bedeutungseinheiten (wie ganze Sätze oder Phrasen) statt einzelner Wörter.

Der Trick: Die meisten Lehrmethoden versuchen, den Schüler zu zwingen, die Wahrscheinlichkeit des Lehrers exakt zu matchen, was zu mathematischen Explosionen führt (wie beim Versuch, durch Null zu teilen), wenn die Sprachen nicht perfekt übereinstimmen.
Die Lösung: TIDE dreht den Spieß um. Anstatt den Schüler zu bitten, den Lehrer zu matchen, wird der Lehrer gebeten vorherzusagen, was der Schüler sagen würde. Dies schafft einen stabilen, sicheren Lernpfad, der das „Rauschen" der Sprachdiskrepanz herausfiltert. Es ist, als würde der Lehrer den Aufsatz des Schülers basierend auf der Idee bewerten, nicht basierend auf der spezifischen Rechtschreibung jedes einzelnen Wortes.

Die Ergebnisse: Ein winziges Modell, das über sein Gewicht hinausgeht

Die Forscher testeten dies, indem sie einen massiven 16-Milliarden-Parameter-Lehrer und einen 8-Milliarden-Parameter-Lehrer nahmen und sie in einen winzigen 0,6-Milliarden-Parameter-Schüler destillierten.

Speicherbedarf: Der riesige Lehrer benötigte 31 GB Speicher (wie ein Supercomputer). Der winzige Schüler benötigt nur 1,4 GB (wie ein Standard-Laptop). Das ist eine 22-fache Reduzierung.
Geschwindigkeit: Der Schüler ist 5-mal schneller als der riesige Lehrer.
Leistung: Trotz seiner Winzigkeit übertraf der Schüler die ursprünglichen „Standard"-kleinen Modelle. Am beeindruckendsten war, dass der Schüler bei Coding-Aufgaben (wie dem Schreiben von Computerprogrammen) in einem Standardtest 48,78 Punkte erreichte, während das beste Standard-Kleinmodell nur 32,3 Punkte erreichte.

Das Fazit

TIDE beweist, dass man keinen Supercomputer benötigt, um superkluge Ergebnisse zu erzielen. Indem man sorgfältig steuert, wann der Schüler zuhört, wie der Lehrer Dinge erklärt und wie sie zwischen verschiedenen Sprachen übersetzen, kann man das Genie eines riesigen KI-Modells in ein winziges, tragbares Paket komprimieren, das auf alltäglicher Hardware läuft.

1. Problemstellung

Diffusion Large Language Models (dLLMs) bieten erhebliche Vorteile gegenüber autoregressiven (AR) Modellen, darunter paralleles Decodieren und bidirektionaler Kontext. Allerdings erfordern state-of-the-art dLLMs massive Parameterzahlen (8B–100B+), um wettbewerbsfähige Leistungen zu erzielen, was eine Hürde für den Einsatz darstellt.

Während Wissensdistillation eine Standardlösung zur Komprimierung von Modellen ist, konzentrieren sich bestehende Methoden für dLLMs (z. B. CDLM, DDD) ausschließlich auf die Schrittkomprimierung innerhalb einer einzelnen Architektur (gleiche Lehrer- und Schülerarchitektur/-Tokenizer). Sie adressieren keine Cross-Architecture Distillation, bei der sich Lehrer und Schüler unterscheiden in:

Architektur & Aufmerksamkeit: (z. B. MoE vs. Dense, Bidirektional vs. Kausal).
Tokenisierer: Unterschiedliche Vokabulare machen eine standardmäßige Token-Level-Wahrscheinlichkeitsanpassung mathematisch nicht anwendbar.
Temporale Dynamik: Bei Diffusion schwankt die Zuverlässigkeit des Lehrers drastisch in Abhängigkeit vom Rauschpegel (Zeitstufe), im Gegensatz zu AR-Modellen, bei denen der Lehrer stets den vollständigen linken Kontext sieht.

2. Methodik: Das TIDE-Framework

Die Autoren schlagen TIDE (Turning the TIDE) vor, das erste einheitliche Framework für die cross-architektonische dLLM-Distillation. Es besteht aus drei modularen Komponenten, die entwickelt wurden, um zeitliche, räumliche und vokabuläre Barrieren zu überwinden.

A. TIDAL (Time-Iteration Dual-Axis Lambda Modulation)

Herausforderung: Die Zuverlässigkeit des Lehrers variiert mit der Diffusionszeitstufe ( $t$ ). Bei hohem Rauschen ( $t \approx 1$ ) rät der Lehrer; bei niedrigem Rauschen ( $t \approx 0$ ) ist der Lehrer zuverlässig. Zudem entwickelt sich die Kapazität des Schülers während des Trainings weiter.
Lösung: TIDAL moduliert die Distillationsstärke ( $\lambda_t$ $λ_{t}$ ) entlang zweier Achsen:
1. Diffusionszeitstufe: $\lambda_t = \lambda_{train} \times (1 - t)$ . Mit zunehmendem Rauschen nimmt die Abhängigkeit vom Lehrer ab, um zu vermeiden, dass verrauschte Signale gelernt werden.
2. Trainingsfortschritt: $\lambda_{train}$ folgt einem Cosinus-Schema, beginnt niedrig (schülerdominiert), um einen Kollaps zu verhindern, und steigt auf hoch (lehrerdominiert) an, sobald sich das Training stabilisiert.
Mechanismus: Die Zielverteilung ist eine Interpolation zwischen den Logits von Schüler und Lehrer, die vom Berechnungsgraphen getrennt ist, um den Gradientenfluss durch das gemischte Ziel zu verhindern.

B. COMPDEMO (Complementary Demonstration-Conditioned Denoising)

Herausforderung: Bei starker Maskierung (hohes Rauschen) erhält der Lehrer unzureichenden Kontext, was zu schlechten Vorhersagen führt.
Lösung: Die maskierten Positionen ( $M$ $M$ ) werden in zwei komplementäre Teilmengen ( $M_A, M_B$ $M_{A}, M_{B}$ ) aufgeteilt.
- Pass 1: Der Lehrer sieht $M_A$ freigelegt (sauber) und $M_B$ maskiert.
- Pass 2: Der Lehrer sieht $M_B$ freigelegt (sauber) und $M_A$ maskiert.
Mechanismus: Die Logits des Lehrers aus beiden Durchläufen werden zusammengeführt. Dies bereichert den Kontext für den Lehrer, senkt effektiv die „effektive Zeitstufe" und liefert selbst bei hohem Rauschpegel hochwertigere Demonstrationsignale für den Schüler.

C. Reverse CALM (Cross-Token Alignment via Reverse Likelihood)

Herausforderung: Wenn Lehrer und Schüler unterschiedliche Tokenisierer verwenden ( $V_T \neq V_S$ ), ist die Token-Level-KL-Divergenz undefiniert. Standard-Chunk-Level-Anpassungen (wie CALM) verwenden oft einen „Forward" Binary Cross-Entropy (BCE)-Verlust.
Problem mit Forward CALM: Der Gradient enthält einen Term $p_t^c / p_s^c$ . Wenn der Schüler einer Chunk eine niedrige Wahrscheinlichkeit zuweist, bei der der Lehrer zuversichtlich ist ( $p_s \to 0, p_t \to 1$ ), explodiert der Gradient.
Lösung: Reverse CALM kehrt die Richtung des BCE-Verlusts um: $L = -[p_s \log p_t + (1-p_s) \log(1-p_t)]$ .
Mechanismus:
- Begrenzte Gradienten: Der Gradientenkoeffizient wird zu $\log(p_t / (1-p_t))$ , der nur vom festen Lehrer abhängt und beschränkt ist.
- Dual-End-Rauschfilterung: Schlecht ausgerichtete Chunks (wo $p_t \approx 0.5$ ) setzen den Koeffizienten auf null, und eine niedrige Schülerwahrscheinlichkeit unterdrückt Rauschen. Dies wirkt als „mode-seeking"-Ziel im skalaren Raum.

3. Experimentelles Setup

Schülermodell: 0,6B Parameter Block Diffusion Modell (BD3LM).
Lehrermodelle:
1. LLaDA2.0-mini (16B MoE): Heterogene Architektur, unterschiedlicher Tokenisierer (Cross-Tokenizer-Pipeline).
2. WeDLM-8B-Instruct (8B Dense): Gemeinsame Tokenisierer-Familie (Shared-Tokenizer-Pipeline).
Benchmarks: 8 Aufgaben, einschließlich Reasoning (GSM8K, MATH, BBH), Wissen (MMLU, MMLU-Pro), Common Sense (HellaSwag) und Code (HumanEval, MBPP).

4. Wichtige Ergebnisse

Gesamtleistung: Die distillierten 0,6B-Modelle übertrafen die nicht-distillierte 0,6B-Baseline im Durchschnitt um +1,53 Punkte über alle Benchmarks hinweg.
Code-Generierung (HumanEval): Die distillierten Modelle erzielten einen massiven Leistungssprung:
- 48,78 (Distilliert) vs. 32,30 (AR-Baseline gleicher Größe).
- Dies entspricht einem Gewinn von +16,48 Punkten und zeigt, dass dLLMs bei Distillation bei strukturierten Generierungsaufgaben wie Code hervorragend abschneiden.
Pipelinespezifität:
- Cross-Tokenizer: Die Reverse CALM-Strategie war überlegen und bestätigte die Notwendigkeit begrenzter Gradienten für nicht übereinstimmende Vokabulare.
- Shared-Tokenizer: Die TIDAL + COMPDEMO-Strategie war überlegen und nutzte die exakte Tokenausrichtung für progressives Curriculum-Learning.
Effizienz:
- Speicher: 22-fache Reduktion im Vergleich zum 16B-Lehrer (1,4 GB vs. 31,3 GB).
- Geschwindigkeit: 5-mal schnellere Inferenz als der 16B-Lehrer.
- Overhead: Distillation fügt einen vernachlässigbaren Overhead hinzu (~2,6 % Durchsatzabfall) im Vergleich zum undistillierten Schüler.

5. Bedeutung und Beiträge

Erstes Cross-Architecture-Framework: TIDE ist die bahnbrechende Arbeit, die Wissensübertragung zwischen dLLMs unterschiedlicher Architekturen und Tokenisierer ermöglicht, eine bisher unerforschte Lücke.
Neuartige Komponenten:
- TIDAL löst die zeitliche Instabilität der Diffusionsdistillation.
- COMPDEMO löst das Problem des Kontextmangels bei maskierter Diffusion.
- Reverse CALM bietet eine mathematisch stabile Lösung für die cross-tokenisierende Distillation und vermeidet Gradientenexplosion.
Praktischer Einsatz: Das Framework beweist, dass hochleistungsfähige dLLMs in kleine, einsetzbare Modelle (0,6B) komprimiert werden können, die auf handelsüblicher Hardware laufen und dabei die bidirektionalen und parallelen Vorteile der Diffusion beibehalten.
Durchbruch bei der Code-Generierung: Die Ergebnisse deuten darauf hin, dass die parallele Natur des Diffusions-Decodierens, wenn sie von einem starken Lehrer geleitet wird, einzigartig geeignet ist für Aufgaben, die globale Kohärenz erfordern, wie z. B. Programmierung.

Fazit

TIDE schließt erfolgreich die Lücke zwischen großen, teuren Diffusionsmodellen und kleinen, einsetzbaren Modellen. Durch die Bewältigung der einzigartigen Herausforderungen der zeitlichen Zuverlässigkeit, des Kontextmangels und der Vokabular-Inkompatibilität etabliert es einen neuen Standard für den effizienten dLLM-Einsatz und hebt insbesondere das Potenzial von Diffusionsmodellen bei der Code-Generierung hervor.