Technisches Resümee: RADLADS

Problemstellung

Obwohl Varianten der linearen Aufmerksamkeit (wie RWKV und Mamba) erhebliche Vorteile gegenüber traditionellen Softmax-Attention-Transformern bieten – insbesondere eine $O(1)$ Inferenzzeit pro Token und eine konstante Speichernutzung durch Vermeidung von Key-Value-Caches –, bleibt das Training großskaliger linearer Modelle von Grund auf prohibitiv teuer. State-of-the-Art (SoTA) Transformer-Modelle erfordern oft das Training auf über zehn Billionen Tokens, was eine Kostenstruktur darstellt, die für die meisten Organisationen unzugänglich ist. Bestehende Methoden zur Konvertierung prätrainierter Softmax-Transformer in lineare oder rekurrenten Modelle (z. B. T2R, SUPRA, LoLCats, MOHAWK) erforderten historisch gesehen massive Token-Mengen (im Bereich von 20 Mrd. bis 100 Mrd.+ Tokens) oder führten zu einer schlechten Performance in Downstream-Benchmarks, insbesondere bei MMLU. Darüber hinaus verlassen sich viele Konvertierungsversuche auf hybride Architekturen (die einen Teil der Softmax-Attention beibehalten) oder scheitern daran, die Qualität der ursprünglichen Teacher-Modelle zu erreichen.

Methodik

Die Autoren präsentieren RADLADS (Rapid Attention Distillation to Linear Attention Decoders at Scale), ein Protokoll, das darauf ausgelegt ist, Softmax-Attention-Transformer mit minimalem Rechenaufwand in lineare Attention-Decoder-Modelle zu konvertieren. Der Prozess umfasst drei primäre Stufen und spezifische architektonische Anpassungen:

1. Das RADLADS-Protokoll

Die Konvertierung ist ein dreistufiger Prozess, der nur 350–700 Millionen Tokens erfordert (weniger als 0,005 % der Pre-Training-Daten des Teachers):

• Setup (Transfer von Attention-Gewichten): Die attention-bezogenen Gewichte ($W_q, W_k, W_v, W_o$) des Teacher-Modells werden direkt auf die Sequence-Mixing-Layer des Student-Modells übertragen. Andere Gewichte werden mittels Standard-Pre-Training-Methoden initialisiert oder so gesetzt, dass sie das Verhalten des Teachers imitieren, ohne unmittelbare Auswirkungen zu haben.
• Schritt 1: Ausrichtung des Attention-Hidden-States (Attention Hidden State Alignment): Die Sequence-Mixing-Layer des Student-Modells werden darauf trainiert, die Hidden-State-Outputs der entsprechenden Attention-Layer des Teachers zu approximieren. Dies erfolgt unter Verwendung einer L2-Distanz (oder MSE) als Objektivfunktion. Die Autoren stellten fest, dass die Verwendung eines Gated Linear Attention Kernels (durch Entfernen von Off-by-one-Decay- und Bonus-Termen) eine engere Anpassung an die Hidden States des Teachers ermöglicht als Standard-RWKV-6.
• Schritt 2: Wissensdestillation (Knowledge Distillation): Das gesamte Student-Modell wird trainiert, um die Output-Logits des Teachers mittels einer Kullback-Leibler-Divergenz-Loss zu approximieren. Die Autoren hypothetisieren, dass faktisches Wissen primtär in den MLPs und Embeddings des Teachers residiert; daher werden die Lernraten für diese Komponenten niedrig gehalten oder fixiert, um katastrophales Vergessen zu verhindern, während der Sequence-Mixer aggressiver trainiert wird.
• Schritt 3: Kontextlängen-Erweiterung (Optional): Das Modell wird auf längeren Sequenzen (bis zu 16k Tokens) unter Verwendung eines Standard-Cross-Entropy-Loss ohne Teacher-Modell feinjustiert, um die Long-Context-Fähigkeiten zu verbessern. Alternativ schlagen die Autoren Schritt 2a vor, welcher die Sequenzlänge bereits während der Destillationsphase auf 4096 erweitert, was einen separaten Schritt 3 potenziell überflüssig macht.

2. Neue Architekturen

Die Autoren identifizierten, dass Standard-RWKV-Architekturen nicht immer optimal für die Konvertierung waren. Sie führten zwei neue Varianten ein:

• RAD-RWKV6 ("RADFinch"): Eine Modifikation von RWKV-6 unter Verwendung eines Gated Linear Attention Kernels und State-Balancing-Techniken zur Verbesserung von Stabilität und Fit.
• RAD-RWKV7 ("RADGoose"): Eine Modifikation von RWKW-7, die den "Tokenshift"-Mechanismus (der in diesem Kontext keinen Nutzen bot) entfernt und Rotary Positional Embeddings (RoPE) direkt anwendet. Diese Architektur zeigte eine schnellere Konvergenz und einen geringeren Destillations-Loss im Vergleich zu unveränderten RWKV-7-Modellen.

3. Hyperparameter und Daten

• Datensatz: Die Autoren entschieden sich für DCLM (DataComp-LM) für alle Konvertierungsschritte und fanden, dass dieser im Vergleich zu FineWeb oder FineWeb-Edu für die Konvertierung von Qwen-Modellen überlegen ist.
• Lernraten: Ein Cosine-Annealing-Schedule wird in Schritt 1 verwendet, beginnend hoch ($10^{-3}$), um die Hidden States auszurichten, und endend nahe der finalen Pre-Training-Lernrate des Teachers ($10^{-5}$). Die Schritte 2 und 3 verwenden eine flache Lernrate.

Zentrale Beiträge

1. RADLADS Distillations-Rezept: Ein detailliertes, schrittweises Protokoll inklusive spezifischer Hyperparameter, Token-Zahlen und Datensatzwahl, das eine hochwertige Konvertierung mit minimalem Datenaufwand ermöglicht.
2. Neue Architekturen: Die Einführung von RAD-RWKV6 und RAD-RWKV7, die für den Konvertierungsprozess optimiert sind und im Vergleich zu ihren unveränderten Vorgängern eine schnellere Inferenz und eine bessere Ausrichtung auf die Teacher-Modelle ermöglichen.
3. Großskalige Modelle: Die erfolgreiche Konvertierung populärer Open-Source Qwen2.5 Modelle in Linear-Attention-Varianten in den Größenordnungen 7B, 32B und 72B Parameter.
4. Open Source Release: Die Veröffentlichung von Code und konvertierten Modellen (QRWKV6/7-7B/32B/72B) unter der Apache 2.0 Lizenz (mit Einschränkungen durch die Qwen-Lizenz für das 72B Modell), was anderen die Replikation des Prozesses ermöglicht.

Ergebnisse

Die konvertierten Modelle erreichen eine State-of-the-Art Performance unter den reinen rekurrenten Modellen ihrer Größe:

• Effizienz: Die Konvertierung eines 72B-Modells kostet weniger als 2.000 USD und erfordert lediglich ~700M Tokens.
• Performance: In Standard-Benchmarks (Lambada, MMLU, ARC, etc.) übertreffen die RADLADS-Modelle konsistent andere Konvertierungsmethoden (z. B. SUPRA, LoLCats, MOHAWK, ARWKV).
  • Das QRWKV7-7B-Instruct erreicht einen relativen MMLU-Score von 92,4 % im Vergleich zu seinem Teacher und übertrifft damit andere 7B-Konvertierungen signifikant.
  • Das QRWKV6-72B-Instruct erreicht einen relativen MMLU-Score von 89,9 % und setzt damit einen neuen SoTA für reine RNN-Sprachmodelle in dieser Größenordnung.
• Inferenzgeschwindigkeit: Aufgrund des linearen Attention-Mechanismus zeigen die konvertierten Modelle signifikante Geschwindigkeitsvorteile gegenüber den Teacher-Modellen, wenn die Kontextlänge steigt. Beispielsweise ist das 32B QRWKV7 Modell bei 8k Input-Tokens und 256 Output-Tokens 1,61-mal schneller als das Qwen3-32B Teacher-Modell; bei 6k Input und 2k Output erreicht die Beschleunigung das 3,41-fache.

Limitationen und Behauptungen

Das Paper räumt bescheiden einige Limitationen ein:

• Reasoning und Long Context: Während die Performance in Standard-Benchmarks stark ist, zeigen die Modelle Einschränkungen bei komplexen Reasoning-Aufgaben (z. B. Minerva Math) und sehr langen Kontext-Aufgaben (z. B. RULER), bei denen sie sich nicht so effektiv mit zusätzlichen Output-Tokens verbessern wie die Teacher-Modelle.
• Architektur-Sensitivität: Jedes neue Architekturdesign erfordert akribische Tests, um die Kompatibilität mit dem RADLADS-Protokoll sicherzustellen. Beispielsweise verursachten GroupNorm/LayerNorm, die in einigen linearen Attention-Varianten üblich sind, Instabilitäten beim Training bei Skalen von 14B+ und mussten durch Pre-Scaling-Techniken ersetzt werden.
• Datensatz-Alignment: Die Autoren merken an, dass Reasoning-Datensätze enger mit der Distribution des Teacher-Modells abgestimmt sein müssen, um repetitive Loop-Verhaltensweisen zu verhindern – eine Herausforderung, die sie teilweise durch die Mischung von DCLM mit OpenThoughts adressiert haben.

Bedeutung

Das Paper behauptet, dass RADLADS einen kosteneffizienten Pfad bietet, um den Zugang zu großskaligen linearen Attention-Modellen zu demokratisieren. Durch die Reduzierung des benötigten Trainings-Token-Aufwands von Billionen auf hunderte Millionen ermöglicht es Forschern und kleineren Organisationen, neue Varianten von RNN-Architekturen in großem Maßstab zu testen, zu trainieren und bereitzustellen, ohne die extremen Kosten, die mit dem Pre-Training verbunden sind. Die Autoren positionieren dies als Werkzeug, um die Entwicklung der nächsten Generation von kompressiven State-Attention-Varianten zu beschleunigen.