💬 NLP

TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

Das Papier stellt TinyR1-32B-Preview vor, ein 32-Milliarden-Parameter-Modell, das mittels eines neuartigen Branch-Merge-Distillationsansatzes entwickelt wurde, der spezialisierte Schülermodelle selektiv trainiert und diese zusammenführt, um bestehende distillierte Gegenstücke in den Bereichen Mathematik, Programmierung und Naturwissenschaften deutlich zu übertreffen und gleichzeitig die Leistung des größeren DeepSeek-R1-Lehrermodells zu erreichen.

Ursprüngliche Autoren: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Qilong Shi, Change Jia, Aomufei Yuan, Yuxuan Tian, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Qilong Shi, Change Jia, Aomufei Yuan, Yuxuan Tian, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou, Wenrui Liu, Xusen Xiao, Bin Cui, Tong Yang, Xiangzheng Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Alleskönner"-Dilemma

Stellen Sie sich vor, Sie haben einen brillanten, weltklasse Professor (ein riesiges KI-Modell), der alles weiß: fortgeschrittene Mathematik, komplexe Programmierung und tiefe Wissenschaft. Sie möchten eine kleinere, günstigere Version dieses Professors erstellen, die Sie auf Ihrem eigenen Laptop ausführen können.

Der übliche Weg, dies zu tun, besteht darin, die Notizen des großen Professors zu nehmen und sie alle auf einmal in ein kleineres Notizbuch zu zwängen. Das Papier argumentiert, dass dies normalerweise scheitert. Wenn Sie Mathematik-, Programmier- und Wissenschaftsnotizen in einem großen Haufen vermischen, wird der Schüler verwirrt. Die Mathematiknotizen könnten mit den Programmiernotizen „kämpfen", wodurch der Schüler weniger von allem lernt. Es ist, als würde man versuchen, Geige zu spielen, Analysis zu lösen und einen Soufflé zu kochen, indem man gleichzeitig ein einziges riesiges, durcheinandergeratenes Buch liest. Das Ergebnis ist oft ein Schüler, der in allem okay ist, aber in nichts großartig.

Die Lösung: Die „Branch and Merge"-Strategie

Die Autoren schlagen einen klügeren Weg vor, den kleinen Schüler zu unterrichten, den sie Branch-Merge Distillation nennen. Stellen Sie sich dies wie ein spezialisiertes Trainingslager gefolgt von einem finalen Team-Up vor.

Phase 1: Der Branch (Spezialisierte Ausbildung)

Statt alles zu vermischen, teilen sie das Wissen des großen Professors in drei separate „Äste" oder spezialisierte Tutoren auf:

Der Mathematik-Tutor: Lehrt nur Mathematikaufgaben.
Der Programmier-Tutor: Lehrt nur Programmierung.
Der Wissenschafts-Tutor: Lehrt nur wissenschaftliche Konzepte.

Sie trainieren drei separate „Experten"-Versionen des kleinen Schülers. Da sich jeder Schüler nur auf ein Fach konzentriert, werden sie zu wahren Meistern dieses spezifischen Bereichs, ohne durch die anderen verwirrt zu werden.

Analogie: Anstatt dass ein Schüler versucht, drei Fächer gleichzeitig zu lernen, stellen Sie drei verschiedene Tutoren ein. Einer lehrt nur Mathematik, einer nur Programmierung und einer nur Wissenschaft. Jeder Schüler wird ein Experte in seinem spezifischen Fach.

Phase 2: Der Merge (Das Team-Up)

Nun hat das Team drei brillante Experten, aber sie brauchen einen einzigen Schüler, der alle drei kennt. Wenn sie einfach die Gehirne der drei Schüler mitteln würden, könnten sie das einzigartige Genie jedes einzelnen verlieren.

Stattdessen verwenden sie ein intelligentes „Merging"-Werkzeug (genannt Arcee Fusion), um sie zu kombinieren. Dieses Werkzeug fungiert wie ein sehr strenger Redakteur. Es betrachtet die drei Experten und fragt: „Verbessert dieses neue Stück Wissen vom Mathematik-Tutor tatsächlich das Gehirn des Schülers, oder ist es nur Rauschen?"

Die Regel: Wenn der Mathematik-Tutor eine brillante, einzigartige Erkenntnis hat, die der aktuelle Schüler noch nicht hat, behält der Redakteur sie. Wenn die Erkenntnis schwach ist oder im Widerspruch zu dem steht, was der Schüler bereits weiß, verwirft der Redakteur sie.
Analogie: Stellen Sie sich vor, Sie haben drei Köche. Einer macht das perfekte Steak, einer die perfekte Suppe und einer den perfekten Kuchen. Sie mischen nicht einfach ihre Zutaten in einen Mixer. Stattdessen nehmen Sie das beste Steak-Rezept, das beste Suppen-Rezept und das beste Kuchen-Rezept und kombinieren sie zu einem Meisterkochbuch. Sie behalten nur die Teile, die wirklich hervorragend sind.

Die Ergebnisse: Ein Super-Schüler

Das Ergebnis dieses Prozesses ist TinyR1-32B-Preview.

Leistung: Dieses kleine Modell ist in Mathematik, Programmierung und Wissenschaft deutlich besser als andere kleine Modelle, die auf die „alte Weise" trainiert wurden (alle Daten zusammen gemischt).
Vergleich: Es performt fast so gut wie das riesige „DeepSeek-R1"-Lehrermodell, obwohl es viel kleiner ist.
Effizienz: Diese Methode ist auch unglaublich schnell und günstig. Das Papier stellt fest, dass das Zusammenführen dieser Modelle nur 4 Stunden auf leistungsstarken Computern dauerte, wohingegen das Neutrainieren eines Modells mit gemischten Daten 740 Stunden gedauert hätte. Es ist, als würde man in 4 Stunden einen Meisterkoch erhalten statt in 30 Tagen.

Warum es wichtig ist (laut dem Papier)

Das Papier behauptet, dies sei ein „kostenloses Mittagessen" in der Welt der KI. Es löst das Problem der „Aufgaben-Interferenz" (wo das Lernen einer Sache die Fähigkeit beeinträchtigt, eine andere zu lernen), indem es das Lernen zuerst trennt und dann die besten Teile sorgfältig kombiniert.

Was das Papier NICHT behauptet:

Es behauptet nicht, dass dieses Modell bereit für medizinische Diagnosen oder Rechtsberatung ist.
Es behauptet nicht, dass diese Methode für jeden möglichen Typ von KI-Aufgabe funktioniert (sie haben nur Mathematik, Programmierung und Wissenschaft getestet).
Es behauptet nicht, dass das Modell perfekt ist; sie geben zu, dass es noch Arbeit an Dingen wie dem Befolgen komplexer Anweisungen oder Sicherheitsprüfungen benötigt.

Kurz gesagt zeigt das Papier: Wenn Sie eine kleine, intelligente KI wollen, versuchen Sie nicht, ihr alles auf einmal beizubringen. Bringen Sie ihr eine Sache nach der anderen bei, werden Sie zum Experten und fügen Sie dann diese Experten sorgfältig zusammen.

1. Problemstellung

Das Paper adressiert die Herausforderung, die Größe von Large Language Models (LLMs) zu reduzieren, während gleichzeitig eine hohe reasoning-Leistung erhalten bleibt. Obwohl das Wissenstransfer von großen „Lehrer"-Modellen (wie DeepSeek-R1) in kleinere „Schüler"-Modelle durch Distillation eine gängige Strategie ist, stoßen bestehende Methoden auf erhebliche Grenzen:

Gradienten-Interferenz: Naive gemischte Daten-Distillation (Training eines einzelnen Modells auf einem kombinierten Datensatz aus Mathematik, Programmierung und Wissenschaft) führt häufig zu konfligierenden Gradienten. Dies verursacht einen „Wackelbrett-Effekt" (seesaw effect), bei dem eine Leistungsverbesserung in einem Bereich die Leistung in einem anderen verschlechtert.
Suboptimale Kaltstarts: Kleine Modelle benötigen einen starken Supervised Fine-Tuning (SFT) Kaltstart, um reasoning-Fähigkeiten zu entfalten, bevor Reinforcement Learning (RL) effektiv sein kann. Traditionelle Distillation liefert oft keinen robusten Ausgangspunkt für spezialisierte Aufgaben.
Rechenkosten: Das erneute Trainieren von Modellen auf massiven gemischten Datensätzen zur Auflösung von Domänenkonflikten ist rechenintensiv und zeitaufwendig.

2. Methodik: Branch-Merge Distillation

Die Autoren schlagen eine neuartige zweiphasige Distillationsstrategie namens Branch-Merge vor, die domänenspezifisches Lernen entkoppelt und das Wissen selektiv integriert.

Phase 1: Die Branch-Phase (Spezialisierung)

Anstatt ein Modell auf gemischten Daten zu trainieren, trainieren die Autoren mehrere spezialisierte „Experten"-Modelle aus einem einzelnen Basis-Schülermodell (DeepSeek-R1-Distill-Qwen-32B).

Prozess: Das Basismodell wird separat auf drei verschiedenen, hochwertigen Datensätzen feinabgestimmt:
- Mathematik: 58.000 Stichproben aus NuminaMath 1.5.
- Programmierung: 20.000 Trajektorien aus OpenThoughts.
- Wissenschaft: 8.600 Chain-of-Thought (CoT)-Trajektorien, die von DeepSeek-R1 generiert wurden.
Ergebnis: Es entstehen drei spezialisierte Modelle (Math-Experte, Coding-Experte, Science-Experte), die jeweils für ihre spezifische Domäne optimiert sind, ohne Interferenz durch andere Aufgaben.

Phase 2: Die Merge-Phase (Integration)

Die spezialisierten Experten werden mittels Arcee Fusion, einer Parameter-Raum-Merging-Technik, zu einem einzigen einheitlichen Modell zusammengeführt.

Mechanismus: Arcee Fusion vergleicht Parameter zwischen einem „Left Model" (bestehend) und einem „Right Model" (neuer Experte).
Bewertung der Wichtigkeit: Es wird ein Wichtigkeits-Score ($SIS$) für jede Parameteraktualisierung berechnet, basierend auf der Divergenz (KL-Divergenz) zwischen den Parameterverteilungen der beiden Modelle.
Dynamische Schwellenwertbildung: Ein Schwellenwert ( $S_{THR}$ ) wird dynamisch unter Verwendung des Median und des Interquartilsabstands der Wichtigkeits-Scores berechnet.
Selektive Integration:
- Wenn eine Parameteraktualisierung im neuen Modell hochsignifikant ist (über dem Schwellenwert), wird sie beibehalten.
- Wenn die Aktualisierung geringfügig oder verrauscht ist, wird der ursprüngliche Parameter beibehalten.
- Formel: $\theta^i_M = \theta^i_L + (\theta^i_R - \theta^i_L) \cdot \lceil \max(0, S^i_{IS} - S_{THR}) \rceil$
Ergebnis: Dies wirkt als „Hochpassfilter", der entscheidende domänenspezifische Logik bewahrt und Rauschen unterdrückt, wodurch effektiv die Vereinigung der Expertenfähigkeiten approximiert wird, anstatt ein kompromittierter Durchschnitt.

3. Hauptbeiträge

TinyR1-32B-Preview: Die Veröffentlichung eines 32B-Parameter-Modells, das sein Backbone übertrifft und auf reasoning-Benchmarks die Leistung des deutlich größeren DeepSeek-R1 (671B) annähert.
Neuartige Distillationsstrategie: Einführung des Branch-Merge-Ansatzes, der das bei Multi-Task-Distillation inhärente Gradienten-Interferenz-Problem löst, indem das Training entkoppelt und ein salienz-gesteuertes Merging verwendet wird.
Effizienz und Kostenreduktion:
- Zeit: Der Merging-Prozess dauert nur 4 Stunden auf 4 H800 GPUs, im Vergleich zu 23 Stunden auf 32 H800 GPUs, die für traditionelles gemischte-Daten-Neu-Training erforderlich sind.
- Kosten: Die geschätzten Reproduktionskosten liegen bei ca. 744 H800-GPU-Stunden (~1.500 $), was einer Reduktion der Rechenkosten in der Merging-Phase um 90 % entspricht.
Open Source: Vollständige Veröffentlichung des Modells, der Trainingsdaten, Skripte und Evaluationscodes auf Hugging Face und GitHub.

4. Experimentelle Ergebnisse

Das Modell wurde auf drei primären Benchmarks evaluiert: AIME 2024 (Mathematik), LiveCodeBench (Programmierung) und GPQA-Diamond (Wissenschaft).

Modell	Mathematik (AIME)	Programmierung (LiveCodeBench)	Wissenschaft (GPQA)
DeepSeek-R1-Distill-Qwen-32B (Backbone)	72,6	57,2	62,1
Data Mixture (Traditioneller Ansatz)	75,3	61,0	65,7
TinyR1-32B-Preview (Unser Ansatz)	78,1	61,6	65,0
DeepSeek-R1 (671B Lehrer)	79,8	65,9	71,5

Leistungssteigerungen: TinyR1-32B-Preview verbessert das Backbone um +5,5 (Mathematik), +4,4 (Programmierung) und +2,9 (Wissenschaft).
Vergleich mit dem Lehrer: Es erreicht eine Mathematik-Leistung (78,1), die der des 671B DeepSeek-R1-Lehrers (79,8) sehr nahe kommt – eine Leistung, die traditionelle Distillation für 32B-Modelle bisher nicht erreicht hat.
Ablationsstudie: Das Paper bestätigt, dass die „Data Mixture"-Basislinie unter dem Wackelbrett-Effekt leidet (Verbesserung von Mathematik/Wissenschaft, aber Verschlechterung der Programmierung im Vergleich zu den Experten), wohingegen der Branch-Merge-Ansatz die Programmierstärke beibehält und andere Domänen boostet.
Generalisierung: Das Modell zeigt zudem eine starke Generalisierung bei der Befolgung von Anweisungen (IFEval) und allgemeinem reasoning (BBH, HumanEval) und übertrifft in diesen Bereichen die einzelnen Experten.

5. Bedeutung

Demokratisierung von Reasoning: Durch das Erreichen einer nahezu lehrergleichen Leistung mit einem 32B-Modell macht diese Arbeit fortgeschrittene reasoning-Fähigkeiten für lokale Bereitstellungen und kleinere Organisationen zugänglich und reduziert die Abhängigkeit von massiven, teuren APIs.
Paradigmenwechsel in der Distillation: Das Paper stellt den Standard-Ansatz „gemischte Daten SFT" in Frage und zeigt, dass entkoppeltes Training + selektives Merging ein effektiverer und effizienterer Weg für Multi-Domänen-Fähigkeiten ist.
Grundlage für RL: Die Autoren gehen davon aus, dass dieses hochwertige SFT-Modell einen robusten „Kaltstart" für zukünftige Reinforcement Learning (RL)-Optimierungen bietet und potenziell die Entwicklung noch leistungsfähigerer kleiner Modelle beschleunigt.
Reproduzierbarkeit: Die vollständige Open-Source-Veröffentlichung der Pipeline setzt einen neuen Standard für Transparenz in der LLM-Forschung und ermöglicht der Community, die Branch-Merge-Methodik zu verifizieren und darauf aufzubauen.