💬 NLP

TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

Het artikel introduceert TinyR1-32B-Preview, een model met 32 miljard parameters dat is ontwikkeld via een nieuwe Branch-Merge-distillatiebenadering die gespecialiseerde studentmodellen selectief traint en deze samenvoegt om bestaande gedistilleerde tegenhangers op het gebied van wiskunde, programmeren en wetenschap aanzienlijk te overtreffen, terwijl het tegelijkertijd de prestaties van het grotere DeepSeek-R1-leraarmodel evenaart.

Oorspronkelijke auteurs: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Qilong Shi, Change Jia, Aomufei Yuan, Yuxuan Tian, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Qilong Shi, Change Jia, Aomufei Yuan, Yuxuan Tian, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou, Wenrui Liu, Xusen Xiao, Bin Cui, Tong Yang, Xiangzheng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Dilemma van de "Alleskunner"

Stel je voor dat je een briljante, wereldklasse-professor (een enorm AI-model) hebt die alles weet: geavanceerde wiskunde, complexe codering en diepe wetenschap. Je wilt een kleinere, goedkopere versie van deze professor maken die je op je eigen laptop kunt draaien.

De gebruikelijke manier om dit te doen, is om de notities van de grote professor te nemen en ze allemaal in één keer in een kleiner notitieboekje te proppen. Het artikel stelt dat dit meestal mislukt. Als je wiskunde-, coderings- en wetenschapsnotities door elkaar in één grote stapel mengt, raakt de student in de war. De wiskundenotities kunnen "vechten" met de coderingsnotities, waardoor de student minder van alles leert. Het is alsof je probeert viool te spelen, calculus op te lossen en een soufflé te koken, allemaal tegelijkertijd, door één gigantisch, door elkaar gehaald boek te lezen. Het resultaat is vaak een student die het overal redelijk doet, maar in niets uitmunt.

De Oplossing: De "Branch and Merge"-Strategie

De auteurs stellen een slimmere manier voor om de kleine student te onderwijzen, die ze Branch-Merge Distillation noemen. Denk hierbij aan een gespecialiseerde trainingskamp gevolgd door een uiteindelijke team-up.

Fase 1: De Branch (Gespecialiseerde Training)

In plaats van alles door elkaar te halen, splitsen ze de kennis van de grote professor op in drie aparte "takken" of gespecialiseerde tutors:

De Wiskundetutor: Geeft alleen wiskundeproblemen.
De Coderingtutor: Geeft alleen programmering.
De Wetenschapstutor: Geeft alleen wetenschappelijke concepten.

Ze trainen drie aparte "expert"-versies van de kleine student. Omdat elke student zich alleen richt op één vak, worden ze echte meesters op dat specifieke gebied zonder in de war te raken door de anderen.

Analogie: In plaats van dat één student probeert drie vakken tegelijk te leren, huurt je drie verschillende tutors in. Eén geeft alleen wiskunde, één alleen codering en één alleen wetenschap. Elke student wordt een expert in hun specifieke klas.

Fase 2: De Merge (De Team-up)

Nu heeft het team drie briljante experts, maar ze hebben één enkele student nodig die alle drie kent. Als ze gewoon de hersenen van de drie studenten met elkaar zouden middelen, zouden ze de unieke genialiteit van elk kunnen verliezen.

In plaats daarvan gebruiken ze een slim "samenvoegings"-gereedschap (genaamd Arcee Fusion) om ze te combineren. Dit gereedschap fungeert als een zeer strenge redacteur. Het kijkt naar de drie experts en vraagt: "Verbeterd dit nieuwe stukje kennis van de Wiskundetutor daadwerkelijk het brein van de student, of is het gewoon ruis?"

De Regel: Als de Wiskundetutor een briljante, unieke inzichten heeft die de huidige student nog niet heeft, houdt de redacteur het vast. Als het inzicht zwak is of in strijd is met wat de student al weet, verwierpt de redacteur het.
Analogie: Stel je hebt drie chefs. De ene maakt het perfecte biefstuk, de ander de perfecte soep en de derde de perfecte taart. Je mengt hun ingrediënten niet zomaar in een blender. In plaats daarvan neem je het beste biefstukrecept, het beste soeprecept en het beste taartrecept en combineer je ze in één meesterkookboek. Je houdt alleen de delen die echt uitstekend zijn.

De Resultaten: Een Super-Student

Het resultaat van dit proces is TinyR1-32B-Preview.

Prestaties: Dit kleine model is aanzienlijk beter in Wiskunde, Codering en Wetenschap dan andere kleine modellen die op de "oude manier" zijn getraind (alle data door elkaar mengen).
Vergelijking: Het presteert bijna even goed als het gigantische "DeepSeek-R1"-leraar-model, ondanks dat het veel kleiner is.
Efficiëntie: Deze methode is ook ongelooflijk snel en goedkoop. Het artikel merkt op dat het samenvoegen van deze modellen slechts 4 uur duurde op krachtige computers, terwijl het opnieuw trainen van een model met gemengde data 740 uur zou hebben gekost. Het is alsof je in 4 uur een meesterchef krijgt in plaats van in 30 dagen.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

Het artikel beweert dat dit een "gratis lunch" is in de wereld van AI. Het lost het probleem van "taakinterferentie" op (waarbij het leren van één ding je vermogen om iets anders te leren schaadt) door het leren eerst te scheiden en vervolgens de beste delen zorgvuldig te combineren.

Wat het artikel NIET beweert:

Het beweert niet dat dit model klaar is voor medische diagnose of juridisch advies.
Het beweert niet dat deze methode werkt voor elk mogelijk type AI-taak (ze hebben alleen Wiskunde, Codering en Wetenschap getest).
Het beweert niet dat het model perfect is; ze geven toe dat er nog werk aan de winkel is voor zaken als het volgen van complexe instructies of veiligheidscontroles.

Kortom, het artikel toont aan dat als je een klein, slim AI-model wilt, je niet moet proberen het alles tegelijk te leren. Leer het één ding per keer, word een expert, en naai die experts vervolgens zorgvuldig aan elkaar.

1. Probleemstelling

Het paper adresseert de uitdaging om de grootte van Large Language Models (LLM's) te verkleinen terwijl er een hoge redeneerprestatie wordt behouden. Hoewel het distilleren van kennis uit grote "leraar"-modellen (zoals DeepSeek-R1) naar kleinere "student"-modellen een veelvoorkomende strategie is, ondervinden bestaande methoden aanzienlijke beperkingen:

Gradiëntinterferentie: Naïeve gemengde-data distillatie (het trainen van één enkel model op een gecombineerde dataset van Wiskunde, Programmeren en Wetenschap) leidt vaak tot conflicterende gradiënten. Dit veroorzaakt een "wip-effect", waarbij het verbeteren van de prestaties op één domein de prestaties op een ander domein verslechtert.
Suboptimale koude starts: Kleine modellen hebben een sterke Supervised Fine-Tuning (SFT) koude start nodig om redeneercapaciteiten te ontsluiten voordat Reinforcement Learning (RL) effectief kan zijn. Traditionele distillatie faalt vaak om een robuust startpunt te bieden voor gespecialiseerde taken.
Berekeningskosten: Het opnieuw trainen van modellen op enorme gemengde datasets om domeinconflicten op te lossen, is rekenkundig duur en tijdrovend.

2. Methodologie: Branch-Merge Distillatie

De auteurs stellen een nieuwe twee-fasen distillatiestrategie voor genaamd Branch-Merge, die domeinspecifiek leren ontkoppelt en vervolgens kennis selectief integreert.

Fase 1: De Branch-fase (Specialisatie)

In plaats van één model te trainen op gemengde data, trainen de auteurs meerdere gespecialiseerde "expert"-modellen vanuit één basisstudentmodel (DeepSeek-R1-Distill-Qwen-32B).

Proces: Het basismodel wordt apart gefine-tuned op drie verschillende, hoogwaardige datasets:
- Wiskunde: 58k samples van NuminaMath 1.5.
- Programmeren: 20k trajecten van OpenThoughts.
- Wetenschap: 8,6k Chain-of-Thought (CoT) trajecten gegenereerd door DeepSeek-R1.
Resultaat: Er worden drie gespecialiseerde modellen gemaakt (Wiskunde Expert, Programmeren Expert, Wetenschap Expert), die elk zijn geoptimaliseerd voor hun specifieke domein zonder interferentie van andere taken.

Fase 2: De Merge-fase (Integratie)

De gespecialiseerde experts worden samengevoegd tot één uniek model met behulp van Arcee Fusion, een parameter-ruimte merge-techniek.

Mechanisme: Arcee Fusion vergelijkt parameters tussen een "Linker Model" (bestaand) en een "Rechter Model" (nieuwe expert).
Belangrijkheidsscore: Het berekent een belangrijkheidsscore ($SIS$) voor elke parameterupdate op basis van de divergentie (KL-divergentie) tussen de parameterverdelingen van de twee modellen.
Dynamische drempelwaarde: Een drempelwaarde ( $S_{THR}$ ) wordt dynamisch berekend met behulp van de mediaan en het interkwartielbereik van de belangrijkheidsscores.
Selectieve Integratie:
- Als een parameterupdate in het nieuwe model zeer significant is (boven de drempelwaarde), wordt deze behouden.
- Als de update klein of ruisachtig is, wordt de oorspronkelijke parameter behouden.
- Formule: $\theta^i_M = \theta^i_L + (\theta^i_R - \theta^i_L) \cdot \lceil \max(0, S^i_{IS} - S_{THR}) \rceil$
Resultaat: Dit fungeert als een "high-pass filter", waarbij cruciale domeinspecifieke logica wordt behouden terwijl ruis wordt onderdrukt, waardoor effectief de vereniging van expertcapaciteiten wordt benaderd in plaats van een gecompromitteerd gemiddelde.

3. Belangrijkste Bijdragen

TinyR1-32B-Preview: De release van een 32B-parametermodel dat zijn ruggengraat overtreft en de prestaties van het veel grotere DeepSeek-R1 (671B) benadert op redeneerbenchmarks.
Nieuwe Distillatiestrategie: Introductie van de Branch-Merge-aanpak, die het gradiëntinterferentieprobleem inherent aan multi-task distillatie oplost door training te ontkoppelen en gebruik te maken van salientie-gestuurde merging.
Efficiëntie en Kostenreductie:
- Tijd: Het merge-proces duurt slechts 4 uur op 4 H800 GPU's, vergeleken met 23 uur op 32 H800 GPU's die nodig zijn voor traditionele gemengde-data hertraining.
- Kosten: De geschatte reproductiekosten bedragen ongeveer 744 H800 GPU-uuren (~$1.500), wat een reductie van 90% in de rekenkundige overhead van de merge-fase vertegenwoordigt.
Open Source: Volledige release van het model, trainingsdata, scripts en evaluatiecode op Hugging Face en GitHub.

4. Experimentele Resultaten

Het model werd geëvalueerd op drie primaire benchmarks: AIME 2024 (Wiskunde), LiveCodeBench (Programmeren) en GPQA-Diamond (Wetenschap).

Model	Wiskunde (AIME)	Programmeren (LiveCodeBench)	Wetenschap (GPQA)
DeepSeek-R1-Distill-Qwen-32B (Ruggengraat)	72,6	57,2	62,1
Data Mixture (Traditionele aanpak)	75,3	61,0	65,7
TinyR1-32B-Preview (Ons)	78,1	61,6	65,0
DeepSeek-R1 (671B Leraar)	79,8	65,9	71,5

Prestatiewinst: TinyR1-32B-Preview verbetert de ruggengraat met +5,5 (Wiskunde), +4,4 (Programmeren) en +2,9 (Wetenschap).
Vergelijking met Leraar: Het bereikt wiskundeprestaties (78,1) die zeer dicht in de buurt komen van de 671B DeepSeek-R1 leraar (79,8), een prestatie die traditionele distillatie voor 32B-modellen nog niet heeft bereikt.
Ablatiestudie: Het paper bevestigt dat de "Data Mixture"-baseline lijdt aan het wip-effect (verbetering van Wiskunde/Wetenschap maar schade aan Programmeren ten opzichte van experts), terwijl de Branch-Merge-aanpak de programmeerstevigheid behoudt terwijl andere domeinen worden versterkt.
Generalisatie: Het model toont ook sterke generalisatie op instructievolging (IFEval) en algemeen redeneren (BBH, HumanEval), waarbij het individuele experts op deze gebieden overtreft.

5. Betekenis

Democratisering van Redeneren: Door bijna-leraarprestaties te bereiken met een 32B-model, maakt dit werk geavanceerde redeneercapaciteiten toegankelijk voor lokale implementatie en kleinere organisaties, waardoor de afhankelijkheid van enorme, dure API's wordt verminderd.
Paradigmaverschuiving in Distillatie: Het paper daagt de standaard "gemengde-data SFT"-aanpak uit en demonstreert dat ontkoppelde training + selectieve merging een effectievere en efficiëntere weg is voor multi-domeincapaciteit.
Fundament voor RL: De auteurs stellen dat dit hoogwaardige SFT-model een robuuste "koude start" biedt voor toekomstige Reinforcement Learning (RL)-optimalisatie, wat de ontwikkeling van nog capabelere kleine modellen mogelijk kan versnellen.
Reproduceerbaarheid: De volledige open-sourcing van de pipeline stelt een nieuwe standaard voor transparantie in LLM-onderzoek, waardoor de gemeenschap de Branch-Merge-methodologie kan verifiëren en daarop kan voortbouwen.