Technische Samenvatting: RAFT (Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting)

Probleemstelling

Domeinspecifieke supervised fine-tuning (SFT) is essentieel voor het aanpassen van Large Language Models (LLM's) aan gespecialiseerde taken, maar resulteert frequent in catastrofale vergetelheid (catastrophic forgetting), waarbij de algemene capaciteiten van het model significant degraderen. De auteurs identificeren twee praktische hiaten die deze degradatie drijven:

1. Supervisie-compatibiliteitshiaat: Domein-specifieke grondwaarheid-antwoorden verschillen vaak in stijl en redeneerformaat van de natuurlijke responsen van het model. Het dwingen van het model om zich aan deze afwijkende doelwitten aan te passen, veroorzaakt abrupte parameterverschuivingen die de vooraf getrainde kennis overschrijven.
2. Traject-preservatiehiaat: Standaard SFT optimaliseert voor vaste doel-tokens zonder het gedrag van het model op zijn eigen gegenereerde prefixes te beperken. Dit gebrek aan beperking faalt in het behouden van de oorspronkelijke gedragspatronen van het model tijdens optimalisatie.

Bestaande methoden pakken doorgaans slechts één zijde van dit probleem aan (bijv. dataverfijning via zelf-distillatie of trainingsbeperkingen via regularisatie/KL-divergentie), maar zelden beide, wat leidt tot suboptimale trade-offs tussen domeinadaptatie en het behoud van algemene capaciteiten.

Methodologie

RAFT stelt een tweestaps-framework voor dat dataverfijning koppelt aan adaptieve on-policy distillatie om beide hiaten gelijktijdig aan te pakken.

1. Offline Distillatie (Dataverfijning)

Deze fase construeert model-compatibele supervisie om de mismatch in distributie tussen de grondwaarheid en de outputdistributie van het model te verkleinen.

• Self-Conditioned Rewriting: Het originele instructie-getunede model herschrijft de grondwaarheid-antwoorden ($y_i$) geconditioneerd op het oorspronkelijke antwoord zelf ($\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$), waarbij de expressiestijl wordt aangepast aan de eigen distributie van het model terwijl de feitelijke inhoud behouden blijft.
• Semantische Filtering: Om semantische drift te voorkomen, wordt de cosinusgelijkenis berekend tussen de originele en de herschreven antwoorden. Herschrijvingen worden alleen geaccepteerd als ze een drempelwaarde $\tau$ overschrijden; anders wordt het originele antwoord behouden.
• Multi-Expert Optimal Selectie: Voor geaccepteerde herschrijvingen combineert een sterker fusiemodel (bijv. Qwen3-3B) de originele en de herschreven antwoorden. Meerdere judge-modellen evalueren de gefuseerde output op consistentie met het originele antwoord, en het resultaat met de hoogste score wordt geselecteerd als het definitieve verfijnde antwoord ($\hat{y}_i$).

2. Adaptieve On-Policy Distillatie (Trainingsoptimalisatie)

Deze fase traint het model met de verfijnde dataset terwijl de algemene capaciteiten expliciet worden behouden door middel van distillatiebeperkingen.

• Answer-Conditioned On-Policy Distillatie: Het student-model genereert trajecten ($z_i$) autoregressief. Het originele instructie-getunede model fungeert als docent (teacher) en biedt soft targets. Cruciaal is dat de docent geconditioneerd is op het gefuseerde antwoord ($\hat{y}_i$) als aanvullende context, waardoor het meer informatieve begeleiding kan bieden op het gegenereerde traject van de student.
• Top-K Temperatuur Distillatie: Om overmatige smoothing te voorkomen en outputdiversiteit te behouden, wordt de KL-divergentie alleen berekend over de top-$K$ tokens van de docent-distributie, geschaald door een temperatuurparameter $T$.
• EMA-gebaseerde Adaptieve Balancering: In plaats van vaste hyperparameters gebruikt een Exponential Moving Average (EMA) mechanisme dynamisch het gewicht ($\lambda$) tussen de SFT-loss (cross-entropy) en de distillatie-loss (KL-divergentie). Dit zorgt ervoor dat de twee doelstellingen gedurende de training in balans blijven zonder handmatige afstemming.

Belangrijkste Bijdragen

1. Probleemidentificatie: Het artikel wijst de koppeling van de supervisie-distributie mismatch en het gebrek aan expliciete traject-preservatiebeperkingen aan als de fundamentele oorzaken van vergetelheid tijdens domein SFT.
2. Offline Distillatie Strategie: Introductie van een pipeline die gebruikmaakt van cosinusgelijkenheidsfiltering en multi-model fusie om hoogwaardige, distributie-consistente supervisie-data te genereren.
3. Adaptieve On-Policy Distillatie: Een nieuw trainingsdoel dat Answer-Conditioned On-Policy Distillatie, Top-K temperatuur-schaling en EMA-gebaseerde loss-balancering combineert.
4. Empirische Validatie: Demonstratie dat het koppelen van dataverfijning met traject-niveau preservatie effectief de vergetelheid vermindert terwijl de domeinprestaties verbeteren.

Experimentele Resultaten

RAFT werd geëvalueerd op drie instructie-getunede backbones (SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct) over vijf domeinen (Business, Law, Science, Culture, Web).

• Domeinprestaties: RAFT verbeterde de gemiddelde Domein Accuratesse (D-Acc) met 23,2% vergeleken met standaard SFT.
• Behoud van Algemene Capaciteiten: RAFT herstelde significante delen van de degradatie veroorzaakt door SFT:
  • MS-Bench (subjectieve QA): Verbeterde met 18,2% ten opzichte van SFT.
  • IFEval (instructie-opvolging): Verbeterde met 10,2% ten opzichte van SFT.
• Ablatie-studies:
  • Data Fusie: Het gebruik van enkel gefuseerde data verbeterde de D-Acc en algemene metrieken ten opzichte van de originele data, wat de waarde van stijladaptatie bevestigt.
  • Distillatie: Het toevoegen van adaptieve on-policy distillatie aan gefuseerde-data SFT leverde substantiële verdere winst op in zowel domeinaccuratesse als algemene capaciteit.
  • Adaptieve Balancering: De EMA-gebaseerde strategie presteerde beter dan vaste KL-coëfficiënten, die ofwel de domeinadaptatie onderdrukten of er niet in slaagden de algemene capaciteiten te behouden.
• Parameteranalyse: Optimale prestaties werden gevonden met een cosinusgelijkenis drempelwaarde $\tau=0,8$, temperatuur $T=1,5$, en Top-$K=512$.

Betekenis en Claims

Het artikel claimt dat RAFT een effectief "recept" biedt voor domein fine-tuning met verminderde vergetelheid. Door dataverfijning en trainingsbeperkingen te behandelen als gekoppelde in plaats van onafhankelijke problemen, stelt het framework modellen in staat om domeinspecifieke kennis te verwerven zonder de vooraf getrainde algemene capaciteiten te overschrijven.

De auteurs benadrukken dat hun aanpak het docent-model transformeert van een "conservatieve anker" naar een "doelbewuste gids". De resultaten suggereren dat het koppelen van compatibele supervisie met preservatie op traject-niveau een praktische oplossing is voor de trade-off tussen specialisatie en generalisatie in LLM's. Het artikel blijft bescheiden over schaalbaarheid en merkt op dat de evaluaties beperkt waren tot kleine modellen en specifieke domeinen, en dat prestaties op grotere modellen of gespecialiseerde taken (bijv. codegeneratie) verder onderzoek vereisen.