Technische Samenvatting: MIXSD - Gemengde Contextuele Zelfdistillatie voor Kennisinjectie

Probleemstelling

Supervised Fine-Tuning (SFT) is de standaardbenadering voor het injecteren van nieuwe kennis in Large Language Models (LLMs). Dit proces leidt echter vaak tot catastrofaal vergeten, waarbij het model achteruitgaat in vooraf getrainde vaardigheden zoals redeneren, instructie-opvolging en prestaties in het algemene domein.

De auteurs stellen dat dit vergeten voortkomt uit een distributiemismatch tussen de supervisie-doelen en de native autoregressieve distributie van het model. In standaardpijplijnen worden doelsequenties geschreven door mensen of externe systemen, die vaak formulering, opmaak of redeneerstructuren bevatten die liggen in de lage-waarschijnlijkheidstaarten van de distributie van het basismodel. Het dwingen van het model om deze tokenreeksen met lage waarschijnlijkheid token voor token na te bootsen, induceert parameterupdates langs gevoelige richtingen, waardoor eerder aangeleerde gedragingen worden verstoord.

Methodologie: MIXSD

Om dit aan te pakken, stelt het artikel MIXSD (Mixed Contextual Self-Distillation) voor, een eenvoudige methode zonder externe leraar voor distributie-gealigneerde kennisinjectie. In plaats van te trainen op vaste, extern geschreven doelen, construeert MIXSD supervisie dynamisch met behulp van het basismodel zelf.

Kernmechanisme

Op elk decoderingsstap $t$, gegeven een gedeelde autoregressieve prefix, steekt MIXSD het supervisiestoken af uit een mengsel van twee conditionele distributies die worden gedefinieerd door het basismodel $p_{\theta^*}$:

1. Expert Conditioneel: $p_{\theta^*}(\cdot \mid x^+_i, y_{mix, <t})$, waarbij de invoer $x^+_i$ de injecteerde feitelijkheid (ground truth) in de context bevat. Dit genereert tokens die het juiste feit uitdrukken in de eigen oppervlaktevorm van het model.
2. Naïef Conditioneel: $p_{\theta^*}(\cdot \mid x_i, y_{mix, <t})$, waarbij de invoer $x_i$ alleen de oorspronkelijke prompt bevat zonder de injecteerde kennis. Dit weerspiegelt de oorspronkelijke prior van het model.

Het supervisiedoel $y^{mix}_{i,t}$ wordt afgetrokken als:
$$y^{mix}_{i,t} = \begin{cases} \tilde{y}^+_{i,t} & \text{met waarschijnlijkheid } 1 - \lambda \\ \tilde{y}^-_{i,t} & \text{met waarschijnlijkheid } \lambda \end{cases}$$
waarbij $\lambda \in [0, 1]$ een mengsnelheid is. Het model wordt vervolgens bijgewerkt met behulp van de standaard Negative Log-Likelihood (NLL)-verliesfunctie op deze gemengde doelen.

Belangrijke Ontwerpkiezen

• Geen Externe Leraar: In tegenstelling tot traditionele kennisdistillatie vereist MIXSD geen sterkere leraar, waardoor de rekenkosten voor het genereren van meerdere rollouts per query worden vermeden (zoals gezien in On-Policy Self-Distillation-baselines).
• Distributie-Alignering: Door naïeve tokens te mengen, blijven de supervisiedoelen aanzienlijk dichter bij de native distributie van het basismodel, wat de NLL van de trainingsdoelen onder het basismodel verlaagt.
• Hyperparameter $\lambda$: Regelt de afweging. Een lagere $\lambda$ benadrukt het expertsignaal (memorisatie), terwijl een hogere $\lambda$ het model verankert bij zijn prior (behoud).

Experimentele Opzet

De auteurs evalueerden MIXSD over meerdere modelschalen (Qwen3-1.7B, 4B en 8B) en twee synthetische corpora die zijn ontworpen om specifieke kennissoorten te isoleren:

• KGFACT: Een corpus met feitelijke kennis afgeleid van een gesimuleerde wereldgrafiek met nieuwe entiteiten om feitelijke herinnering en ophaalvermogen te testen.
• KGFUNC: Een dataset voor het verwerven van rekenkundige functies, waarbij het model regels moet afleiden uit operaties op cijfer-niveau.
• Benchmarks: De evaluatie omvatte vastgehouden benchmarks voor het algemene domein (AIME, MATH, GSM8K, HumanEval, MMLU) om vergeten te meten, naast trainingsnauwkeurigheid binnen het domein.

Belangrijkste Resultaten

1. Verbeterde Afweging Memoratie-Behoud: Over alle datasets en modelschalen heen presteerde MIXSD consistent beter dan standaard SFT en On-Policy Self-Distillation (OPSD)-baselines.
   • Standaard SFT bereikte bijna perfecte trainingsnauwkeurigheid maar behield slechts 1% van de vastgehouden vaardigheden van het basismodel.
   • MIXSD (met $\lambda=0.3$ of $0.5$) behield bijna perfecte trainingsnauwkeurigheid terwijl het tot 100% van de vastgehouden vaardigheden van het basismodel behield (bijvoorbeeld op Qwen3-4B behield MIXSD ~77% van de algemene vaardigheden versus ~43% voor SFT).
2. Distributie-Alignering: De supervisiedoelen van MIXSD vertoonden significant lagere per-token NLL onder het basismodel in vergelijking met SFT-doelen. Tokens met hoge NLL (die een lage waarschijnlijkheid onder het basismodel aangeven) maakten 27–42% uit van de SFT-doelen, maar slechts 4–8% voor MIXSD bij $\lambda=0.3$.
3. Foutmodusanalyse: SFT veroorzaakte kwalitatieve verschuivingen in het generatiegedrag, wat leidde tot "lekken" (het genereren van fictieve entiteiten die niets met de prompt te maken hebben) en "instorting" (korte, sjabloonachtige antwoorden zonder redenering). MIXSD behield grotendeels het oorspronkelijke foutenprofiel van het basismodel, waarbij het merendeel van de fouten "echte" redeneerpogingen waren in plaats van pathologische mislukkingen.
4. Richting van Parameterupdates: Het artikel introduceert een metriek voor Fisher-gewogen parameterverplaatsing. Resultaten tonen aan dat de richting van parameterupdates (alignering met gevoelige Fisher-richtingen) sterk correleert met vergeten ($r \approx 0.56-0.82$), terwijl de grootte van de updates dat niet doet ($r \approx 0.02-0.34$). MIXSD vermindert de alignering met deze gevoelige richtingen in vergelijking met SFT.

Betekenis en Claims

Het artikel stelt dat het aligneren van supervisie met de native generatiedistributie van het model een eenvoudige en effectieve principe is voor kennisinjectie dat catastrofaal vergeten mitigeert.

• Theoretisch Inzicht: Het werk suggereert dat catastrofaal vergeten minder wordt gedreven door de grootte van parameterveranderingen en meer door updates langs gevoelige richtingen die worden veroorzaakt door supervisie met distributiemismatch.
• Praktisch Nut: MIXSD biedt een "drop-in" vervanging voor standaard SFT-doelen die geen externe leraar vereist en minimale extra rekenkosten met zich meebrengt (alleen een eenmalige voorverwerkingskosten om gemengde rollouts te genereren).
• Generaliseerbaarheid: De voordelen werden waargenomen over verschillende model families (Qwen en Llama) en instellingen, waaronder kennisbewerking (overschrijven van bestaande feiten) en het verwerven van nieuwe rekenkundige functies.

De auteurs concluderen dat terwijl SFT modellen dwingt om trajecten met lage waarschijnlijkheid van buitenaf na te bootsen, MIXSD het feitelijke leersignaal behoudt terwijl het het supervisietraject binnen de hoge-waarschijnlijkheidsgebieden van het model houdt, waardoor vooraf getrainde vaardigheden worden gestabiliseerd.