Technische Samenvatting: Stabilisatie van Supervised Fine-Tuning van LLM's via Expliciete Distributionele Controle

1. Probleemstelling

Het post-training van Large Language Models (LLM's) om aan te passen aan nieuwe doelen via Supervised Fine-Tuning (SFT) leidt frequent tot catastrofaal vergeten, waarbij verbeteringen op een doeltaak de eerder verworven algemene capaciteiten aantasten. Recent empirisch en theoretisch onderzoek suggereert dat dit fenomeen voornamelijk wordt gedreven door excessieve distributionele drift tijdens optimalisatie.

Hoewel Reinforcement Learning (RL) methoden (met name on-policy RL) deze drift impliciet beperken en eerdere capaciteiten beter behouden dan SFT, zijn ze afhankelijk van kostbare datacollectie en complexe optimalisatiepijplijnen. Daarentegen mist standaard SFT expliciete mechanismen om de grootte of richting van distributionele verschuivingen te reguleren, wat vaak leidt tot abrupte gedragsveranderingen. Bestaande mitigerende strategieën, zoals statische KL-regularisatie of vaste teacher-distillatie, bieden slechts indirecte of globaal afgestemde controle die niet aansluit bij de lokale geometrie van modelverdelingen, wat vaak resulteert in aanhoudende gradientconflicten tussen het aanpassen aan de nieuwe taak en het behoud van het basismodel.

De kernvraag die wordt aangepakt is: Kan een eenvoudig, expliciet mechanisme stabiele controle van distributionele updates mogelijk maken in een puur offline SFT-omgeving, waarbij de efficiëntie van SFT wordt gecombineerd met de stabiliteit van on-policy RL?

2. Methodologie: Verankerd Leren

De auteurs stellen Anchored Learning voor, een raamwerk dat distributionele updates tijdens offline fine-tuning expliciet controleert met behulp van een dynamisch evoluerende bewegende anker.

Kernmechanisme

In plaats van te matchen met een vaste referentieverdeling (bijvoorbeeld het basismodel $p_{base}$), construeert Anchored Learning op elke iteratie $t$ een tussentijdse doelverdeling $q^{(t)}$ door interpolatie tussen:

1. Het huidige trainbare model $p_{\theta}^{(t)}$.
2. Een bevroren SFT-referentiemodel $p_{sft}$ (eenmaal getraind op de doeldata en vastgehouden).

Het raamwerk werkt in twee lussen:

• Buitenste lus (Ankerselectie): Op iteratie $t$ wordt een ankerverdeling $q^{(t)}$ geconstrueerd via een interpolatie-operator $I_\alpha$:
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  Het anker wordt losgekoppeld van het berekeningsgraf en dient als een vaste doelstelling voor de binnenste lus.
• Binnenste lus (Ankerfitting): De modelparameters worden bijgewerkt om dit anker te benaderen door een distillatie-objctief (KL-divergentie) te minimaliseren over de doeldataset $D$:
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

Instantiaties

De interpolatie-operator $I_\alpha$ wordt geïnstancierd in twee ruimten:

1. Logit-ruimte: Lineaire interpolatie van pre-softmax logits, gevolgd door softmax-normalisatie. Dit komt overeen met een geometrisch gemiddelde van verdelingen (gedrag dat gericht is op modes).
2. Kansruimte: Lineaire interpolatie van de predictieve verdelingen direct. Dit komt overeen met een rekenkundig gemiddelde (gedrag dat modes dekt).

Theoretische Garanties

Het artikel levert theoretische bewijzen dat deze ankergebaseerde update een lineaire bovengrens voor KL-divergentie per iteratie toestaat.

• Kansruimte: De KL-divergentie tussen het anker en het huidige model is begrensd door $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$.
• Logit-ruimte: De divergentie is begrensd door $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$.

Deze grenzen zorgen ervoor dat het model op een stabiele, gecontroleerde manier overgaat tussen verdelingen, waardoor globale fine-tuning effectief wordt omgezet in een reeks lokale trust-region updates. Theoretische analyse geeft aan dat onder exacte projectie het model geometrisch convergeert naar de SFT-referentie, terwijl een begrenste stapsgewijze afwijking wordt behouden.

3. Belangrijkste Bijdragen

1. Raamwerkpresentatie: Introductie van Anchored Learning, een eenvoudig raamwerk dat lokale controle over distributionele updates in offline fine-tuning afdwingt via een bewegend anker, waardoor de behoefte aan online interactie of complexe RL-pijplijnen wordt vermeden.
2. Theoretische Stabiliteit: Afleiding van expliciete per-iteratie KL-divergentie-grenzen voor zowel kansruimte- als logit-ruimte-ankering, wat formele garanties biedt op distributionele stabiliteit.
3. Empirische Validatie: Aantonen dat de methode een superieure afweging bereikt tussen prestatiewinst en stabiliteit over meerdere benchmarks, consistent liggend op de Pareto-grens in vergelijking met sterke baselines.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie doeltaken (iGSM, MedCalc, IFEval) met gebruik van Qwen2.5 (1.5B–14B) en Llama-3.2-3B modellen. De prestaties werden gemeten tegen standaard SFT en diverse vergeten-mitigerende baselines (bijvoorbeeld Low-SFT, KL-SFT, Self-SFT, Iter-SFT).

• Afweging Winst-Stabiliteit: Standaard SFT bereikte hoge domeinprestaties maar leed aan ernstige degradatie in algemene capaciteiten (bijvoorbeeld >53% prestatiedaling op iGSM en MedCalc). Anchored Learning verlaagde deze degradatie tot onder de 5% terwijl het near-optimale winsten behield (bijvoorbeeld 75,2% op iGSM).
• Pareto-Optimaliteit: Over alle modelgroottes en taken heen positioneerde Anchored Learning zich consistent nabij de Pareto-grens, en presteerde het beter dan baselines die óf domeinprestaties opofferden voor stabiliteit (bijvoorbeeld Low-SFT) óf vergeten niet voorkwamen (bijvoorbeeld Standaard SFT).
• Schaling: De voordelen van Anchored Learning waren robuust over modelschalen (1,5B tot 7B), waarbij aanzienlijk hogere algemene capaciteiten werden behouden dan bij Low-SFT, zonder in te leveren op domeinnauwkeurigheid.
• Gevoeligheid voor Hyperparameters:
  • Interpolatiecoëfficiënt ($\alpha$): Een intermediaire range van $\alpha$ bood de beste afweging.
  • Bijwerkplanning: De studie benadrukte dat algemene prestaties een niet-monotone degradatie vertonen bij meer trainingsiteraties, zelfs wanneer de doelnauwkeurigheid verzadigt. Dit suggereert dat "meer trainen" geen stabiliteit garandeert, wat de noodzaak van expliciete trajectcontrole onderstreept.
  • Interpolatieruimte: Logit-ruimte interpolatie (geometrisch gemiddelde) gaf de voorkeur aan stabiliteit en behoud van algemene capaciteiten, terwijl kansruimte interpolatie (rekenkundig gemiddelde) de voorkeur gaf aan plasticiteit en domeinaanpassing.

5. Betekenis en Beweringen

Het artikel beweert dat Anchored Learning een praktisch alternatief biedt voor impliciete stabiliteitsmechanismen die in on-policy RL worden aangetroffen. Door tussentijdse doelverdelingen expliciet te vormen, transformeert het globale optimalisatie in een reeks conservatieve, lokale updates.

De auteurs benadrukken dat hun aanpak:

• Werkt in een puur offline setting, zonder toegang tot data uit het algemene domein voor replay of gezamenlijke training.
• Theoretische garanties biedt op distributionele stabiliteit, waarbij de oorzaak van vergeten (excessieve drift) wordt aangepakt in plaats van alleen de symptomen.
• Near-optimale prestaties bereikt op doeltaken terwijl catastrofaal vergeten aanzienlijk wordt verminderd, en dat het bestaande statische regularisatie- en distillatiemethoden overtreft.

Beperkingen: De auteurs erkennen dat Anchored Learning extra rekenkundige overhead met zich meebrengt (ongeveer 1,5×–2× trainingslatentie en geheugengebruik) in vergelijking met standaard SFT vanwege de noodzaak om ankers te construeren en extra forward passes voor distillatie uit te voeren. Zij merken echter op dat dit aanzienlijk lager is dan de kosten van on-policy RL.