Technische Samenvatting: Een Verenigende Lens op Supervised Fine-Tuning door middel van Target Distributie Design

Probleemstelling

Supervised Fine-Tuning (SFT) is een cruciale fase in het aanpassen van Large Language Models (LLMs) aan specifieke taken door het imiteren van expert-demonstraties. Echter, standaard SFT vertrouwt op een rigide one-hot target distributie, waarbij het model wordt getraind om de waarschijnlijkheid van de geobserveerde token $y_t$ te maximaliseren, terwijl een waarschijnlijkheid van nul wordt toegewezen aan alle andere tokens.

De auteurs stellen dat deze formulering suboptimaal is om verschillende redenen:

1. Niet-uniekheid: In realistische datasets staat een enkele prompt vaak meerdere geldige redeneerpaden, formuleringen of tussenstappen toe. Een enkele geobserveerde token is zelden de enige correcte voortzetting.
2. Ruis en Misalignement: Geobserveerde tokens kunnen ruis bevat of niet goed afgestemd zijn met de rijke kennis-prior die in het pre-trained model is gecodeerd.
3. Overconfidence: Strikt fitten op een one-hot target kan ruis versterken, overconfidence induceren, de pre-trained prior verstoren en de generalisatie verslechteren.

Bestaande werken proberen deze problemen te mitigeren via token-level herweging (bijv. DFT, ProFit) of distributionele regularisatie (bijv. label smoothing, KL-constraints). Deze methoden worden echter vaak gepresenteerd als uiteenlopende algoritmische keuzes, zonder een verenigend theoretisch kader dat hun verbindingen verklaart of de constructie van betere objectieven stuurt.

Methodologie: Het Q-Target Framework

Het artikel herinterpreteert SFT niet als een loss-minimalisatieprobleem, maar als een target distributie design probleem. De kerninzicht is dat elke token-level loss functie impliciet het model dwingt om een specifieke target distributie $Q_t$ te matchen.

De Q-Target Formulering

De auteurs stellen het Q-target framework voor, dat de training-supervisie deelt in twee expliciete designkeuzes:
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
Waar:

• $\delta_{y_t}$ de one-hot distributie van de geobserveerde token is.
• $\gamma_t \in [0, 1]$ de trust (vertrouwen) in de geobserveerde token representeert. Het controleert hoeveel waarschijnlijkheidsmassa wordt toegewezen aan het label.
• $\tilde{\pi}_t$ de residuele distributie over plausibele alternatieven is, die de resterende waarschijnlijkheidsmassa $(1 - \gamma_t)$ ontvangt.

Dit framework verenigt bestaande SFT-varianten:

• Token-Weighted Varianten (bijv. DFT, ProFit): Pasen primair $\gamma_t$ aan op basis van model-confidence of token-kwaliteit, maar stellen impliciet de residuele $\tilde{\pi}_t$ in op de eigen prior van het model (self-matching), waardoor er geen corrigerend signaal voor alternatieven wordt gegeven.
• Distributionele Varianten (bijv. Label Smoothing, KL-constraints): Specificeren primair $\tilde{\pi}_t$ (bijv. uniform, referentiemodel) maar gebruiken vaak een vaste $\gamma_t$.

TARGET-SFT: Een Concreet Instantiatie

Voortbouwend op dit framework, stellen de auteurs TARGET-SFT voor, dat beide componenten van de Q-target expliciet ontwerpt:

1. Adaptieve Trust ($\gamma_t$): In plaats van vaste gewichten, wordt $\gamma_t$ afgeleid van de eigen voorspellende waarschijnlijkheid van het model $p_y = \pi_\theta(y_t | x_t)$.

   • Als het model confident is ($p_y \approx 1$), dan is $\gamma_t \approx 1$, en nadert de objective de standaard SFT.
   • Als het model onzeker is ($p_y \approx 0$), dan is $\gamma_t \approx 0$, wat de strikte imitatie van de potentieel ruisgevoelige label verzwakt.
   • Dit wordt gemotiveerd door het modelleren van de "trust" in een token als een latente variabele met een Beta-distributie, waarbij de posterior mean de model-waarschijnlijkheid benadert.

2. Teacher-Guided Residual ($\tilde{\pi}_t$): In plaats van de residuele massa standaard naar de eigen prior van de student te laten gaan (die geen nieuwe informatie biedt), wijst TARGET-SFT deze toe aan een teacher-guided distributie.

   • De residuele wordt geconstrueerd via KL-regularized reward shaping: $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$, waarbij $\pi_T$ een teacher-distributie is (bijv. een instruction-tuned model) en $\eta$ de intensiteit van het teacher-signaal controleert.
   • Dit stelt het model in staat om te leren van "plausibele alternatieven" gesuggereerd door de teacher wanneer de geobserveerde label onzeker is, wat fungeert als een fallback supervisie-mechanisme.

De uiteindelijke objective is de cross-entropy loss tussen de model-distributie en de geconstrueerde $Q_t^{TARGET}$:
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

Belangrijkste Bijdragen

1. Target-Distributie Perspectief: Het artikel introduceert een fundamentele verschuiving in het bekijken van SFT, waarbij wordt betoogd dat de geïnduceerde target distributie het primaire object van design is, in plaats van de loss functie zelf.
2. Q-Target Framework: Een verenigend venster dat SFT-objectieven deelt in twee expliciete keuzes: label trust ($\gamma_t$) en residuele allocatie ($\tilde{\pi}_t$). Dit framework verklaart hoe bestaande varianten (herweging, regularisatie, distillatie) impliciete keuzes binnen deze ruimte zijn.
3. TARGET-SFT Algoritme: Een concrete methode die adaptief de balans vindt tussen label-imitatie en teacher-guided residuele supervisie. Het vermijdt overfitting op onzekere labels terwijl het de kennis van de teacher gebruikt om het model naar plausibele alternatieven te leiden.

Experimentele Resultaten

De auteurs evalueerden TARGET-SFT over 10 dataset-model instellingen, variërend van wiskundige redenering (NuminaMath-CoT, OpenRiel-15k) tot medische redenering (m23k) met modellen van 1.5B tot 8B parameters (Qwen2.5, Qwen3, LLaMA).

• Prestaties: TARGET-SFT behaalde consistent de hoogste Average@16 accuratesse over alle settings, waarbij het standaard SFT, probability-weighted SFT (p-loss) en knowledge distillation baselines overtrof.
• Wiskundige Redenering: Standaard SFT leverde vaak slechts bescheiden winst op of degradeerde zelfs de prestaties (bijv. op Qwen3-1.7B) door rigide one-hot fitting. TARGET-SFT verbeterde significant ten opzichte van p-loss, wat aantoont dat het expliciet ontwerpen van de residuele distributie superieur is aan enkel het down-weighten van de label.
• Medische Redenering: Hoewel standaard SFT goed presteerde in sommige medische gevallen (wat suggereert dat striktere imitatie soms geldig is), behaalde TARGET-SFT nog steeds de beste gemiddelde prestaties. Dit geeft aan dat de teacher-guided residual branch waarde biedt, zelfs wanneer eenvoudige herweging minder effectief is.
• Ablatie Studies:
  • Het variëren van de teacher signal intensiteit ($\eta$) toonde aan dat adaptieve weging robuust is over verschillende intensiteiten.
  • Het vervangen van de adaptieve weging $(1-\gamma_t)$ door een vaste constante $c$ degradeerde de prestaties, wat de noodzaak van onzekerheid-afhankelijke weging bevestigt.
  • Distillatie baselines waren zeer gevoelig voor de mixture weight $c$ en slaagden er niet in om de prestaties van TARGET-SFT te evenaren, wat suggereert dat het gebruik van een teacher als een vaste volledige target suboptimaal is vergeleken met adaptieve fallback supervisie.

Significantie en Claims

Het artikel claimt dat de formulering een fundamenteelere designprincipe voor SFT training onthult. Door de focus te verschuiven van de loss functie naar de geïnduceerde target distributie, stellen de auteurs:

• Verenigen zij uiteenlopende SFT-varianten onder één enkel theoretisch kader.
• Onthullen zij een bredere zoekruimte voor SFT-objectieven, wat expliciete controle mogelijk maakt over de mate waarin men data imiteert versus het behouden van priors of het integreren van externe begeleiding.
• Demonstreren zij dat effectieve SFT voortkomt uit het zorgvuldig ontwerpen van zowel de imitatiekracht als de allocatie van de resterende waarschijnlijkheidsmassa, in plaats van te vertrouwen op rigide one-hot targets of statische regularisatie.

De auteurs concluderen dat TARGET-SFT een nieuw, completer perspectief op SFT biedt, wat nieuwe wegen opent voor toekomstige objectief-design die een betere balans vinden tussen dataset-imitatie, prior-behoud en alternatieve supervisie.