Technische Samenvatting: LP-SFT (Local-Preserving Supervised Fine-Tuning)

1. Probleemstelling

Supervised Fine-Tuning (SFT) is het standaardparadigma voor het aanpassen van pretrainde taalmodellen (PLM's) aan downstream-taken. De standaard SFT, die vertrouwt op token-niveau cross-entropy (CE) loss, veroorzaakt echter vaak capaciteitsdegradatie op twee dimensies:

1. Catastrofaal Vergeten: Over-specialisatie aan de fine-tuning distributie leidt tot het verlies van out-of-domain capaciteiten.
2. Verminderde Generatieve Diversiteit: Het model onderdrukt alternatieve geldige oplossingen, waardoor de distributie inklapt naar een enkel token en de via sampling toegankelijke diversiteit (gemeten via pass@k) vermindert.

De auteurs stellen dat deze degradatie voortkomt uit een mismatch tussen de CE-doelstelling en de rijke distributieve kennis die in PLM's is gecodeerd. Terwijl PLM's brede capaciteiten leren, wat resulteert in next-token distributies met aanzienlijke informatie die verder gaat dan het enkele geobserveerde target-token, negeert standaard CE de resterende voorkeursstructuur. Het herhaaldelijk onderdrukken van plausibele alternatieven tijdens fine-tuning verstoort de pretrainde structurele integriteit.

2. Belangrijkste Observaties: Multimodale Entropiestructuur

Voordat ze een oplossing voorstellen, analyseren de auteurs de entropiestructuur van next-token voorspellingen in basismodellen.

• Multimodale Entropiepieken: Met behulp van Shannon ($H_1$) en Rényi-2 ($H_2$) entropieën observeren de auteurs dat de entropieverdeling duidelijke multimodale pieken vertoont nabij $\ln k$ voor gehele getallen $k$.
• Plateau-k Staten: Deze pieken komen overeen met "entropie-gecomprimeerde staten" waar onzekerheid verspreid is over $k$ vergelijkbaar plausibele volgende token-kandidaten.
  • Low-order plateaus ($k=1\text{--}5$): Komen vaak overeen met logische of semantische vertakkingen waarbij meerdere geldige voortzettingen bestaan.
  • High-order plateaus ($k \approx 10$): Komen vaak overeen met structurele ambiguïteit (bijv. willekeurige cijfers, ID's) waarbij het model de waarschijnlijkheid verdeelt over een set karakters.
• Implicatie: Het basismodel codeert intrinsiek rijke distributieve kennis. Standaard CE behandelt alle tokens uniform en verstoort deze heterogene structuur onnodig door het model te dwingen deze gestructureerde alternatieven te negeren.

3. Methodologie: LP-SFT

Om dit aan te pakken, stellen de auteurs LP-SFT (Local-Preserving Supervised Fine-Tuning) voor. De methode gebruikt het bevroren basismodel als een lokale structurele referentie om de relatieve voorkeuren tussen niet-target alternatieven te behouden zonder te conflicteren met het supervised learning signaal.

Kerncomponenten

1. Local Top-K Preservation Set:

   • Op elke tokenpositie $t$ construeert de methode een kandidaatenset $S_t$ uit de top-$K_{max}$ tokens van de bevroren basismodel distributie ($q_t$).
   • Standaard is $K_{max} = 10$, gekozen om zowel de low-order vertakkingen als de prominente high-order plateau waargenomen in de analyse te dekken.

2. Target-Token Verwijdering:

   • Om te voorkomen dat er een conflict ontstaat met de primaire cross-entropy doelstelling (die het supervised target-token $y_t$ optimaliseert), wordt $y_t$ expliciet verwijderd uit de preservatieset.
   • De preservatieset wordt $A_t = S_t \setminus \{y_t\}$.

3. Lokale KL-normalisatie:

   • In plaats van een globale KL-divergentie toe te passen over de volledige vocabulaire (wat computationeel duur en te restrictief kan zijn), past LP-SFT een lokaal genormaliseerde KL-divergentie toe over de set $A_t$.
   • De waarschijnlijkheden van het basismodel ($q_t$) en het trainbare model ($p_t$) worden alleen binnen $A_t$ genormaliseerd om $\hat{q}_t$ en $\hat{p}_t$ te verkrijgen.
   • De loss wordt gedefinieerd als: $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$.
   • Rationale: Dit behoudt de relatieve voorkeursstructuur tussen de resterende niet-label alternatieven zonder de absolute waarschijnlijkheidsmassa van deze alternatieven of de totale massa toegewezen aan de set kunstmatig te beperken.

Trainingsdoelstelling

De uiteindelijke doelstelling combineert de standaard cross-entropy loss voor het target-token met de lokale preservatie loss:
$$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$$
waarbij $\mu$ de sterkte van de preservatie controleert.

Implementatie-efficiëntie

In tegen tegenstelling tot methoden die bij elke trainingsstap een forward pass van het basismodel vereisen, gebruikt LP-SFT een tweestapsimplementatie:

1. Offline Precomputatie: Het basismodel verwerkt de gehele trainingsdataset één keer om de top-$K_{max}$ logits te cachen.
2. Fine-Tuning: De trainingslus vereist alleen de forward pass van het trainbare model, waarbij de gecachte logits worden gebruikt om de lokale preservatie loss te berekenen. Dit vermindert de computationele overhead aanzienlijk vergeleken met full-vocabulary anchoring methoden.

4. Experimentele Resultaten

De auteurs evalueerden LP-SFT op drie modelfamilies (Qwen3-4B, Llama-3.1-8B, Qwen3-14B) in mixed-domain en single-domain settings (Math, Code, General Instruction).

• Prestaties vs. Vanilla SFT: LP-SFT presteert consistent beter dan standaard CE en recente SFT-verbeteringsbaselines (DFT, EAFT, GEM, ASFT) in termen van algemene gemiddelde prestaties.
• Pass@1 vs. Pass@k Trade-off:
  • Standaard CE verbetert vaak pass@1 (single-sample accuratesse) ten koste van pass@k (diversiteit).
  • Methoden zoals DFT verbeteren pass@1 maar veroorzaken significante dalingen in pass@k.
  • LP-SFT bereikt de beste balans: Het verbetert pass@1 terwijl het pass@k behoudt of verbetert, wat aangeeft dat het sampling-toegankelijke diversiteit behoudt zonder accuratesse op te offeren.
• Catastrofaal Vergeten: In mixed-domain fine-tuning mitigeert LP-SFT de capaciteitsdegradatie aanzienlijk. Bijvoorbeeld, op de MMLU benchmark behield LP-SFT prestaties die bijna gelijk zijn aan het bevroren basismodel, terwijl standaard CE zware dalingen vertoonde.
• Ablatie-studies: De methode is relatief ongevoelig voor de hyperparameter $\mu$. Zowel target-token verwijdering als lokale KL-normalisatie bleken cruciaal voor stabiliteit en prestaties.

5. Betekenis en Claims

Het artikel claimt dat LP-SFT een nieuwe benadering biedt voor supervised fine-tuning door expliciet de inherente entropiestructuur van pretrainde modellen te beschermen.

• Mechanisme: Door het leren van het target-token te ontkoppelen van het behoud van lokale structurele voorkeuren, voorkomt LP-SFT het "overschrijven" van de gestructureerde onzekerheid van het basismodel.
• Resultaat: Deze aanpak helpt catastrofaal vergeten te mitigeren en behoudt generatieve diversiteit (sampling-toegankelijke oplossingen) terwijl de single-sample accuratesse behouden blijft of zelfs verbetert.
• Efficiëntie: De methode biedt deze voordelen met een bescheiden computationele overhead vergeleken met full-vocabulary anchoring technieken, wat het een praktische alternatief maakt voor het behoud van pretrainde capaciteiten tijdens domeinadaptatie.

De auteurs concluderen dat lokale preservatie een effectieve strategie is om de balans te vinden tussen downstream adaptatie en het behoud van algemene capaciteiten, wat suggereert dat de rijke distributieve kennis die tijdens pretraining is geleerd, behouden moet blijven in plaats van weggegooid te worden tijdens fine-tuning.