Technische Samenvatting: InfoSFT

Probleemstelling

Supervised Fine-Tuning (SFT) is de standaardaanpak voor het aanleren van nieuw gedrag aan Large Language Models (LLMs) met behulp van offline expertdemonstraties. Echter, standaard SFT lijdt aan twee kritieke beperkingen:

1. Zwakke Generalisatie op Testtijd: Standaard SFT past zich uniform aan op alle steekproeven, inclusief die met een lage waarschijnlijkheid onder het basismodel. Deze tokens met lage waarschijnlijkheid leiden tot grote verliezen op de negatieve log-waarschijnlijkheid, waardoor het model gedwongen wordt om specifieke steekproeven te overfitten in plaats van het onderliggende doelgedrag te leren. Bijgevolg presteert SFT vaak slechter dan on-policy methoden (zoals RL) in generalisatiebenchmarks.
2. Catastrofaal Vergeten: Het aanpassen aan nieuw gedrag met behulp van offline data met lage waarschijnlijkheid veroorzaakt aanzienlijke verschuivingen in de outputverdeling van het model. Deze grote distributieverschuiving correleert met de achteruitgang van eerdere vaardigheden (bijvoorbeeld veiligheid, instructievolging of algemeen redeneren), een fenomeen dat bekendstaat als catastrofaal vergeten.

Bestaande mitigeringsstrategieën, zoals het filteren of verlagen van het gewicht van data met lage waarschijnlijkheid, onderdrukken vaak juist de nieuwe, innovatieve gedragingen die het basismodel moet leren, waardoor een afweging ontstaat tussen het leren van nieuwe taken en het behouden van oude taken.

Methodologie: InfoSFT

De auteurs stellen InfoSFT voor, een principiële token-gewichtsregeling die is ontworpen om leersignalen te concentreren op "maximaal informatieve, tokens met gemiddeld vertrouwen". De methode is afgeleid van een proximaal updatekader, waarbij de afweging wordt geoptimaliseerd tussen het aanpassen aan de expertverdeling en dicht bij het basismodel blijven binnen een vast KL-divergentie-budget.

Theoretische Afleiding

De auteurs presenteren SFT als een policy gradient-probleem waarbij het gewicht van een steekproef afhangt van zijn waarschijnlijkheid $q = \pi_\theta(y^*|x)$ onder het huidige model.

• Standaard SFT kent een uniform gewicht toe ($w=1$), wat effectief alle tokens gelijk behandelt.
• DFT (Likelihood-Weighted SFT) kent gewichten toe die evenredig zijn met de waarschijnlijkheid ($w \propto q$), wat de training stabiliseert maar informatieve steekproeven met lage waarschijnlijkheid onderbelicht.
• InfoSFT leidt een optimale wegingsregel af die prioriteit geeft aan het aanpassen aan de populatieverdeling van expertdata in plaats van individuele steekproeven te memoriseren. Het optimale gewicht voor een token met waarschijnlijkheid $q$ wordt afgeleid als:
  $$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$$
  Waarbij:
  • $p$ een schatting is van het gemiddelde expertvertrouwen (een kalibratieconstante).
  • $\text{logit}(q) = \log(\frac{q}{1-q})$.
  • $(\cdot)_+$ aangeeft dat wordt geknipt om niet-negatieve gewichten te garanderen.

Belangrijkste Kenmerken

• Focus op Gemiddeld Vertrouwen: De wegingsfunctie piekt voor tokens met intermediair vertrouwen. Het kent hoge gewichten toe aan tokens die onwaarschijnlijk zijn onder het basismodel (en dus informatief), maar niet zo onwaarschijnlijk dat ze instabiliteit veroorzaken.
• Verdwijnend Gewicht voor Extremen:
  • Voor zeer vertrouwenwekkende tokens ($q \to 1$) verdwijnt de correctieterm, waardoor onnodige versterking van tokens die het model al goed voorspelt, wordt vermeden.
  • Voor extreem onwaarschijnlijke tokens ($q \to 0$) verdwijnt het gewicht, waardoor instabiliteit wordt voorkomen.
• Implementatie: InfoSFT vereist slechts een aanpassing van één regel in de standaard token-voor-token verliesfunctie. Het vervangt het uniforme gewicht door de afgeleide wegingsfactor.

Belangrijkste Bijdragen

1. Optimale Update onder KL-Budget: Het artikel toont theoretisch aan dat, wanneer beperkt tot dicht bij het basismodel te blijven (vast KL-budget), de optimale updatestrategie de hoogste gewichten toekent aan steekproeven met intermediair vertrouwen, in plaats van uniforme of waarschijnlijkheids-evenredige gewichten.
2. InfoSFT-algoritme: Een eenvoudige, nieuwe variant van SFT die deze wegingsregel integreert. Het legt de nadruk op informatieve tokens met lage waarschijnlijkheid, terwijl het weinig gewicht toekent aan reeds opgeloste tokens.
3. Complementariteit met SFT: De auteurs tonen aan dat InfoSFT en standaard SFT complementair zijn. SFT is effectief voor het introduceren van zeer onwaarschijnlijke formaten (bijvoorbeeld nieuwe redeneertags zoals <thought>), terwijl InfoSFT superieur is voor het verfijnen van het model zodra die formaten waarschijnlijker worden.

Experimentele Resultaten

De auteurs hebben InfoSFT geëvalueerd voor wiskunde, code en Chain-of-Thought (CoT) redeneertaken met diverse modelseries (Qwen-2.5, Llama-3.1) en maten.

• Generalisatieprestaties: InfoSFT presteerde consistent beter dan zowel vanilla SFT als DFT op testtijd-benchmarks (MATH500, AMC, HumanEval, MultiPL-E). Opmerkelijk is dat het hogere pass@8-scores behaalde, wat wijst op betere diversiteit en robuustheid bij het genereren van correcte oplossingen binnen meerdere steekproeven.
• Catastrofaal Vergeten: In experimenten die de afweging maten tussen nauwkeurigheid op nieuwe taken en eerdere vaardigheden (Science Q&A en Tool Use), behaalde InfoSFT een superieure Pareto-grens. Het bereikte een hogere nauwkeurigheid op nieuwe taken dan SFT en DFT, terwijl het eerdere vaardigheden (bijvoorbeeld HumanEval, IFEval) effectiever behield.
• Entropiecontrole: In tegenstelling tot DFT, wat vaak leidt tot entropie-inzakking (deterministische outputs), behoudt InfoSFT een hogere outputentropie, wat cruciaal is voor downstream-afstemming en inferentie op basis van steekproeven.
• CoT-redenering: Bij CoT-finetuning leverde een tweestapsbenadering (1 epoch SFT gevolgd door 1 epoch InfoSFT) de beste resultaten op AIME op, waarbij gebruik werd gemaakt van SFT om het formaat te leren en InfoSFT om het redeneren te verfijnen.

Betekenis en Claims

Het artikel beweert dat token-gewichtgeving een sleutelelement is voor betrouwbare supervised post-training. Door verder te gaan dan uniform aanpassen of eenvoudige waarschijnlijkheidsgewichtgeving, adresseert InfoSFT de fundamentele spanning tussen het leren van nieuw gedrag uit offline data en het behoud van bestaande vaardigheden. De methode biedt een principiële, laag-overhead oplossing die generalisatie verbetert en catastrofaal vergeten mitigeert zonder complexe datafiltering of on-policy sampling te vereisen. De auteurs positioneren InfoSFT als een robuust alternatief dat de kloof overbrugt tussen de stabiliteit van SFT en de generalisatievoordelen van on-policy methoden.