Technische Samenvatting: Introspectieve Training (IXT)

Probleemstelling

Huidige trainingspijplijnen voor Large Language Models (LLM's) zijn geëvolueerd van eenvoudige twee-trapsprocessen (pre-training en post-training) naar complexe, meertrapsworkflows die "mid-training" en domeinspecialisatie omvatten. Een kritieke inefficiëntie in deze pijplijnen is hun unidirectionele aard: informatie en strategieën voor kwaliteitsdifferentiatie die in latere stadia worden ontwikkeld (bijvoorbeeld post-training afstemming of domeinspecifieke fine-tuning), worden zelden gebruikt om eerdere stadia (bijvoorbeeld pre-training) te informeren. Bijgevolg worden modellen vaak getraind op ruwe data waarbij alle tokens tijdens pre-training gelijk worden behandeld, om pas later agressieve curatie en kwaliteitsdifferentiatie te ondergaan. Deze isolatie van kennis beperkt het potentieel voor kruisbestuiving van ideeën en verhindert dat het trainingsproces vanaf het begin computerefficiënt is. De auteurs veronderstellen dat het introduceren van kwaliteitsbewuste differentiatie eerder in de pijplijn de schalingsefficiëntie en downstream-prestaties aanzienlijk kan verbeteren.

Methodologie: Introspectieve Training (IXT)

De auteurs stellen Introspectieve Training (IXT) voor, een unificerend algoritme dat is ontworpen om feedback van latere trainingsstadia in eerdere stadia te injecteren. IXT is geïnspireerd op offline beloningsgeconditioneerde versterkende leer en werkt door trainingsdata te conditioneren op door het model gegenereerde kwaliteitsfeedback.

Het annotatieproces

1. Rubric-gebaseerde evaluatie: Een judge LLM (specifiek Qwen3-30B-A3B in de experimenten) evalueert documenten tegen een vaste rubric. De rubric omvat vijf dimensies: Schrijfstijl, Expertise, Educatieve Waarde, Feitdichtheid/Feitelijkheid en Efficiëntie.
2. Feedbackgeneratie: Voor elk document produceert de judge:
   • Scores per as (1–5).
   • Een totaalscore (1–5).
   • Een natuurlijke taal-kritiek (1–2 zinnen) die sterktes en zwaktes samenvat.
3. Paarsgewijze annotatie (optioneel): Voor smalle verdelingen (bijvoorbeeld gecureerde SFT-data) wordt een paarsgewijze vergelijkingsprocedure gebruikt waarbij de judge het meest bruikbare document uit paren selecteert. Deze voorkeuren worden geaggregeerd via een Bradley-Terry-model om continue scores af te leiden, die vervolgens worden ingedeeld in dezelfde kwaliteitslabels op 5 niveaus.

Conditioneringsstrategieën voor training

De gegenereerde feedback wordt als prefix aan het originele document voorafgeplakt, waardoor het model effectief wordt geconditioneerd op het kwaliteitssignaal tijdens de next-token prediction (NTP)-doelstelling. De auteurs onderzoeken twee vormen van conditionering:

• Gestandaardiseerde kwaliteitstokens ($\phi_{tok}$): De totaalscore wordt gemapt naar gekwantiseerde natuurlijke taallabels (bijvoorbeeld [low], [medium], [high]). Deze worden behandeld als standaard teksttokens, niet als speciale tokens.
• Natuurlijke taal-kritieken ($\phi_{crit}$): De volledige natuurlijke taal-kritiek wordt aan het document voorafgeplakt. Dit biedt een rijker, beter interpreteerbaar signaal.

Tijdens inferentie kan het model worden gestuurd door een specifiek kwaliteitslabel of een beschrijvende kritiek-prefix vooraf te plakken die overeenkomt met de gewenste outputkenmerken.

Belangrijkste bijdragen

1. Unificerend trainingsalgoritme: IXT biedt een enkel algoritme dat toepasbaar is op alle trainingsstadia (pre-training, voortgezette pre-training en supervised fine-tuning), waardoor de traditionele silo's tussen deze fasen worden doorbroken.
2. Feedbackconditionering: In tegenstelling tot eerdere werken die data filteren of herwegen, behoudt IXT de originele data terwijl het een interpreteerbare beschrijving van documentkwaliteit direct aan het model blootlegt tijdens de training.
3. Computerefficiëntie: De methode toont aan dat het "besteden van rekenkracht offline" om data eenmaal te annoteren, aanzienlijke reducties in trainings-FLOP's mogelijk maakt om equivalente of superieure prestaties te bereiken.
4. Domeinspecialisatie: Het kader specialiseert modellen effectief in specifieke domeinen (wiskunde en code) eerder in de trainingslevenscyclus, met winsten die doorzetten in latere stadia.

Experimentele resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op dichte transformer-gebaseerde LLM's (7,5B tot 12B parameters) die vanaf nul zijn getraind tot 18 biljoen tokens.

• Schalingsefficiëntie: IXT buigt de schalingscurven, waardoor tot 2,8x meer computerefficiëntie (FLOP-besparingen) wordt bereikt in vergelijking met standaard Next Token Prediction (NTP)-baselines. Bijvoorbeeld, op coderingsbenchmarks bereikt IXT prestatieniveaus die standaardtraining zelfs met aanzienlijk meer rekenkracht niet kan bereiken.
• Prestatiewinst:
  • Pre-training vanaf nul: Op een 7,5B-model verbeterde IXT de gemiddelde totaalscore op benchmarks van 43,1 naar 48,7, met aanzienlijke winsten in wiskunde (MATH: 42,2 $\to$ 53,9) en code (HumanEval: 32,8 $\to$ 37,7).
  • Voortgezette pre-training (CPT): Bij checkpoints van 12T en 18T tokens presteerde IXT toegepast op domeinspecifieke data (Crane Math, Swallow Code) beter dan NTP-baselines. Opmerkelijk is dat een 12T-model met IXT-specialisatie een 18T-baseline op algemeen corpus versloeg op HumanEval (65,8% versus 59,0%).
  • Supervised Fine-Tuning (SFT): IXT verbeterde de prestaties op General SFT, OpenThinker en SFT > 4k datasets, hoewel de winsten kleiner waren vanwege de reeds hoge kwaliteit van SFT-data. Paarsgewijze annotatie voor SFT boostte de resultaten verder.
• Generalisatie: Het toepassen van IXT op slechts een gericht subset van data (bijvoorbeeld 15% van het Dolmino-mengsel met wiskunde/code) leverde prestaties op die vergelijkbaar waren met het annoteren van de volledige dataset, met positieve spillovereffecten op algemene benchmarks.
• Feedbackformaat: Natuurlijke taal-kritieken presteerden over het algemeen beter dan gestandaardiseerde tokens (bijvoorbeeld +2,6 punten gemiddeld in algemene mengsels), en bieden een expressievere interface voor controle tijdens de inferentie.

Betekenis en claims

Het artikel claimt dat Introspectieve Training een praktische en breed effectieve weg vertegenwoordigt naar meer computerefficiënte LLM-training. Door feedback "achteruit" door de trainingspijplijn te laten stromen, stelt IXT modellen in staat om veel eerder dan traditioneel voorbehouden aan post-training te leren van kwaliteitssignalen.

De auteurs benadrukken dat hun methode geen wijziging vereist van het fundamentele trainingsdoel (NTP), maar eerder de inputverdeling aanpast om kwaliteitscontext op te nemen. Zij concluderen dat conditionering op door het model gegenereerde feedback mogelijk maakt:

• Het doorbreken van prestatieasymptoten die standaardtraining bereikt op vaste corpora.
• Het bereiken van domeinspecialisatie met minder trainings tokens.
• Het bieden van een schaalbaar, interpreteerbaar mechanisme voor het sturen van modelgedrag tijdens de inferentie.

Het werk suggereert dat de scheiding tussen pre-training en post-training kunstmatig is en dat het unificeren van deze stadia via feedbackconditionering aanzienlijke efficiëntiewinsten kan opleveren zonder capaciteit op te offeren.