Learning from Synthetic Data without Model Collapse in Iterative Instruction Tuning

Technische Samenvatting: Leren van Synthetische Data zonder Model Collapse in Iteratieve Instructie-afstemming

Probleemstelling

Het artikel behandelt de uitdaging van model collapse (modelinstorting) in de context van iteratieve instructie-afstemming (instruction tuning) met behulp van synthetische data. Naarmate grote taalmodellen (LLM's) steeds vaker vertrouwen op door modellen gegenereerde data voor training, loopt de daaropvolgende generatie het risico op prestatievermindering door een vernauwing van de datadekking en geaccumuleerde bias. Terwijl de bestaande literatuur zich primair richt op het begrenzen van deze degradatie (bijv. ervoor zorgen dat de testfout niet divergeert), stellen de auteurs dat het meer betekenisvolle doel voor iteratieve modelevolutie het waarborgen van duurzame verbetering is, waarbij elke opeenvolgende versie het model dat eraan voorafging overtreft.

Een kritieke kloof die wordt geïdentificeerd, is dat bestaande analyses collapse behandelen als een uniforme degradatie van de algehele nauwkeurigheid of een vernauwing van de 'long-tail' distributies. Dit grove perspectief is onvoldoende voor bruikbare datacuratie. De auteurs tonen empirisch aan dat collapse in instructie-afstemming zich niet manifesteert als een uniforme achteruitgang, maar als een polarisatie van competentie: synthetische training heeft de neiging om vaardigheden die het model al bezit te versterken, terwijl het vaardigheden waar het model al zwak in is, verder degradeert.

Methodologie: KITE-framework

Om dit aan te pakken, stellen de auteurs KITE voor (Knowledge-boundary Instruction Tuning via Exploration), een tweestaps-framework ontworpen om synthetische data te genereren die nuttige leersignalen biedt zonder het model te destabiliseren.

1. Fase 1: Constructie van een Failure-Guided Candidate Bank
Het doel van deze fase is om de dekking uit te breiden voorbij de dominante hoog-waarschijnlijke modi van het model en de generatie te richten op de huidige zwaktes.

• Zwakte-profilering: In plaats van alleen ruwe foutaantallen te gebruiken, maakt de methode gebruik van het DINA-model (Deterministic Inputs Noisy And gate) uit de cognitieve wetenschap. Dit model analyseert het patroon van correcte en incorrecte antwoorden over een trainingsset om latente niveaus van vaardigheidsbeheersing af te leiden. Vaardigheden met een laag beheersingsniveau worden omgezet in natuurlijke taalbeschrijvingen om nieuwe instructies te genereren die gericht zijn op specifieke tekortkomingen.
• Ranggebaseerde Ruisinjectie: Standaard decoding produceert vaak getimplateerde of eenvoudige instructies, zelfs wanneer er rekening wordt gehouden met zwaktes. Om dit tegen te gaan, introduceert KITE een ranggebaseerde perturbatie in de token-waarschijnlijkheidsdistributie. Door tokens met een lagere rang hoger te wegen op basis van hun logit-volgorde ($q^{(\alpha)}_t(v|c) \propto q_t(v|c) \cdot r_t(v|c)^\alpha$), stimuleert de methode exploratie buiten de interne hoog-waarschijnlijke modi van het model zonder harde afkaping.

2. Fase 2: Onzekerheid-gebaseerde Datacuratie
Uit de grote door Fase 1 gegenereerde kandidaatbank wordt een subset geselecteerd voor labeling en training. Het selectiecriterium geeft prioriteit aan voorbeelden die nabij de semantische kennisgrens van het model liggen.

• Semantische Onzekerheid: In plaats van te vertrouwen op token-niveau onzekerheid (die kan worden opgeblazen door oppervlaktevariaties), bemonster de methode meerdere antwoorden voor een kandidaat-instructie en meet de dispersie in de semantische embedding-ruimte met behulp van een Radial Basis Function (RBF) kernel.
• Waarschijnlijkheidsweging: Om te voorkomen dat voorbeelden met een lage waarschijnlijkheid en 'off-manifold' generaties worden geselecteerd die slechts onzeker lijken, weegt de methode elk gesampled antwoord door de waarschijnlijkheid ervan onder het model.
• Kernel Boundary Uncertainty (KBU): De uiteindelijke curatiescore is de Rényi-2 entropie van een met waarschijnlijkheid gewogen kernelmatrix. Het framework selecteert kandidaten met gemiddelde onzekerheidsscores—wat duidt op onenigheid tussen meerdere plausibele antwoorden—terwijl het voorbeelden filtert die te gemakkelijk zijn (lage onzekerheid) of te ver buiten de acteerbare kennis van het model liggen (excessief hoge onzekerheid).

Belangrijkste Bijdragen

1. Diagnose van Collapse: Het artikel identificeert dat model collapse in iteratieve instructie-afstemming wordt gekenmerkt door een polarisatie van competentie (het versterken van sterke vaardigheden terwijl zwakke vaardigheden verzwakken) in plaats van een uniforme prestatie-degradatie.
2. KITE-framework: De auteurs stellen een tweestaps-methode voor die deze polarisatie direct tegengaat:
   • Failure-guided generatie richt zich op specifieke zwaktes geïdentificeerd via cognitieve diagnose.
   • Boundary-aware curatie zorgt ervoor dat de geselecteerde data nabij de semantische kennisgrens ligt, wat stabiele leersignalen biedt.
3. Empirische Validatie: Het framework wordt gevalideerd over meerdere open-source LLM's (inclusief de Qwen-, Llama- en Gemma-families) en diverse redeneerdatasets (GSM8K, MMLU-Pro, MATH, GPQA).

Experimentele Resultaten

• Prestaties: Over vijf iteraties van geaccumuleerde zelfverbetering presteert KITE consistent beter dan sterke baselines, waaronder Self-Instruct, Few-shot synthesis, Cognitive Diagnosis-based Synthesis (CDS) en Token-Level Editing (ToEdit). Bijvoorbeeld, op Qwen-3-4B-Instruct behaalde KITE een gemiddelde nauwkeurigheid van 72,86% vergeleken met 71,98% voor de beste baseline (ToEdit).
• Stabiliteit: Lange-horizon experimenten (tot 9 generaties) laten zien dat KITE een monotone prestatieverbetering mogelijk maakt zonder de degradatie-omkering die typerend is voor model collapse.
• Generalisatie:
  • Niet-redeneertaken: Bij recursieve zelf-training op wikitext behoudt KITE een stabiele perplexiteit, terwijl standaard high-temperature synthetische training leidt tot een monotone toename van de perplexiteit (collapse).
  • Out-of-Distribution (OOD): Modellen getraind met KITE vertonen verbeterde prestaties op ongeziene, moeilijkere wiskundige benchmarks (OlymMATH, AIME), wat suggereert dat de onderliggende redeneercapaciteiten zijn verbeterd in plaats van louter benchmark-overfitting.
• Ablatie: Het verwijderen van ofwel de zwakte-profilering of de KBU-curatiestap resulteert in significante prestatiedalingen, wat bevestigt dat zowel gerichte generatie als grensbewuste selectie noodzakelijk zijn.

Betekenis en Claims

Het artikel beweert dat KITE een praktisch pad biedt voor duurzame zelfverbetering in LLM's met behulp van synthetische data. Door de focus te verschuiven van enkel het begrenzen van degradatie naar het actief diagnosticeren en corrigeren van competentie-polarisatie, stelt het framework modellen in staat om effectief te evolueren, zelfs wanneer ze getraind worden op data gegenereerd uit hun eigen distributies. De auteurs positioneren dit werk als een studie van zelf-gegenereerde instructie-distributies, waarbij zij opmerken dat hoewel zij een sterke externe verifieerder (gpt-5-mini) gebruiken voor antwoord-normalisatie, de kernbijdrage ligt in de constructie van de trainingsdistributie zelf.

Beperkingen zoals opgemerkt door de auteurs:

• De afhankelijkheid van een externe verifieerder introduceert een mate van distillatie, wat betekent dat de resultaten reflecties zijn van zelf-gegenereerde distributies in plaats van een puur gesloten systeem.
• De DINA-gebaseerde zwakte-profilering gebruikt een door een LLM getagde Q-matrix met vaste priors, wat dient als een gestructureerde heuristiek in plaats van een gekalibreerde meting.
• De huidige evaluaties zijn beperkt tot redeneertaken en modellen met 1,7B–8B parameters; opschaling naar grotere modellen en RL-stijl post-training blijft toekomstig werk.