Not All Synthetic Data Is Yours to Learn From

Technische Samenvatting: "Niet alle synthetische data is van jou om van te leren"

Probleemstelling
De heersende opvatting in de moderne post-training van taalmodellen (LM) is dat trainen op de eigen outputs van een model (recursieve zelf-training) leidt tot distributieve drift en "model collapse", tenzij de synthetische data strikt wordt gefilterd door verifiers, reward-modellen of controles op juistheid. Recente observaties suggereren echter dat zwakke, ongestructureerde zelf-trainingssignalen de prestaties in specifieke domeinen (bijv. codegeneratie, redeneren) kunnen verbeteren zonder externe supervisie. Het centrale probleem dat dit artikel adresseert, is het bepalen van de condities waaronder prompt-vrije, onvoorwaardelijke zelf-training slaagt of faalt. Specifiek onderzoeken de auteurs of het nut van synthetische data een intrinsieke eigenschap is van de data zelf (bijv. afgeleid van de grootte of capaciteit van het bronmodel) of een relationele eigenschap van de compatibiliteit tussen het bronmodel en het studentmodel. Verder zoeken zij naar het mechanisme achter deze winsten: importeert zelf-training nieuwe kennis, of versterkt het latente capaciteiten die al aanwezig zijn in het pre-getrainde model?

Methodologie
De auteurs bestudelen de "minimale setting" van prompt-vrije onvoorwaardelijke zelf-training. In dit regime:

1. Datageneratie: Een bronmodel genereert tekst onvoorwaardelijk vanaf het Beginning-of-Sequence (BOS) token, zonder prompts, taakspecificaties of filtering. Sampling wordt uitgevoerd bij verschillende temperaturen ($\tau \in \{0.75, 1.0, 1.25\}$).
2. Student-training: Een basis taalmodel (de student) wordt fijngetuned op deze synthetische corpus met behulp van full-parameter AdamW met een cosine learning rate schedule.
3. Experimenteel ontwerp:
   • Relationeel Nut: De auteurs fixeren een studentmodel (Qwen2.5-0.5B) en trainen het op corpora gegenereerd door verschillende bronnen: zichzelf, een groter model uit dezelfde lijn (Qwen2.5-7B), een groter maar anders samengesteld model (Qwen3-8B), en een model uit een andere familie (LLaMA-3.2-1B).
   • Intrinsieke Proxies: Ze testen of standaard intrinsieke metrieken (semantische gelijkenis op benchmark-niveau, gemiddelde per-token likelihood onder de student) downstream winsten voorspellen.
   • Memorizatie versus Capaciteit: Met behulp van Pythia-modellen (1B en 6.9B) met gedocumenteerde pretraining-corpora, evalueren ze de trade-off tussen downstream benchmark-nut en letterlijke memorizatie (gemeten via prefix-completion extractie-aanvallen en true-continuation log-waarschijnlijkheid).
   • Decontaminatie: Alle synthetische corpora ondergaan 8-gram decontaminatie tegen test-splits om accidentele benchmark-rehearsal uit te sluiten.

Belangrijkste Bevindingen

1. Synthetisch Nut is Relationeel, Niet Intrinsiek:

   • Zelf-gegenereerde Data is Optimaal: De meest effectieve trainingsdata wordt gegenereerd door het studentmodel zelf.
   • Lineage boven Capaciteit: Transfer binnen dezelfde lineage (bijv. Qwen2.5-7B naar Qwen2.5-0.5B) presteert beter dan transfer van een groter maar anders getraind bronmodel (Qwen3-8B), ondanks het feit dat dat laatste hogere benchmark-capaciteiten heeft.
   • Falen van Cross-Family: Transfer vanuit andere modelfamilies (bijv. LLaMA naar Qwen) is aanzienlijk zwakker en vaak schadelijk.
   • Falen van Proxies: Noch de semantische gelijkenis van de corpus met benchmarks, noch de gemiddelde likelihood van de corpus onder de student, voorspelt welke data nuttig zal zijn. Bijvoorbeeld, twee corpora met bijna identieke gemiddelde negative log-likelihood (NLL) onder de student kunnen tegengestelde downstream effecten produceren.

2. Resurfacing van Latente Capaciteit:

   • Winsten zijn sterk model-afhankelijk. Qwen-modellen vertonen brede verbeteringen in redeneren, wiskunde en code, terwijl LLaMA-modellen slechts smalle winsten laten zien op begrip-georiënteerde benchmarks en degraderen op gestructureerde generatietaken.
   • Dit suggereert dat zelf-training geen ontbrekende gestructureerde vermogens creëert, maar eerder "latente capaciteiten" versterkt die al gecodeerd zijn tijdens de pretraining. Het synthetische signaal fungeert als een filter dat specifieke gedistribueerde taakstructuren versterkt die compatibel zijn met de bestaande representatie van de student.

3. Ontkoppeling van Capaciteit en Memorizatie:

   • In gunstige zelf-training regimes (specifiek met Pythia-modellen bij bepaalde learning rates), wordt benchmark-nut behouden of verbeterd terwijl de letterlijke memorizatie scherp daalt (bijv. >95% reductie in exact-match extractie op gehouden pretraining-sequenties).
   • Dit gebeurt zonder enige expliciete forget set, privacy-doelstelling of gerichte unlearning.
   • De reductie in memorizatie wordt bevestigd door een afname in de log-waarschijnlijkheid toegewezen aan ware pretraining-continuaties, wat wijst op een genuïne herverdeling van de waarschijnlijkheidsmassa weg van sequentie-specifieke recall naar gedistribueerde, generaliseerbare structuren.

Significantie en Claims
Het artikel stelt de Latent Capability Resurfacing Hypothesis voor, die stelt dat zwakke zelf-training werkt door capaciteiten te versterken die al aanwezig zijn in het pre-getrainde model, maar alleen wanneer de synthetische corpus "compatibel" is met de student. De auteurs claimen drie primaire bijdragen:

1. Formulering van een Minimaal Regime: Ze isoleren het effect van synthetische data door alle externe supervisie (prompts, rewards, verifiers) te verwijderen, waarmee ze aantonen dat winsten uitsluitend voortkomen uit de interactie tussen de student en de bron.
2. Relationeel Nut: Ze stellen vast dat de effectiviteit van synthetische data een relationele eigenschap is van het bron-student paar, wat de aanname uitdaagt dat "betere" (grotere of meer capabele) bronmodellen altijd betere trainingsdata opleveren.
3. Emergente Unlearning: Ze identificeren een regime waarin capaciteit en letterlijke memorizatie helder ontkoppeld zijn. Dit suggereert dat ongerichte zelf-training organisch de neiging van een model kan verminderen om trainingsdata te regurgiteren terwijl de prestaties verbeteren, wat een nieuw perspectief biedt op de verstrengeling van nut en privacy.

Beperkingen
De auteurs merken op dat hun bevindingen gebaseerd zijn op een specifieke set open-weight modelfamilies en schalen, en dat de geobserveerde compatibiliteitshierarchie niet universeel kan zijn voor alle modelgroottes. Daarnaast, hoewel ze de compatibiliteitshypothese ondersteunen, meten ze niet direct de gradiënt-alignment of de geometrie van update-richtingen. Tot slot rust hun memorizatie-analyse op gedocumenteerde pretraining-sequenties en statische benchmarks, wat geen volledige privacy-audit vormt of de dynamische deployment-scenario's weerspiegelt.