Technisch Samenvatting: INFUSER – Influence-Guided Self-Evolution Improves Reasoning

1. Probleemstelling

Recente vooruitgang in het redeneervermogen van grote taalmodellen (LLM's) leunt zwaar op Reinforcement Learning met Verifieerbare Beloningen (RLVR). De schaalbaarheid van RLVR wordt echter beperkt door de schaarste aan hoogwaardige, verifieerbare trainingsdata, die kostbaar zijn om te cureren. Zelfevolutie (self-evolution) biedt een weg vooruit door een model zijn eigen trainingsdata te laten genereren uit ongestructureerde documenten of zijn eigen outputs, waardoor de noodzaak voor externe docentmodellen of gecureerde corpora vervalt.

Bestaande methoden voor zelfevolutie kampen met twee primaire beperkingen:

1. Gronding (Grounding): Pure self-play methoden (bijv. R-Zero) vertrouwen uitsluitend op de voorkennis van het model, wat het risico op gehallucineerde referentieantwoorden met zich meebrengt. Executor-gebaseerde methoden (bijv. AZR) herstellen de verifieerbaarheid, maar zijn beperkt tot domeinen met formele executors (code, wiskunde), waardoor ze geen gebruik kunnen maken van overvloedige ongestructureerde tekst.
2. Generator-objectieven: Document-gegronde benaderingen (bijv. SPICE) belonen de generator vaak op basis van moeilijkheidsheuristieken (bijv. het maximaliseren van de faalratio van de solver naar ~50%). Moeilijkheid is een grove proxy voor nut; een vraag kan "moeilijk" zijn vanwege ambiguïteit of een mismatch met de bron, zonder dat dit een garantie biedt voor de verbetering van de solver op de doelverdeling.

De kernvraag die wordt geadresseerd is: Kunnen we een generator trainen om document-gegronde trainingsdata te produceren die de huidige solver daadwerkelijk verbetert op een doelverdeling, terwijl deze er mee co-evolueert?

2. Methodologie: INFUSER

De auteurs stellen INFUSER voor (INFluence-gUided Self-Evolution Improves Reasoning), een iteratief co-trainingsframework dat zelfevolutie beschouwt als een bilevel game tussen een Generator ($\pi_\phi$) en een Solver ($\pi_\theta$). Beiden worden geïnitialiseerd vanuit hetzelfde pre-trained model.

2.1 Bilevel Game Formulering

• Onderliggend niveau (Solver): De solver traint op een curriculum van vraag-antwoordparen (QA) ($Q_\phi$) gegenereerd door de generator uit een pool van ongestructureerde documenten ($D_{doc}$). De solver optimaliseert om de nauwkeurigheid op dit curriculum te maximaliseren met behulp van standaard RLVR (bijv. Dr.GRPO).
• Bovenliggend niveau (Generator): De generator heeft als doel een curriculum $Q_\phi$ te produceren waarvoor, na de update van de solver, de prestaties van de solver op een doelverdeling ($P$) verbeteren.
• Coöperatieve aard: In tegenstelling tot adversariële self-play, wordt de generator beloond voor het helpen van de solver bij het verbeteren op de doelverdeling, niet voor het verslaan ervan.

2.2 Optimizer-Aware Influence Score

Om de prohibitieve kosten van exacte bilevel differentiatie (het terugpropageren door de volledige trainingsloop van de solver) te vermijden, gebruikt INFUSER een eerste-orde benadering geïnspireerd door influence functions.

• Dev-Set Anchor: Een kleine, apart gehouden ontwikkelset ($D_{dev}$) gesampled uit de doelverdeling $P$ wordt gebruikt om de "verbeteringsrichting" te definiëren. De gradiënt van de prestaties van de solver op $D_{dev}$ ($\hat{g}_{dev}$) dient als de doelvector.
• Influence Berekening: Voor elk gegenereerd QA-paar $(q, a_\phi)$ schat het systeem de door de solver geïnduceerde parameter-update richting ($\hat{\Gamma}(q, a_\phi)$) in. Deze richting wordt gepreconditioneerd door de AdamW optimizer-status om de werkelijke update-stap te reflecteren.
• Beloningssignaal: De beloning van de generator is de cosinusovereenkomst tussen de doelgradiënt ($\hat{g}_{dev}$) en de geïnduceerde update-richting ($\hat{\Gamma}$):
  $$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$$
  Een positieve score geeft aan dat training op $(q, a_\phi)$ samenvalt met het verbeteren van de prestaties op de doelverdeling. Deze score vervangt de traditionele "moeilijkheids"-metriek.

2.3 DuGRPO: Dual-Normalized GRPO

De influence score is een continu, ruisachtig signaal, wat uitdagingen met zich meebrengt voor standaard Group Relative Policy Optimization (GRPO).

• Uitdaging: Het normaliseren van beloningen uitsluitend binnen een documentgroep (GRPO-stijl) versterkt de ruis in groepen met een lage variantie. Het normaliseren uitsluitend over de batch (BatchNorm-stijl) laat groepen met een hoge variantie domineren.
• Oplossing: De auteurs stellen DuGRPO voor, een dual-genormaliseerde advantage estimator die binnen-groep en cross-groep normalisatie combineert:
  $$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$$
  waarbij $\sigma_d$ de standaarddeviatie binnen de documentgroep is en $\sigma_B$ de gemiddelde standaarddeviatie over de batch. Dit stabiliseert de training door ruis met een lage variantie te dempen terwijl dominantie door hoge variantie wordt voorkomen.

2.4 Trainingsloop

Het algoritme verloopt in fasen per iteratie:

1. Dev Referentie: Bereken de doelgradiënt $\hat{g}_{dev}$ vanaf de rollouts van de solver op $D_{dev}$.
2. Generatie: De generator samplet documenten en produceert QA-paren.
3. Solver Evaluatie: De solver probeert de gegenereerde vragen; per vraag worden gradiënten geschat.
4. Influence Scoring: Bereken de influence scores met behulp van de cosinusovereenkomst met $\hat{g}_{dev}$.
5. Updates: Update de generator met DuGRPO met de influence scores als beloningen; update de solver met Dr.GRPO met binaire correctheid-beloningen.

3. Belangrijkste Bijdragen

1. Influence-Guided Self-Evolution: Een nieuw framework dat de moeilijkheidsgebaseerde generator-beloningen vervangt door een optimizer-bewuste influence score, die direct optimaliseert voor nut op een doelverdeling in plaats van enkel voor moeilijkheid.
2. DuGRPO: Een nieuwe policy gradient variant ontworpen specif voor de continue, ruisachtige aard van influence-gebaseerde beloningen, wat stabiele generator-training mogelijk maakt.
3. Document-Grounded Co-Evolution: Een methode die overvloedige ongestructureerde corpora gebruikt om trainingsdata te genereren, waardoor de noodzaak voor externe docenten of executors vervalt terwijl de verifieerbaarheid behouden blijft via het eigen redeneervermogen van de solver.
4. Schaalbaarheid: Het aantonen dat een co-evoluërende 8B generator een bevroren 32B "thinking" generator kan overtreffen op wiskunde- en codingtaken, wat suggereert dat adaptatie belangrijker is dan de brute schaal van het model.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3-4B-Base en Qwen3-8B-Base anchors, waarbij INFUSER werd vergeleken met sterke baselines (R-Zero, AZR, R-Few, SPICE) en een General-Reasoner baseline.

• Prestatiewinst: INFUSER behaalde de hoogste scores op 8 van de 14 benchmarks. Op Qwen3-8B-Base liet het relatieve verbeteringen zien van meer dan 20% op OlympiadBench (Wiskunde), SuperGPQA en GPQA-Diamond vergeleken met het basismodel.
• Schaalbaarheid: De prestatiewinsten van INFUSER waren consistent over verschillende modelgroottes (4B tot 8B), terwijl baselines zoals R-Zero en SPICE een significante prestatiedaling lieten zien bij opschaling.
• Generator Kwaliteit: Analyse toonde aan dat de co-evoluërende generator in de loop der tijd steeds beter geformuleerde en uitdagendere vragen produceert. De "Strong-vs-Weak" kloof (het verschil in nauwkeurigheid tussen een sterk model en het basismodel op gegenereerde vragen) nam toe, wat aangeeft dat de generator vragen creëert die moeilijk zijn voor het basismodel maar oplosbaar zijn voor sterkere modellen (oftewel: hoogwaardige redeneeruitdagingen).
• Ablatie-studies:
  • Noodzaak van Generator: Het verwijderen van de generator (direct trainen op $D_{dev}$) leidde tot overfitting op de dev-set en slechte generalisatie.
  • Co-evolutie: Een bevroren 8B generator presteerde minder goed dan de co-evoluërende 8B generator, vooral in wiskunde. Een bevroren 32B generator presteerde beter dan de 8B co-evoluërende generator op kennisintensieve taken (algemeen redeneren, medisch), maar werd verslagen op wiskunde en coding, wat benadrukt dat adaptatie wint van schaal voor redeneren.
  • Componenten: Zowel de optimizer-bewuste influence score als de DuGRPO-normalisatie bleken essentieel; het verwijderen ervan zorgde ervoor dat de prestaties terugvielen naar het niveau van een bevroren generator.
• Extensies:
  • Instruction-Finetuned Anchors: INFUSER verbeterde succesvol een instruction-finetuned anchor (OLMo-3-7B-Instruct-SFT), waarbij het leidend was op 10 van de 13 benchmarks.
  • Hybride RLVR: Het combineren van document-gegronde zelfevolutie met regel-verifieerbare wiskunde RLVR stabiliseerde de "response length collapse" die werd waargenomen bij wetenschap-alleen training, waardoor de variantie in de startcondities (seed variance) in wiskunde werd verminderd.

5. Betekenis en Claims

Het artikel claimt dat INFUSER een schaalbaar pad biedt naar sterker redeneervermogen door overvloedige ongestructureerde corpora om te zetten in gestructureerde, nut-gealigneerde trainingssignalen zonder afhankelijk te zijn van gecureerde datasets of docentmodellen.

• Paradigmaverschuiving: Het verplaatst het objectief van de generator van "dingen moeilijk maken" naar "dingen nuttig maken", door gebruik te maken van influence functions om de curriculumgeneratie af te stemmen op het leerpad van de solver.
• Efficiëntie: Het demonstreert dat een kleinere, co-evoluërende generator een veel grotere, bevroren generator kan overtreffen op redeneertaken, wat suggereert dat het proces van curriculum-adaptatie waardevoller is dan de statische kennis van een groter model.
• Generaliseerbaarheid: Het framework is flexibel gebleken; het werkt zowel met base- als instruction-finetuned modellen en is in staat om te integreren met andere RLVR-signalen (zoals wiskunde-verifiers) om de trainingsdynamiek te stabiliseren.

De auteurs concluderen dat hoewel het framework momenteel afhankelijk is van een kleine dev-set om de doelrichting te verankeren, het een veelbelovende richting vormt voor het schalen van redeneervermogen door het koppelen van nut-gebaseerde curriculumgeneratie aan grotere documentpools en langere trainingshorizonten.