Technisches Resümee: INFUSER – Einflussgesteuerte Selbstentwicklung verbessert das logische Denken

1. Problemstellung

Jüngste Fortschritte im logischen Denken (Reasoning) großer Sprachmodelle (LLMs) stützen sich stark auf Reinforcement Learning mit verifizierbaren Belohnungen (RLVR). Die Skalierbarkeit von RLVR wird jedoch durch die Knappheit an hochwertigen, verifizierbaren Trainingsdaten gebremst, deren Kuratierung kostspielig ist. Selbstentwicklung (Self-evolution) bietet einen Weg nach vorn, indem sie es einem Modell ermöglicht, seine eigenen Trainingsdaten aus unstrukturierten Dokumenten oder seinen eigenen Ausgaben zu generieren, wodurch externe Lehrer-Modelle oder kuratierte Korpora überflüssig werden.

Bestehende Methoden der Selbstentwicklung stehen vor zwei primären Einschränkungen:

1. Erdung (Grounding): Reine Self-Play-Methoden (z. B. R-Zero) verlassen sich ausschließlich auf das Vorwissen des Modells, was das Risiko halluzinierter Referenzantworten birgt. Executor-basierte Methoden (z. B. AZR) stellen zwar die Verifizierbarkeit wieder her, sind jedoch auf Domänen mit formalen Executoren (Code, Mathematik) beschränkt und können das reichlich vorhandene unstrukturierte Textmaterial nicht nutzen.
2. Generatoren-Zielsetzungen: Dokumentengestützte Ansätze (z. B. SPICE) belohnen den Generator oft basierend auf Schwierigkeits-Heuristiken (z. B. Maximierung der Fehlerrate des Solvers auf ~50 %). Schwierigkeit ist ein grober Stellvertreter für Nützlichkeit; eine Frage kann aufgrund von Mehrdeutigkeit oder mangelnder Übereinstimmung mit der Quelle „schwierig“ sein, bietet aber keine Garantie dafür, den Solver auf der Zielverteilung zu verbessern.

Die zentrale adressierte Frage lautet: Können wir einen Generator trainieren, der dokumentengestützte Trainingsdaten produziert, die den aktuellen Solver auf einer Zielverteilung tatsächlich verbessern und dabei mit ihm ko-evolvieren?

2. Methodik: INFUSER

Die Autoren schlagen INFUSER (INFluence-gUided Self-Evolution Improves Reasoning) vor, ein iteratives Co-Training-Framework, das Selbstentwicklung als ein Bilevel-Spiel zwischen einem Generator ($\pi_\phi$) und einem Solver ($\pi_\theta$) darstellt. Beide werden von demselben vortrainierten Modell initialisiert.

2.1 Bilevel-Spiel-Formulierung

• Unteres Level (Solver): Der Solver trainiert auf einem Curriculum von Frage-Antwort-Paaren ($Q_\phi$), die der Generator aus einem Pool unstrukturierter Dokumente ($D_{doc}$) erstellt hat. Der Solver optimiert darauf, die Genauigkeit auf diesem Curriculum mittels Standard-RLVR (z. B. Dr.GRPO) zu maximieren.
• Oberes Level (Generator): Der Generator zielt darauf ab, ein Curriculum $Q_\phi$ zu produzieren, sodass sich die Leistung des Solvers nach dem Update auf einer Zielverteilung ($P$) verbessert.
• Kooperativer Charakter: Im Gegensatz zu adversarialem Self-Play ist der Generator dafür belohnt, dem Solver beim Verbessern auf der Zielverteilung zu helfen, und nicht dafür, ihn zu besiegen.

2.2 Optimizer-Aware Influence Score

Um die prohibitiven Kosten einer exakten Bilevel-Differenzierung (das Backpropagation durch den vollständigen Trainingszyklus des Solvers) zu vermeiden, verwendet INFUSER eine First-Order-Approximation, die von Influence Functions inspiriert ist.

• Dev-Set Anker: Ein kleiner, ausgelassener Entwicklungssatz ($D_{dev}$), der aus der Zielverteilung $P$ gezogen wurde, dient zur Definition der „Verbesserungsrichtung“. Der Gradient der Performance des Solvers auf $D_{dev}$ ($\hat{g}_{dev}$) dient als Zielvektor.
• Berechnung des Einflusses: Für jedes generierte QA-Paar $(q, a_\phi)$ schätzt das System die durch das Training an diesem spezifischen Paar induzierte Parameter-Update-Richtung des Solvers ($\hat{\Gamma}(q, a_\phi)$). Diese Richtung wird durch den AdamW-Optimizer-Zustand vorkonditioniert, um den tatsächlichen Update-Schritt widerzuspiegeln.
• Belohnungssignal: Die Belohnung des Generators ist die Kosinus-Ähnlichkeit zwischen dem Zielgradienten ($\hat{g}_{dev}$) und der induzierten Update-Richtung ($\hat{\Gamma}$):
  $$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$$
  Ein positiver Wert zeigt an, dass das Training an $(q, a_\phi)$ mit der Verbesserung der Leistung auf der Zielverteilung übereinstimmt. Dieser Score ersetzt die traditionelle Metrik der „Schwierigkeit“.

2.3 DuGRPO: Dual-Normalized GRPO

Der Influence Score ist ein kontinuierliches, verrauschtes Signal, was Herausforderungen für das Standard Group Relative Policy Optimization (GRPO) mit sich bringt.

• Herausforderung: Eine Normalisierung der Belohnungen rein innerhalb einer Dokumentengruppe (GRPO-Stil) verstärkt das Rauschen in Gruppen mit geringer Varianz. Eine Normalisierung rein über den Batch hinweg (BatchNorm-Stil) erlaubt es Gruppen mit hoher Varianz, zu dominieren.
• Lösung: Die Autoren schlagen DuGRPO vor, einen dual-normalisierten Advantage-Estimator, der innerhalb-gruppen- und über-gruppen-Normalisierung kombiniert:
  $$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$$
  wobei $\sigma_d$ die Standardabweichung innerhalb der Dokumentengruppe und $\sigma_B$ die mittlere Standardabweichung über den Batch ist. Dies stabilisiert das Training, indem es Rauschen bei geringer Varianz dämpft und gleichzeitig eine Dominanz durch hohe Varianz verhindert.

2.4 Trainingsschleife

Der Algorithmus durchläuft pro Iteration folgende Phasen:

1. Dev-Referenz: Berechne den Zielgradienten $\hat{g}_{dev}$ aus den Rollouts des Solvers auf $D_{dev}$.
2. Generierung: Der Generator sampelt Dokumente und produziert QA-Paare.
3. Solver-Evaluierung: Der Solver versucht, die generierten Fragen zu lösen; pro Frage werden Gradienten geschätzt.
4. Influence Scoring: Berechne die Influence Scores mittels der Kosinus-Ähnlichkeit mit $\hat{g}_{dev}$.
5. Updates: Aktualisiere den Generator mittels DuGRPO unter Verwendung der Influence Scores als Belohnungen; aktualisiere den Solver mittels Dr.GRPO unter Verwendung binärer Korrektheitsbelohnungen.

3. Kernbeiträge

1. Einflussgesteuerte Selbstentwicklung: Ein neuartiges Framework, das die Schwierigkeits-basierten Belohnungen des Generators durch einen optimizer-bewussten Influence Score ersetzt, der direkt auf die Nützlichkeit auf einer Zielverteilung optimiert, statt nur auf Schwierigkeit.
2. DuGRPO: Eine neue Policy-Gradient-Variante, die speziell für die kontinuierliche, verrauschte Natur von Einfluss-basierten Belohnungen entwickelt wurde und ein stabiles Training des Generators ermöglicht.
3. Dokumentengestützte Ko-Evolution: Eine Methode, die unstrukturierte Lehrbücher nutzt, um Trainingsdaten zu generieren, wodurch externe Lehrer oder Executoren vermieden werden, während die Verifizierbarkeit durch das eigene Reasoning des Solvers erhalten bleibt.
4. Skalierbarkeit: Der Nachweis, dass ein ko-evoluierender 8B-Generator Aufgaben in Mathematik und Coding besser lösen kann als ein eingefrorener 32B-"Thinking"-Generator, was darauf hindeutet, dass Anpassung entscheidender ist als die reine Modellgröße.

4. Experimentelle Ergebnisse

Die Experimente wurden auf Qwen3-4B-Base und Qwen3-8B-Base Ankern durchgeführt, wobei INFUSER gegen starke Baselines (R-Zero, AZR, R-Few, SPICE) und einen General-Reasoner-Baseline verglichen wurde.

• Leistungssteigerungen: INFUSER erreichte die höchsten Werte in 8 von 14 Benchmarks. Auf Qwen3-8B-Base zeigte es relative Verbesserungen von über 20 % bei OlympiadBench (Math), SuperGPQA und GPQA-Diamond im Vergleich zum Basismodell.
• Skalierung: Die Leistungssteigerungen von INFUSER waren konsistent über verschiedene Modellgrößen (4B bis 8B) hinweg, während Baselines wie R-Zero und SPICE einen signifikanten Leistungsabfall zeigten, wenn sie skaliert wurden.
• Generator-Qualität: Analysen zeigten, dass der ko-evoluierende Generator im Laufe der Zeit zunehmend gut formulierte und anspruchsvollere Fragen produziert. Die „Strong-vs-Weak“-Lücke (Genauigkeitsunterschied zwischen einem starken Modell und dem Basismodell bei generierten Fragen) vergrößerte sich, was darauf hindeutet, dass der Generator Fragen erstellt, die schwierig für das Basismodell, aber lösbar für stärkere Modelle sind (d. h. qualitativ hochwertige Reasoning-Herausforderungen).
• Ablationsstudien:
  • Notwendigkeit des Generators: Das Entfernen des Generators (direktes Training auf $D_{dev}$) führte zu Overfitting auf den Dev-Satz und schlechter Generalisierung.
  • Ko-Evolution: Ein eingefrorener 8B-Generator schnitt schlechter ab als der ko-evoluierende 8B-Generator, insbesondere in Mathematik. Ein eingefrorener 32B-Generator übertraf den ko-evoluierenden 8B-Generator bei wissensintensiven Aufgaben (allgemeines Reasoning, Medizin), wurde aber bei Mathematik und Coding unterboten, was verdeutlicht, dass Anpassung die Skalierung für Reasoning schlägt.
  • Komponenten: Sowohl der optimizer-bewusste Influence Score als auch die DuGRPO-Normalisierung erwiesen sich als essenziell; deren Entfernung führte dazu, dass die Leistung auf das Niveau eines eingefrorenen Generators zurückfiel.
• Erweiterungen:
  • Instruction-Finetuned Anchors: INFUSER verbesserte erfolgreich einen Instruction-Finetuned-Anchor (OLMo-3-7B-Instruct-SFT) und führte in 10 von 13 Benchmarks.
  • Hybrides RLVR: Die Kombination von dokumentengestützter Selbstentwicklung mit regel-verifizierbarem Math-RLVR stabilisierte den beobachteten „Response Length Collapse“ beim reinen Science-Training und reduzierte die Seed-Varianz in der Mathematik-Performance.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass INFUSER einen skalierbaren Pfad zu stärkerem logischem Denken bietet, indem es reichlich vorhandene unstrukturierte Korpora in strukturierte, nützlichkeitsorientierte Trainingssignale umwandelt, ohne auf kuratierte Datensätze oder Lehrer-Modelle angewiesen zu sein.

• Paradigmenwechsel: Es verschiebt das Ziel des Generators von „Dinge schwierig machen“ hin zu „Dinge nützlich machen“, indem Influence Functions genutzt werden, um die Curriculum-Generierung mit der Lernkurve des Solvers abzugleichen.
• Effizienz: Es demonstriert, dass ein kleinerer, ko-evoluierender Generator ein wesentlich größeres, statisches Modell bei Reasoning-Aufgaben übertreffen kann, was darauf hindeutet, dass der Prozess der Curriculum-Anpassung wertvoller ist als das statische Wissen eines größeren Modells.
• Generalisierbarkeit: Das Framework erweist sich als flexibel, funktioniert sowohl mit Base- als auch mit Instruction-Finetuned-Modellen und kann andere RLVR-Signale (wie Math-Verifizierer) integrieren, um die Trainingsdynamik zu stabilisieren.

Die Autoren kommen zu dem Schluss, dass das Framework zwar derzeit auf einen kleinen Dev-Satz angewiesen ist, um die Zielrichtung zu verankern, aber einen vielversprechenden Weg zur Skalierung von Reasoning-Fähigkeiten darstellt, indem es die nützlichkeitsbasierte Curriculum-Generierung mit größeren Dokumentenpools und längeren Trainingshorizonten koppelt.