Technische Samenvatting: InftyThink+

1. Probleemstelling

Grote redeneermodellen (LRM's) hebben superieure prestaties aangetoond door de schaal van chain-of-thought (CoT) redeneren tijdens de inferentie te vergroten. Dit paradigma staat echter tegenover drie fundamentele barrières wanneer redeneersporen uitzonderlijk lang worden:

1. Kwadratische Kosten: Het self-attention mechanisme in Transformers brengt een computationele complexiteit van $O(L^2)$ met zich mee, wat zeer lange redeneersporen prohibitief duur maakt.
2. Contextlimieten: Redeneren wordt strikt begrensd door het maximale contextvenster van het model. Als een probleem een chain-of-thought vereist die dit limiet overschrijdt, stopt de generatie voortijdig, waardoor complexe problemen onoplosbaar blijven.
3. Lost-in-the-Middle: Naarmate redeneersporen groeien, lijden modellen aan verminderde prestaties waarbij cruciale vroege informatie ontoegankelijk wordt, zelfs als de contextlimiet niet wordt overschreden.

Bestaande oplossingen, zoals iteratief redeneren met periodieke samenvatting, proberen deze problemen te verzachten. De huidige methoden vertrouwen echter op supervised fine-tuning (SFT) of vaste heuristieken om te bepalen wanneer er samengevat moet worden, wat behouden moet blijven en hoe de redenering moet worden hervat. Deze benaderingen falen in het optimaliseren van deze sequentiële beslissingen, die gevolgen hebben op de lange termijn. Een slechte samenvatting kan de daaropvolgende redenering ruïneren, terwijl onnodige iteraties rekenkracht verspillen. Het artikel betoogt dat deze afwegingen traject-niveau optimalisatie vereisen die SFT niet kan bieden.

2. Methodologie: InftyThink+

De auteurs stellen InftyThink+ voor, een end-to-end reinforcement learning (RL) framework dat het gehele iteratieve redeneertraject optimaliseert. De methode bouwt voort op het InftyThink paradigma, dat de diepte van het redeneren ontkoppelt van de contextlengte door redeneren te deconstrueren in meerdere iteratieve ronden die verbonden zijn door expliciete, door het model gegenereerde samenvattingen.

2.1. Het InftyThink Paradigma

In tegen tegenstelling tot het "Vanilla" paradigma waar een model een enkele continue lange CoT genereert, werkt InftyThink in ronden:

• Iteratie $i$: Het model conditioneert op de oorspronkelijke query $q$ en de samenvatting $s_{i-1}$ van de vorige iteratie.
• Generatie: Het genereert een redeneersegment $r_i$ en een bijgewerkte samenvatting $s_i$.
• Terminatie: Het proces herhaalt zich totdat het model autonoom besluit een definitieve conclusie $c$ te genereren in plaats van een samenvatting.
• Begrensde Context: Elke iteratie opereert binnen een begrensd contextvenster (query + laatste samenvatting), wat contextoverflow voorkomt en de computationele kosten per stap vermindert.

2.2. Tweefasig Trainingsschema

InftyThink+ hanteert een tweefasig trainingsproces om het verwerven van het formaat te scheiden van de strategie-optimalisatie:

1. Cold-Start (Supervised Fine-Tuning):

   • Doel: Het model de basis InftyThink-formaat aanleren (het genereren van redeneersegmenten en samenvattingen).
   • Data Transformatie: Bestaande vanilla redeneerdata $(q, r, c)$ wordt getransformeerd naar iteratieve instanties. Het redeneerspoor $r$ wordt opgedeeld in segmenten $\{r_1, \dots, r_n\}$ op basis van een tokenlimiet $\eta$. Een algemeen bruikbaar LLM genereert samenvattingen $\{s_1, \dots, s_{n-1}\}$ geconditioneerd op het huidige segment en de vorige samenvatting.
   • Training: Het model wordt gefinetuned op deze getransformeerde instanties om syntactisch geldige iteratieve outputs te produceren. Deze fase optimaliseert niet wanneer er samengevat moet worden of wat er behouden moet blijven; het vestigt enkel het procedurele formaat.

2. Reinforcement Learning (Traject-niveau Optimalisatie):

   • Doel: Strategische beslissingen optimaliseren (timing van compressie, inhoud van samenvattingen, continuatiestrategieën) via feedback op trajectniveau.
   • Rollout: Voor een query $q$ genereert het model een traject $O_i = \{o_1, \dots, o_{n_i}\}$ bestaande uit meerdere redeneerrondes. De rollout eindigt als het model een conclusie genereert, faalt in het produceren van een geldig formaat, of een maximale iteratiecap $\phi$ bereikt.
   • Reward Design:
     • Taak Reward ($R_{task}$): Binaire reward gebaseerd op de juistheid van het uiteindelijke antwoord.
     • Efficiëntie Reward ($R_{eff}$): Een kwadratische vervalfunctie $1 - (\frac{n_i-1}{\phi})^2$ die excessieve iteraties bestraft, waardoor het model wordt aangemoedigd om problemen in minder stappen op te lossen wanneer mogelijk.
     • Totale Reward: $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$. Deze multiplicatieve formulering zorgt ervoor dat efficiëntie alleen wordt beloond voor correcte oplossingen.
   • Policy Optimization: De auteurs gebruiken Group Relative Policy Optimization (GRPO). Cruciaal is dat advantages worden berekend op het trajectniveau en worden gedeeld over alle tokens in een traject. Dit zorgt ervoor dat vroege iteraties (bijv. een hoogwaardige eerste samenvatting) positieve gradiëntsignalen ontvangen als ze bijdragen aan een correct eindantwoord, zelfs als de samenvatting zelf het antwoord niet bevat.
   • Stabiliteit: Het framework gebruikt IcePop, een token-level gradient masking techniek, om instabiliteit tijdens de training te mitigeren die wordt veroorzaakt door mismatches tussen de inference en training engines.

3. Belangrijkste Bijdragen

1. End-to-End RL voor Iteratief Redeneren: Het artikel introduceert het eerste framework dat reinforcement learning direct toepast op het iteratieve redeneerparadigma, waardoor het model optimale strategieën kan leren voor samenvatting en continuatie in plaats van te vertrouwen op vaste heuristieken of imitatie.
2. InftyThink+ Framework: Een compleet trainingsrecept bestaande uit:
   • Een cold-start fase om het iteratieve formaat te vestigen.
   • Traject-niveau optimalisatie met gedeelde advantages om vroege beslissingen te crediteren.
   • Efficiëntie-bewuste reward shaping om de balans tussen nauwkeurigheid en inferentiekosten te bewaken.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat InftyThink+ zowel SFT-gebaseerd iteratief redeneren als standaard long-context RL baselines overtreft.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op DeepSeek-R1-Distill-Qwen-1.5B en Qwen3-4B-Base.

• Verbeteringen in Nauwkeurigheid:
  • Op AIME24 verbeterde InftyThink+ de nauwkeurigheid met 21% vergeleken met de baseline, en presteerde het duidelijk beter dan conventionele long-CoT RL (een extra winst van 9% ten opzichte van standaard RL).
  • Op out-of-distribution benchmarks zoals GPQA Diamond behaalde het een nauwkeurigheidsverbetering van 5% ten opzichte van de baseline en een winst van 4% ten opzichte van vanilla benaderingen.
• Efficiëntiewinsten:
  • Inference Latency: Op AIME25 verminderde InftyThink+ de redeneerlatentie met 32,8% vergeleken met de vanilla benadering.
  • Trainingssnelheid: Het framework leverde een 18,2% versnelling in RL-trainingstijd op door de verminderde computationele overhead per stap.
• Generalisatie: De methode generaliseerde goed naar grotere modellen (Qwen3-4B) en out-of-distribution taken, inclusclusief code en wetenschappelijk redeneren.

5. Betekenis en Claims

Het artikel claimt dat traject-niveau optimalisatie essentieel is voor effectief iteratief redeneren. Het kerninzicht is dat de effectiviteit van iteratief redeneren niet voortkomt uit het formaat zelf, maar uit het vermogen van het model om bij elke stap optimale strategische beslissingen te nemen (wanneer te comprimeren, wat te bewaren en hoe door te gaan).

Door het leren van het formaat (via SFT) te scheiden van de strategie-optimalisatie (via RL), stelt InftyThink+ modellen in staat om adaptieve gedragingen te leren die:

• De diepte van het redeneren ontkoppelen van de contextlengte: Wat oneindig redeneren mogelijk maakt terwijl de computationele kosten begrensd blijven.
• De nauwkeurigheid-efficiëntie afweging optimaliseren: Door efficiëntie-bewuste rewards leert het model om de redenering eerder te beëindigen zonder aan nauwkeurigheid in te boeten.
• Trainingsstabiliteit en snelheid verbeteren: Door de kwadratische complexiteit van aandacht tijdens de training rollouts te verminderen.

De auteurs positioneren InftyThink+ als een belangrijke stap richting schaalbare, efficiënte en effectieve long-horizon redenering in grote taalmodellen, bewegend voorbij de beperkingen van statische contextvensters en heuristiek-gebaseerde compressie.