InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende redeneercapaciteiten ontwikkeld, maar de bestaande paradigma's voor redeneren in lange context (long-context reasoning) stuiten op drie kritieke beperkingen:

1. Kwadratische schaalbaarheid: De computationele complexiteit van decoder-gebaseerde LLMs groeit kwadratisch ($O(n^2)$) met de lengte van de sequentie. Dit leidt tot onbeheersbare resource-eisen bij het genereren van lange redeneerketens.
2. Contextgrenzen: Redeneerprocessen worden beperkt door de maximale contextlengte (max_length) van het model. Vaak wordt het redeneren afgebroken voordat een conclusie is bereikt, vooral bij complexe problemen die duizenden tokens vereisen.
3. Prestatiedegradatie: De meeste LLM-architecturen zijn getraind met relatief kleine contextvensters (4k-8k tokens). Zodra redenering deze grenzen overschrijdt, neemt de prestatie aanzienlijk af.

Bestaande oplossingen, zoals het comprimeren van redeneerketens na generatie of het trainen van modellen om korter te redeneren, lossen het fundamentele schaalprobleem niet op en opereren nog steeds binnen het paradigma van één enkele, continue redeneerketen.

Methodologie: InftyThink

De auteurs introduceren InftyThink, een nieuw paradigma dat monolithisch redeneren transformeert naar een iteratief proces met tussentijdse samenvattingen. In plaats van één lange keten te genereren, wordt het redeneren opgesplitst in meerdere, kortere segmenten.

Kernmechanisme:

1. Iteratieve Segmentatie: Het model genereert een redeneersegment ($RP_i$) dat binnen een efficiënte token-lengte blijft (bepaald door parameter $\eta$).
2. Samenvatting: Na elk segment genereert het model een beknopte samenvatting ($S_i$) van de huidige voortgang en essentiële inzichten.
3. Contexthergebruik: Voor het volgende iteratie ($i+1$) gebruikt het model de vorige samenvatting ($S_{i-1}$) als context in plaats van de volledige, groeiende redeneerketen.
4. Eindconclusie: Het proces gaat door totdat het model een definitieve conclusie ($C$) produceert in plaats van een nieuwe samenvatting.

Data Reconstructie:
Om modellen dit nieuwe paradigma te leren, hebben de auteurs een methode ontwikkeld om bestaande lange-context datasets (specifiek OpenR1-Math, een dataset van DeepSeek-R1) te herschrijven:

• Stap 1: Het originele redeneerproces wordt opgesplitst in semantisch coherente fragmenten op basis van een token-drempel ($\eta$).
• Stap 2: Een krachtig basismodel (Meta-Llama-3.3-70B-Instruct) genereert samenvattingen voor elk fragment, waarbij rekening wordt gehouden met de historische context.
• Stap 3: De data wordt omgezet in een trainingsformaat dat het model leert om te redeneren in stappen met samenvattingen. Hieruit ontstond de OpenR1-Math-Inf dataset met 333.000 trainingsinstanties.

Belangrijkste Bijdragen

1. Paradigmawissel: InftyThink breekt de afhankelijkheid van één continue redeneerketen en introduceert een iteratieve aanpak die de kwadratische complexiteit reduceert naar een beheersbare vorm, terwijl de redeneerdiepte onbeperkt kan blijven.
2. Data-herconstructie: Een robuuste pipeline om bestaande lange-context datasets om te zetten naar het iteratieve formaat, zonder dat er gespecialiseerde architectuurendingen nodig zijn.
3. Efficiëntie en Prestatie: Het bewijst dat het mogelijk is om de diepte van redeneren te vergroten zonder de computationele kosten exponentieel te laten stijgen, waardoor de trade-off tussen redeneerdiepte en efficiëntie wordt doorbroken.

Resultaten

Experimenten zijn uitgevoerd op meerdere modelarchitecturen (Qwen2.5-Math, Llama-3.1) en benchmarks (MATH500, AIME24, GPQA_diamond).

• Prestatieverbetering: InftyThink overtreft consistent de traditionele "Vanilla" lange-context redenering.
  • Qwen2.5-Math-7B: Toonde verbeteringen van 3-11% op de benchmarks (bijv. +11% op AIME24 en +9% op GPQA_diamond).
  • Kleiner modellen: De relatieve winst is het grootst bij kleinere modellen (bijv. 1.5B), wat suggereert dat InftyThink een vorm van algoritmische verbetering biedt die beperkte modelcapaciteit compenseert.
• Computationele Efficiëntie:
  • Lagere Latentie: Ondanks het genereren van meer tokens in totaal (door samenvattingen), is de inferentielatentie (tijd) lager omdat de contextgrootte per stap beperkt blijft, waardoor de $O(n^2)$-kosten worden vermeden.
  • Onbeperkte Diepte: Het model kan problemen oplossen die verder gaan dan de native contextvenster-grenzen van het model, zonder dat de prestaties afnemen.
• Robuustheid: De methode werkt effectief over verschillende waarden van $\eta$ (token-limiet per stap) en op verschillende domeinen, inclusief wiskunde en code.

Betekenis en Impact

InftyThink biedt een schaalbare oplossing voor complexe redeneringstaken zonder de onderliggende modelarchitectuur aan te passen.

• Cognitieve Plausibiliteit: De methode nabootst menselijke probleemoplossing, waarbij complexe taken worden opgesplitst in beheersbare stappen met tussentijdse reflectie en samenvatting.
• Toepasbaarheid: Het stelt organisaties in staat om geavanceerde redeneercapaciteiten te deployen in omgevingen met beperkte resources (zoals kleinere modellen of beperkt GPU-geheugen), terwijl ze toch problemen kunnen oplossen die normaal gesproken zouden falen door contextlimieten.
• Toekomstperspectief: Het paper opent de weg voor verdere optimalisatie, zoals het integreren van Reinforcement Learning om te leren wanneer en wat samengevat moet worden, en het toepassen op multi-modale taken.

Kortom, InftyThink demonstreert dat het doorbreken van de contextlimieten van LLMs mogelijk is door de manier van redeneren te veranderen, in plaats van alleen de modelgrootte of het contextvenster te vergroten.