Technische Samenvatting: Redeneren met Lange Context via Proxy-gebaseerde Chain-of-Thought Tuning

Probleemstelling

Recente grote taalmodellen (LLMs) hebben hun contextvensters uitgebreid om invoer van maximaal 10 miljoen tokens te ondersteunen. Deze modellen vertonen echter aanzienlijke prestatiedegradatie bij taken met lange context die complexe redenering vereisen, zoals het synthetiseren van inzichten uit meerdere medische rapporten of het analyseren van financiële documenten.

Het kernprobleem dat is geïdentificeerd, is een aanzienlijk prestatieverschil tussen volledige lange contexten en proxy-contexten. Een proxy-context wordt gedefinieerd als een compacte subset van de invoer die uitsluitend de minimale bewijslast bevat die nodig is om het juiste antwoord af te leiden. Hoewel het onderliggende redeneerproces dat nodig is om een taak op te lossen invariant blijft, ongeacht of het model de volledige context of de proxy ziet, tonen empirische resultaten aan dat modellen aanzienlijk beter presteren op proxy-contexten. Wanneer ze worden gekonditioneerd op volledige lange contexten, genereren modellen vaak plausibele hoog-niveau redeneerstructuren, maar falen ze om specifieke feiten correct te verankeren, wat leidt tot hallucinaties en een lagere nauwkeurigheid.

Bestaande methoden om redenering te verbeteren, zoals Chain-of-Thought (CoT)-distillatie en Reinforcement Learning (RL), lopen tegen kritieke beperkingen aan in lange-contextsituaties:

1. CoT-distillatie: Is afhankelijk van hoogwaardige traces van grote teacher-modellen. Het opvragen van deze teachers over volledige lange contexten is computergewijs duur, traag en levert vaak onbetrouwbare traces op voor complexe taken.
2. Reinforcement Learning: Het schalen van RL naar lange contexten is prohibitief duur vanwege de noodzaak van uitgebreide bemonstering over lange sequenties tijdens het trainen.

Methodologie: ProxyCoT

De auteurs stellen ProxyCoT voor, een nieuw tweestaps trainingskader dat is ontworpen om redeneercapaciteiten over te dragen van korte proxy-contexten naar volledige lange contexten. Het kader werkt op de hypothese dat redeneersporen die zijn gegenereerd op efficiënte proxy-invoer, via supervised fine-tuning kunnen worden "geground" in volledige lange contexten.

Het kader bestaat uit twee fasen:

Fase 1: Het verwerven van CoTs op Korte Proxy-Contexten

Het doel is het genereren van hoogwaardige redeneersporen ($t$) die zijn gekonditioneerd op de proxy-context ($C_p$) in plaats van de volledige context ($C$). Deze fase biedt twee varianten voor het verkrijgen van de traces:

• ProxyCoT-ZS (Zero-Shot): Een groot, kant-en-klaar teacher-model ($M_{ZS}$) wordt opgevraagd om redeneersporen te genereren op basis van de proxy-context ($t \sim p_\phi(t | q, C_p)$). Alleen traces die leiden tot correcte antwoorden worden behouden. Dit vermijdt de kosten van het opvragen van teachers op volledige lange contexten.
• ProxyCoT-RL (Reinforcement Learning): Als er geen capabele teacher beschikbaar is, wordt het doelman ($M_{init}$) direct geoptimaliseerd op proxy-contexten met behulp van Reinforcement Learning met Verifieerbare Beloningen (RLVR). Het model leert de waarschijnlijkheid te maximaliseren van het genereren van traces die leiden tot correcte antwoorden ($t \sim p_\theta(t | q, C_p)$).

Fase 2: Het Grounden van CoTs in Volledige Lange Contexten

In deze fase worden de redeneerpatronen die in Fase 1 zijn geleerd, overgebracht naar de volledige context. Een studentmodel wordt getraind via Supervised Fine-Tuning (SFT) om de redeneersporen die in Fase 1 zijn gegenereerd, te reproduceren, maar dan gekonditioneerd op de volledige lange context ($C$) in plaats van de proxy.

• Doel: Minimaliseren van de negatieve log-waarschijnlijkheid van de trace $t$ gegeven de vraag $q$ en volledige context $C$:
  $$L_{SFT} = -E_{(q,C,C_p,t)} [\log p_\theta(t | q, C)]$$
• ProxyCoT-ZS: Het studentmodel ($M_{init}$) wordt fine-getuned om de traces van de teacher na te bootsen terwijl het de volledige context ziet.
• ProxyCoT-RL: Het in Fase 1 met RL geoptimaliseerde model ($M_{RL}$) wordt verder fine-getuned om de geleerde redeneerpatronen toe te passen op de volledige context.

Belangrijkste Bijdragen

1. Formalisatie van Proxy-Contexten: Het artikel introduceert en formaliseert het concept van proxy-contexten voor redeneren bij lange taken, en onthult empirisch een aanzienlijk prestatieverschil tussen korte proxy's en volledige lange contexten, ondanks identieke redeneereisen.
2. ProxyCoT-kader: Een nieuw trainingskader dat korte proxy-contexten benut om hoogwaardige CoT-traces te verwerven, die vervolgens worden gebruikt om redeneren over volledige lange contexten te verbeteren. Deze aanpak omzeilt de behoefte aan dure teacher-inferentie op lange sequenties en verlaagt de kosten voor RL-bemonstering.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat ProxyCoT consequent beter presteert dan sterke baselines (waaronder directe SFT, RL op volledige contexten en CoT-distillatie op volledige contexten) over verschillende model families (Qwen3-4B, Gemma3-4B) en datasets (SciTrek, HotpotQA). De methode toont ook sterke generalisatie naar domein-overschrijdende taken.

Experimentele Resultaten

De auteurs hebben ProxyCoT geëvalueerd op SciTrek (vragen over lange contexten in wetenschappelijke artikelen) en HotpotQA (multi-hop vragen over Wikipedia).

• Prestatiewinst:
  • Op SciTrek behaalde ProxyCoT-RL een exacte match van 46,5% op volledige contexten met Qwen3-4B, wat aanzienlijk beter was dan de zero-shot baseline (30,8%) en SFT op volledige contexten (19,5%). Het benaderde zelfs de prestaties van het veel grotere Qwen3-235B-Thinking-model (48,8%).
  • Op HotpotQA behaalde ProxyCoT-RL een nauwkeurigheid van 52,7% op volledige contexten, waarmee het alle baselines overtrof.
• Efficiëntie: ProxyCoT-RL verbeterde niet alleen de nauwkeurigheid, maar induceerde ook aanzienlijk kortere redeneersporen tijdens de inferentie. Op SciTrek gebruikte het gemiddeld 617 CoT-tokens vergeleken met 1.744 voor zero-shot en 5.520 voor ProxyCoT-ZS, terwijl het een hogere nauwkeurigheid behaalde.
• Ablatiestudies: Resultaten bevestigden dat beide trainingsfasen noodzakelijk zijn. Trainen alleen op proxy-contexten (Fase 1) leverde hoge proxy-nauwkeurigheid op, maar slechte verankering in de volledige context. Trainen alleen op volledige contexten (Fase 2) zonder proxy-afgeleide traces resulteerde in lagere prestaties. De combinatie was essentieel voor optimale resultaten.
• Domein-overschrijdende Generalisatie: Modellen die op SciTrek waren getraind met ProxyCoT-RL, toonden verbeterde prestaties op de Loong-benchmark (financiële rapporten en academische papers), wat aantoont dat de methode de algemene redeneercapaciteiten voor lange contexten verbetert in plaats van taakspecifieke patronen te memoriseren.

Betekenis en Claims

Het artikel stelt dat ProxyCoT een praktische en efficiënte route biedt om redeneren met lange context te versterken zonder afhankelijk te zijn van door teachers gegenereerde traces over volledige lange contexten. Door het verwerven van redenering (op goedkope, korte proxies) te ontkoppelen van het grounden van redenering (op dure, lange contexten), adresseert het kader de computatieve knelpunten van huidige trainingsmethoden voor lange contexten.

De auteurs positioneren ProxyCoT als een oplossing voor scenario's waarin het trainen en superviseren van modellen met lange context uitdagend is vanwege kosten- en data-beperkingen. Zij merken op dat hoewel de aanpak toegang veronderstelt tot proxy-contexten met voldoende bewijs, het een robuust alternatief biedt voor directe reinforcement learning of distillatie over lange contexten, en effectief de prestatiekloof tussen korte en lange invoer overbrugt.