Technische Samenvatting: Extra-CoT

Probleemstelling

Grote Taalredeneringsmodellen (LRMs) hebben opmerkelijke vaardigheden getoond in complexe logische inferentie door stap-voor-stap Chain-of-Thought (CoT)-redenering te genereren. Deze prestatie komt echter tegen een aanzienlijke rekenkosten, wat vaak leidt tot "overdenken", waarbij modellen redundante redeneerpaden genereren zelfs voor eenvoudige queries. Hoewel bestaande CoT-compressiemethoden (bijv. TokenSkip, CTS) tokens effectief kunnen snoeien bij matige compressieverhoudingen (50–60%), lijden ze onder een kritieke "trouw-catastrofe" bij extreme verhoudingen (bijv. 20–30%). Op deze niveaus falen algemene compressoren om de schaarse, kritieke redeneerstappen en de wiskundige integriteit te behouden, wat leidt tot een catastrofale verlies aan logische trouw en een significante prestatiedaling. De kernuitdaging is het bereiken van hoogtrouwe redenering onder ultra-lage tokenbudgetten zonder de nauwkeurigheid van het antwoord te offeren.

Methodologie: Het Extra-CoT Kader

De auteurs stellen Extra-CoT voor, een innovatief drie-fasen kader dat is ontworpen om de grenzen van CoT-efficiëntie te verleggen terwijl hoog-nauwkeurige redenering behouden blijft. De pijplijn integreert een semantische compressor, gemengde-ratio supervised fine-tuning (SFT) en een gespecialiseerd reinforcement learning (RL)-algoritme.

1. Semantisch Behouden, Vraagbewuste Compressor

Om betrouwbare supervisiegegevens voor extreme compressie te genereren, trainen de auteurs een dedicated compressor op wiskundige CoT-gegevens.

• Architectuur: Gebaseerd op Longformer-large-4096, maakt het model gebruik van globale attentie voor alle tokens in de invoervraag, waardoor de compressor "vraagbewust" wordt. Dit stelt elke redeneertoken in staat om direct aandacht te schenken aan de probleemcontext.
• Annotatiestrategie: De trainingsgegevens ondergaan een uniek op index gebaseerd, formule-bewust annotatieproces. Wiskundige uitdrukkingen en LaTeX-entiteiten worden samengevoegd tot atomaire eenheden om fragmentatie te voorkomen. Een leraarmodel (GPT-4o) wordt geprompt om alleen de set indices terug te geven die behouden moeten blijven, wat robuustheid tegen weergavevariaties garandeert.
• Doelstelling: De compressor wordt getraind met een class-gewogen Focal Loss om te voorspellen of elk token behouden of verwijderd moet worden, met prioriteit voor het behoud van de wiskundige integriteit.

2. Gemengde-Ratio Supervised Fine-Tuning (SFT)

Een redenerend LLM wordt fine-getuned op de hoogtrouwe gecomprimeerde gegevens om robuuste controleerbaarheid te leren.

• Controlevocabulaire: De tokenizer wordt uitgebreid met speciale controletokens (bijv. <COMP 20>, <COMP 40>, ..., <COMP POLICY>).
• Twee-fasen Data Cohort:
  • Vaste-Ratio Cohort: Traint het model om strikt te adhere aan specifieke compressiecommando's (bijv. <COMP 40>), waardoor robuuste controleerbaarheid wordt gevestigd over een spectrum van budgetten.
  • Policy Warm-up Cohort: Traint het model om autonoom een ratio-token te voorspellen wanneer de trigger <COMP POLICY> wordt gegeven, waardoor een trainbaar mechanisme wordt gevestigd voor de daaropvolgende RL-fase.
• Doel: Deze fase biedt een stabiele initialisatie voor RL, waarbij het model leert een spectrum van compressiebudgetten te volgen in plaats van slechts één doelwit.

3. Gecombineerde en Hiërarchische Ratio Policy Optimalisatie (CHRPO)

Om de selectie van lagere budgetten expliciet te stimuleren terwijl de nauwkeurigheid behouden blijft, introduceren de auteurs CHRPO, een hiërarchisch RL-algoritme.

• Leraar Budget Selectie: Voor elke query wordt een "leraar budget" ($r^*$) bepaald als de kleinste ratio waarbij het SFT-model nog steeds een correct antwoord produceert, zodat het RL-doel haalbaar blijft.
• Hiërarchische Beloningsstructuur:
  • Hoofdbeloning ($R_{main}$): Toegepast op de volledige sequentie, integrerend vier componenten: Nauwkeurigheid, Ratio-geoptimaliseerde Modus (beloning voor succesvolle verkorting, straf voor falen), Budgetkalibratie (zorgen dat de gerealiseerde ratio overeenkomt met de geselecteerde ratio) en Redeneringsintegriteit (straf voor ontbrekende redeneerblokken).
  • Control-Head Beloning ($R_{ctrl}$): Uitsluitend toegepast op het eerste token (het ratio-selectietoken). Dit biedt een onmiddellijk gradiëntsignaal om de besluitvorming van het beleid te vormen, wat het credit assignment-probleem aanpakt waarbij het uiteindelijke nauwkeurigheidsignaal te ver verwijderd is van de initiële ratio-keuze.
• Risicogevoelige Vormgeving: De beloningsfuncties maken gebruik van asymmetrische straffen om ervoor te zorgen dat het beleid alleen verkort wanneer het correct is ("Veilig Verkorten") en de voorkeur geeft aan het verhogen van het budget in plaats van te falen bij moeilijke gevallen ("Snel Falen Herstel").

Belangrijkste Bijdragen

1. Extra-CoT Kader: Een innovatief drie-fasen pijplijn (Compressor $\to$ Gemengde-Ratio SFT $\to$ CHRPO) die hoogtrouwe redenering bereikt bij ultra-lage tokenbudgetten, effectief verlichtend de uitdagingen van semantische behoud en controle-adherentie.
2. Semantisch Behouden Compressor: Een vraagbewuste architectuur met formule-bewuste annotatie die hoogtrouwe supervisiegegevens genereert, de wiskundige integriteit behoudt en de fragmentatie van symbolische redeneercomponenten voorkomt.
3. Gefuseerde SFT-RL Pijplijn: Een trainingsstrategie die gemengde-ratio SFT gebruikt om robuuste controleerbaarheid te vestigen, gevolgd door CHRPO met hiërarchische beloningen om nauwkeurigheid expliciet te stimuleren onder extreme compressieverhoudingen.

Experimentele Resultaten

Het kader werd geëvalueerd op drie wiskundige redeneringsbenchmarks: GSM8K, MATH-500 en AMC2023, voornamelijk met de Qwen3-1.7B backbone.

• Prestaties bij Extreme Verhoudingen: Op MATH-500 bereikte Extra-CoT een 73% tokenreductie (0,27 ActRatio) met een nauwkeurigheidsverbetering van 0,6% ten opzichte van het basismodel, aanzienlijk presterend boven state-of-the-art methoden zoals TokenSkip. Bij een 0,2 doelratio behield Extra-CoT robuuste prestaties (47,8% nauwkeurigheid op MATH-500), terwijl TokenSkip een catastrofale daling vertoonde naar 23,4%.
• Controle Adherentie: In tegenstelling tot baselines die "controle-inzakking" vertonen (waarbij gerealiseerde ratio's aanzienlijk afwijken van doelen), toonde Extra-CoT precieze adhere aan compressiecommando's over alle ratio's.
• Efficiëntie: In end-to-end inferentie latentietests reduceerde Extra-CoT de latentie met 3,24× op GSM8K en 2,35× op MATH-500 ten opzichte van het basismodel. Daarentegen toonde TokenSkip marginale winsten of zelfs verhoogde latentie op sommige benchmarks.
• Generalisatie: De methode toonde robuustheid over verschillende backbone-modellen (Qwen2.5-7B, Llama3.2-3B) en lange-context instellingen (Pangu-Embedded-7B-V1.1 met 16K context), bevestigend dat de verbeteringen voortkomen uit de kwaliteit van gecomprimeerde supervisie in plaats van specifieke modelarchitecturen.

Betekenis en Claims

Het artikel beweert dat Extra-CoT aantoont dat hoogtrouwe extreme compressie een levensvatbaar pad is naar efficiënte redenering. Door de "trouw-catastrofe" aan te pakken via semantisch behouden supervisie en hiërarchische RL-optimalisatie, stelt het kader Grote Taalredeneringsmodellen in staat om effectief te opereren onder ultra-lage tokenbudgetten zonder de prestatie-inzakking die bij bestaande methoden wordt gezien. Het werk benadrukt dat het behoud van de logische integriteit van redeneerketens cruciaal is voor het behoud van probleemoplossende vaardigheden, zelfs wanneer het tokenaantal drastisch wordt gereduceerd. De auteurs stellen hun code beschikbaar om verder onderzoek in deze richting te faciliteren.