Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization

1. Probleemstelling

Grote Redeneringsmodellen (LRMs) hebben indrukwekkende vaardigheden getoond in complexe taken (bijv. multi-hop QA, wiskunde, code) door het genereren van lange chains of thought (CoT). Deze afhankelijkheid van uitgebreide generatie introduceert echter twee kritieke problemen:

• Rekenkundige Overhead: Lange redeneringsketens resulteren in aanzienlijke latentie en tokenverbruik.
• Structurele Redundantie: Het simpelweg ongedifferentieerd verkorten van ketens (bijv. via tokenlimieten of pruning) verstoort vaak de logische coherentie. Omgekeerd introduceert overmatige lengte redundante stappen die het model kunnen verwarren, met name bij kennisintensieve multi-hop Vraag-Antwoord (QA) taken.
• De Kernuitdaging: Bestaande methoden onderscheiden niet tussen structurele redundantie (onnodige redeneringsstappen/segmenten) en intra-segment diepte (het noodzakelijke tokenvolume dat vereist is om een enkele logische stap uit te leggen). Huidige benaderingen straffen vaak de totale tokenlengte, waardoor onbedoeld de diepe redeneercapaciteiten die nodig zijn voor complexe problemen worden onderdrukt.

2. Methodologie: CoSMo Framework

De auteurs stellen CoSMo (Consistency-Guided Split-Merge Optimization) voor, een framework ontworpen om de topologie van de redeneringsketen te optimaliseren in plaats van alleen de lengte. Het werkt in twee fasen:

A. Split-Merge Optimalisatie Algoritme (Data Curation & SFT)

Geïnspireerd door algoritmen voor beeldsegmentatie, behandelt CoSMo de redeneringsketen als een reeks discrete segmenten ($s_1, s_2, ..., s_N$). Het verfijnt de keten iteratief om het aantal segmenten ($N$) af te stemmen op het ground-truth aantal hops ($k^*$) van het probleem.

• Merge-fase: Als $N > k^*$ (redundantie), gebruikt het algoritme een op LLM gebaseerde Consistency Judge om aangrenzende segmenten te identificeren die semantisch redundant zijn (bijv. parafrases of triviale uitbreidingen). Een Semantic Generator voegt deze vervolgens samen tot één beknopt logisch eenheid.
• Split-fase: Als $N < k^*$ (logische sprongen), detecteert het algoritme grofkorrelige logica waar meerdere stappen zijn samengeperst. De Generator ontbindt deze in fijnkorrelige, coherente sub-segmenten om logische continuïteit te waarborgen.
• Resultaat: Dit proces creëert een hoogwaardige, logisch-dichte dataset ($D_{cosmo}$) die wordt gebruikt voor Supervised Fine-Tuning (SFT), waardoor een structurele prior in het model wordt ingeprent.

B. Structure-Aligned Reinforcement Learning (RL)

Na SFT wordt het model verder geoptimaliseerd met Group Relative Policy Optimization (GRPO).

• Nieuwe Beloningsmechanisme: In plaats van de totale tokenaantal te straffen, introduceert CoSMo een Segment-Level Budget.
  • Format Beloning: Zorgt voor strikte naleving van de genummerde lijststructuur.
  • Correctheid Beloning: Beloont exacte antwoorden.
  • Structurele Efficiëntie Beloning: Straft de afwijking van het segmentaantal van het ground truth ($|N - k^*|$).
• Kerninnovatie: Dit ontwerp stelt het model in staat om de tokenlengte binnen een segment uit te breiden (voor diepe redenering) zonder straf, zolang het aantal segmenten optimaal blijft. Dit ontkoppelt structurele efficiëntie van beschrijvende diepte.

3. Belangrijkste Bijdragen

1. Ontkoppeling van Structuur en Diepte: Het paper definieert redeneerefficiëntie formeel niet door tokenvolume, maar door topologische uitlijning met probleemcomplexiteit. Het scheidt structurele redundantie (aantal segmenten) van intra-segment redenering (tokengranulariteit).
2. Consistency-Guided Split-Merge: Een nieuw algoritme dat trainingsdata dynamisch curateert door redundante stappen samen te voegen en logische gaten te splitsen, waardoor zowel beknoptheid als logische continuïteit worden gewaarborgd.
3. Segment-Level Budgeting in RL: Een reinforcement learning-strategie die globale tokenbeperkingen vervangt door een straf voor het segmentaantal, waardoor de onderdrukking van noodzakelijke details van diepe redenering wordt voorkomen.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat het optimaliseren van structuur betere prestaties oplevert dan het optimaliseren van lengte alleen.

4. Experimentele Resultaten

De auteurs evalueerden CoSMo op meerdere benchmarks (HotpotQA, HaluEval, NQ, CRAG) met Llama-3.1-8B en Qwen-2.5-modellen.

• Prestatiewinst: CoSMo behaalde een gemiddelde nauwkeurigheidsverbetering van +3,3 punten over benchmarks in vergelijking met baselines voor redeneerefficiëntie.
• Efficiëntie:
  • Verminderd gemiddeld tokenverbruik met 29,5%.
  • Verminderd gemiddeld aantal segmenten met 28,7% in vergelijking met baselines voor efficiënt redeneren.
  • Op HotpotQA (voornamelijk 2-hop vragen) verminderde CoSMo structurele redundantie (segmenten die het ground truth overschrijden) van ~1,6 (CoT) naar 0,6.
• Robuustheid:
  • CoSMo behield hoge nauwkeurigheid naarmate taakmoeilijkheid toenam (van 2-hop naar 4-hop vragen), terwijl baselines zoals CoT en C3oT aanzienlijke dalingen in nauwkeurigheid leden.
  • Het model toonde consistente superioriteit over verschillende LLM-judges (Qwen-7B/14B/72B, Llama-3.1), wat bewijst dat de winsten te wijten zijn aan intrinsieke logische geldigheid en niet aan judge-bias.
• Ablatiestudies:
  • De SFT-fase (Split-Merge) alleen bood aanzienlijke winsten in nauwkeurigheid en tokenreductie.
  • De RL-fase verbeterde de intrinsieke capaciteiten verder.
  • De combinatie van beide fasen leverde de beste resultaten op, wat bevestigt dat structurele priors en RL-uitlijning complementair zijn.

5. Betekenis en Impact

• Rekenkundige Duurzaamheid: Door structurele redundantie te elimineren zonder in te leveren op redeneerdiepte, biedt CoSMo een weg naar "Green AI", waardoor de CO2-voetafdruk en inferentiekosten van LRMs worden verminderd.
• Paradigmaverschuiving: Het werk daagt de heersende "token budget"-benadering uit, en suggereert dat de structuur van redenering een kritieker optimalisatiedoel is dan het volume van tokens.
• Interpreteerbaarheid: De resulterende gesegmenteerde redeneringsstructuur is transparanter, waardoor een betere analyse mogelijk is van hoe modellen middelen toewijzen tijdens inferentie.
• Generaliseerbaarheid: De methode is model-agnostisch en effectief over verschillende backbone-architecturen en moeilijkheidsgraden, waardoor het een veelbelovende aanpak is voor het implementeren van efficiënte redeneringsmodellen op apparaten met beperkte middelen.