SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs

`) gemengd met de huidige embedding om het model te helpen de overgang te "begrijpen" en de interne staat te oriënteren.

B. Onderdrukking van Overthinking (Switch Count Control)
Om te voorkomen dat het model te lang blijft nadenken, wordt het totale aantal schakelingen beperkt:

• Teller: Een teller ($C_t$) houdt het aantal voltooid Latent $\to$ Expliciet-schakelingen bij.
• Triggers:
  • Convergentie-trigger: Wanneer een bepaalde drempel (bijv. 50% van het maximum) wordt bereikt, wordt het model gedwongen om te stoppen met het genereren van denkstappen en direct een antwoord te geven op basis van de tot nu toe opgebouwde redenering.
  • Terminatie-trigger: Bij het bereiken van het maximale aantal schakelingen ($C_{max}$) wordt een kort antwoord-prefix ingebracht en wordt de generatie gestopt na een beperkt aantal extra tokens.
• Dit zorgt ervoor dat het model gebruikmaakt van "partiele redeneringstrajecten" om sneller tot een correct antwoord te komen, wat de token-efficiëntie drastisch verbetert.

3. Belangrijkste Bijdragen

1. Dynamisch Schakel Framework: Een training-vrije methode die de expressiviteit van latente redenering combineert met de stabiliteit van expliciete CoT, geleid door entropie-gebaseerde vertrouwenssignalen.
2. Controlemechanisme voor Overthinking: Een innovatieve teller die het aantal modus-overgangen beperkt, waardoor onnodige latente loops worden onderdrukt en token-efficiëntie wordt verbeterd, zelfs bij beperkte budgetten.
3. Uitgebreide Validatie: Het framework is getest op diverse benchmarks (wiskunde, STEM, codering, algemeen redeneren) en verschillende modelgroottes (van 1.7B tot 32B parameters), waarbij consistente verbeteringen in zowel nauwkeurigheid als efficiëntie werden aangetoond.

4. Resultaten

De evaluaties tonen aan dat SWIREASONING de prestaties van bestaande methoden (standaard CoT, Greedy CoT, en Soft Thinking) overtreft:

• Nauwkeurigheid (Onbeperkt Budget):
  • Gemiddelde verbetering in Pass@1 nauwkeurigheid van +1.8% tot +3.1% over verschillende model-families en benchmarks.
  • De verbeteringen zijn het grootst bij moeilijke taken (zoals AIME 2024/2025 en GPQA Diamond), waar de schakelmechanismen helpen bij het navigeren door complexe redeneringsketens.
• Token-Efficiëntie (Beperkt Budget):
  • Onder beperkte token-budgetten toont SWIREASONING aanzienlijke winst in efficiëntie (nauwkeurigheid per token).
  • Gemiddelde efficiëntieverbetering van 57% tot 79% ten opzichte van standaard CoT.
  • Bij zeer krappe budgetten kan de efficiëntie zelfs tot 4.6x tot 6.8x hoger liggen dan bij CoT, omdat het model sneller convergeert naar een antwoord zonder onnodige stappen.
• Pass@K Prestaties: SWIREASONING bereikt zijn maximale nauwkeurigheid met aanzienlijk minder samples (kleinere $k$) dan baselines, wat aangeeft dat het model consistenter en diverser redeneert.

5. Betekenis en Impact

SWIREASONING biedt een belangrijke doorbraak in de efficiënte inzet van redenerende LLMs zonder de noodzaak van kostbare hertraining.

• Pareto-Optimaliteit: Het framework verschuift de Pareto-grens voor redenerende modellen, waardoor het mogelijk is om zowel hogere nauwkeurigheid als lagere rekenkosten (tokens) te bereiken.
• Toepasbaarheid: Omdat het training-vrij is, kan het direct worden toegepast op bestaande state-of-the-art modellen (zoals Qwen, DeepSeek-R1) en is het compatibel met andere optimalisatietechnieken.
• Balans: Het lost het fundamentele dilemma op tussen "exploratie" (latente ruimte, veel opties) en "exploitatie" (expliciete ruimte, vaststellen van een oplossing), wat essentieel is voor het oplossen van complexe problemen in wiskunde, wetenschap en codering.

Kortom, SWIREASONING bewijst dat het slim schakelen tussen verschillende denkmodi tijdens de inferentie de prestaties van LLMs aanzienlijk kan verbeteren, zowel in kwaliteit als in kostenefficiëntie.