Reinforced Efficient Reasoning via Semantically Diverse Exploration

Probleemstelling

Hoewel Reinforcement Learning met verifieerbare beloningen (RLVR), zoals GRPO, effectief is gebleken voor het verbeteren van het redeneringsvermogen van Large Language Models (LLMs), lijden bestaande methoden aan twee fundamentele beperkingen:

1. Beperkte exploratiediversiteit: Bestaande MCTS-gebaseerde (Monte Carlo Tree Search) methoden gebruiken vaak generatie-entropie om vertakkingspunten in de redenering te bepalen. Deze metriek meet de onzekerheid van het model op token-niveau, maar generaliseert slecht naar de semantische ruimte. Een hoge entropie kan leiden tot het genereren van tokens die semantisch identiek zijn (bijv. "kan" vs. "moet" in een bepaalde context), waardoor de verkende redeneringspaden niet daadwerkelijk divers zijn.
2. Inefficiënt redeneren ("Overthinking"): Bestaande methoden straffen lange redeneringsketens niet effectief af. Dit leidt ertoe dat modellen redundantie vertonen en onnodig lange paden genereren ("overthinking"), zelfs als een korter pad tot hetzelfde correcte antwoord leidt. Uniforme credit assignment (het toekennen van beloningen aan alle tokens in een respons) houdt geen rekening met de bijdrage van specifieke segmenten of de lengte van de keten.

Methodologie: ROSE

De auteurs stellen ROSE (Reinforced Efficient Reasoning via Semantically Diverse Exploration) voor, een framework dat MCTS integreert met twee kerninnovaties om zowel diversiteit als efficiëntie te maximaliseren.

1. Semantisch-entropie-gestuurde Exploratie

Om de diversiteit van de redenering te vergroten, introduceert ROSE een nieuwe strategie voor het bepalen van vertakkingspunten in de boomstructuur:

• Semantische Entropie (SE): In plaats van alleen generatie-entropie te gebruiken, combineert ROSE deze met semantische divergentie.
  • Semantische Divergentie: Berekent de gemiddelde cosine-afstand tussen de embeddings van de top-k meest waarschijnlijke tokens. Als deze tokens semantisch zeer verschillend zijn, is de divergentie hoog.
  • Formule: $SE_k = SD_k \cdot H_k$, waarbij $SD_k$ de semantische divergentie is en $H_k$ de generatie-entropie.
  • Doel: Vertakkingen worden gekozen op punten waar het model zowel onzeker is (hoge entropie) als waar de mogelijke vervolgstappen semantisch uiteenlopen. Dit garandeert dat de boom daadwerkelijk verschillende redeneringspaden verkent.
• $\epsilon$-Exploratiemechanisme: Om te voorkomen dat de zoektocht te lokaal wordt (vastlopen in een suboptimaal deel van de boom), wordt met een kans $\epsilon$ een volledig nieuwe, onafhankelijke respons gegenereerd vanaf de wortel. Dit balanceert diepte (boomstructuur) en breedte (onafhankelijke samples).

2. Lengte-bewuste Segment-level Voordelsschatting

Om efficiëntie te bevorderen en overthinking te voorkomen, wordt de credit assignment opgesplitst in segmenten binnen de boom:

• Segment-level Advantage: In plaats van een enkele beloning voor de hele respons, wordt de waarde van elke knooppunt in de boom geschat als het gemiddelde van de beloningen van alle responsen die door dat knooppunt gaan. Het voordeel (advantage) van een segment wordt berekend als het verschil in waarde tussen het huidige knooppunt en het ouderknooppunt.
• Lengte-bewuste Kalibratie: Voor correcte responsen wordt een straf toegepast op de lengte. Als een respons correct is maar langer is dan de kortste correcte respons (die een gemeenschappelijk voorvoegsel deelt), wordt het voordeel van de tokens na het divergentiepunt verlaagd.
  • Formule: Het voordeel wordt aangepast met een factor die afhangt van de verhouding tussen de lengte van de lange en korte takken na het divergentiepunt. Dit moedigt het model aan om kortere, even effectieve redeneringspaden te kiezen.

3. Trainingsdoel

Het framework gebruikt een aangepaste versie van de GRPO-verliesfunctie (geïnspireerd door Dr.GRPO) die de segment-level voordelen en een KL-strafterm integreert, zonder de basisloss-functie van GRPO fundamenteel te veranderen, wat compatibiliteit met andere GRPO-varianten behoudt.

Belangrijkste Bijdragen

1. Semantisch-entropie-gestuurde MCTS: Een nieuwe vertakkingsstrategie die semantische onzekerheid meet in plaats van alleen token-onzekerheid, wat leidt tot aanzienlijk diverse redeneringspaden.
2. $\epsilon$-Exploratie: Een mechanisme dat lokale optima voorkomt door willekeurige, onafhankelijke rollouts te introduceren.
3. Efficiënte Redenering: Een segment-level voordeelsschatting die lengte-penaliteiten integreert, waardoor modellen worden gestimuleerd om kortere en correcte redeneringen te genereren.
4. Uitgebreide Validatie: Experimenten op meerdere wiskundige benchmarks (AIME2024/2025, AMC2023, MATH500) met verschillende modelarchitecturen (Qwen en Llama).

Resultaten

De experimenten tonen aan dat ROSE state-of-the-art methoden (zoals GRPO, DAPO, Dr.GRPO, TreePO en FR3E) overtreft:

• Prestatieverbetering: ROSE behaalt de hoogste scores op de meeste benchmarks. Bijvoorbeeld, op Qwen3-8B-Base steeg de pass@8 score op AIME2024 van 26.67% (Dr.GRPO) naar 33.33%.
• Diversiteit: Analyse van de cosine-afstand tussen gegenereerde responsen toont aan dat ROSE (via semantische entropie) responsen genereert met een lagere gemiddelde overeenkomst en een bredere spreiding dan methoden die op generatie-entropie vertrouwen.
• Efficiëntie: Door de lengte-penaliteit ($\alpha$) in te stellen, kan ROSE de lengte van de redenering aanzienlijk verkorten (tot wel 12% korter dan GRPO) zonder in te leveren op de nauwkeurigheid.
• Ablatiestudies: Het verwijderen van de $\epsilon$-exploratie of het gebruik van willekeurige vertakkingen leidt tot prestatiedalingen, wat de noodzaak bevestigt van zowel semantische diversiteit als gestructureerde exploratie.

Significantie

ROSE biedt een belangrijke doorbraak in het veld van RL voor LLM-redenering door twee vaak tegenstrijdige doelen te combineren: diepere exploratie en efficiëntere output.

• Het lost het probleem op dat bestaande MCTS-methoden vaak vastlopen in semantisch identieke paden, wat de leerkracht beperkt.
• Het adresseert het "overthinking"-probleem, wat cruciaal is voor de praktische inzetbaarheid van LLM's (lagere rekentijd en kosten).
• De methode is model-onafhankelijk en werkt effectief over verschillende modelgroottes (van 3B tot 8B parameters), wat suggereert dat het een schaalbare oplossing is voor toekomstige complexe redeneringstaken.

Kortom, ROSE bewijst dat het combineren van semantisch bewuste exploratie met lengte-geoptimaliseerde credit assignment leidt tot robuustere en efficiëntere redenerende AI-systemen.