Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance

1. Het Probleem

Huidige methoden voor het verbeteren van wiskundig redeneren in Large Language Models (LLMs) maken vaak gebruik van voorbeeldgebaseerde begeleiding (bijv. "worked examples", hints of redeneertraces) tijdens de inferentie. Hoewel deze methoden soms effectief zijn, is hun prestatie extreem onstabiel. Zelfs wanneer de begeleiding correct is en relevant voor het probleem, kan deze leiden tot falen of zelfs de prestaties verslechteren.

De auteurs identificeren een fundamenteel, maar tot nu toe onderbelicht probleem: de kloof tussen strategisch gebruik (strategy usage) en strategische uitvoerbaarheid (strategy executability).

• Strategisch gebruik: Komt een bepaalde redeneerstrategie voor in een succesvolle oplossing (bijv. van een mens of een ander model)?
• Strategische uitvoerbaarheid: Is diezelfde strategie daadwerkelijk effectief wanneer deze als instructie wordt gegeven aan een doelmodel?

De studie toont aan dat strategieën die in menselijke oplossingen veel voorkomen (vaak structureel of conceptueel van aard), niet altijd goed uitvoerbaar zijn voor modellen, en vice versa. Modellen hebben vaak voorkeur voor procedurale of algebraïsche strategieën die voor hen makkelijker te "executeren" zijn, maar die soms minder robuust zijn dan menselijke inzichten.

2. Methodologie

De auteurs ontwikkelen een raamwerk om deze kloof te analyseren en op te lossen via drie hoofdstappen:

A. Analyse van Mens-Model Verschillen

Ze construeren HM-ReasoningBench, een dataset van 4.850 uitdagende wiskundeproblemen, elk vergezeld van een menselijke oplossing en een gegenereerde oplossing door een model.

• Strategie-abstraktie: Oplossingen worden niet als stap-voor-stap traces behandeld, maar als een compositie van hoog-niveau redeneerstrategieën (bijv. "symmetrie-analyse", "coördinaatopstelling", "invarianten").
• Vergelijking: Menselijke oplossingen neigen naar structurele inzichten (bijv. meetkundige constructies), terwijl modellen vaker procedurale transformaties gebruiken (bijv. algebraïsche manipulatie).
• Vinding: Er is een systematische dissociatie: strategieën die frequent voorkomen in menselijke oplossingen, zijn niet per se de meest uitvoerbare voor een model, en andersom.

B. Selective Strategy Retrieval (SSR) Framework

Om dit probleem op te lossen, stellen de auteurs SSR voor, een framework dat werkt tijdens de inferentie (test-time) zonder het model opnieuw te hoeven trainen. SSR selecteert strategieën op basis van empirische bewijzen van uitvoerbaarheid.

Het proces omvat:

1. Strategie Kennisgrafiek: Een heterogene grafiek wordt opgebouwd met knopen voor problemen, strategieën en categorieën. Kanten coderen waargenomen gebruik en uitvoerbaarheid.
2. Multi-Route Retrieval: Voor een nieuw probleem worden kandidaat-strategieën opgehaald via drie complementaire routes:
   • Categorie-geconditioneerd: Strategieën die robuust zijn voor de specifieke probleemcategorie.
   • Probleem-transfer: Strategieën die empirisch succesvol waren voor semantisch vergelijkbare problemen.
   • Semantische fallback: Strategieën op basis van oppervlakkige semantische gelijkenis (als de andere routes tekortschieten).
3. Modellering van Uitvoerbaarheid: Een voorspeller schat de kans dat een strategie succesvol is voor het doelmodel ($U(s|x)$). Dit wordt getraind met een Beta-Binomiaal model op basis van meervoudige inferentietraces om de stochasticiteit van het model te accounten.
4. Selectie: De strategieën met de hoogste geschatte uitvoerbaarheid worden geselecteerd en als hints aan het model gegeven.

3. Belangrijkste Bijdragen

1. Conceptuele Inzicht: De paper introduceert het concept van strategy executability en toont aan dat de aanwezigheid van een strategie in een correcte oplossing geen garantie is voor succesvolle toepassing door een ander model.
2. Dataset: Constructie van HM-ReasoningBench, een gepaarde dataset met menselijke en model-oplossingen voor gedetailleerde analyse van strategieverschillen.
3. Framework: Ontwikkeling van Selective Strategy Retrieval (SSR), een lichtgewicht, test-time framework dat strategieën selecteert op basis van empirische uitvoerbaarheidssignalen in plaats van alleen semantische relevantie of prevalentie.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat het expliciet modelleren van uitvoerbaarheid leidt tot robuuste verbeteringen, in tegenstelling tot eerdere methoden die simpelweg "beste" voorbeelden kopieerden.

4. Resultaten

De auteurs evalueren SSR op meerdere benchmarks (HM-ReasoningBench, AIME25, Apex) met verschillende modellen (Qwen3-8B/14B, DeepSeek-R1-Distill).

• Prestatieverbetering: SSR overtreft consistent directe oplossingen (Direct Solving), In-Context Learning (ICL) en begeleiding uit één enkele bron (alleen mens of alleen model).
  • Op AIME25 (een zeer moeilijk wiskundewedstrijdbenchmark) wordt de nauwkeurigheid met tot +13 punten verbeterd voor compacte redeneringsmodellen.
  • Op Apex (extreem moeilijke problemen) wordt een verbetering van +5 punten behaald.
• Efficiëntie: SSR verbetert de efficiëntie door het aantal output-tokens te verminderen. Het leidt modellen weg van onproductieve exploratie, in plaats van ze te dwingen tot langere redeneertraces.
• Ablatie Studies: Het verwijderen van één van de drie retrieval-routes (categorie, transfer, of semantisch) leidt tot een duidelijke daling in prestaties, wat aantoont dat geen enkele signaleringstyp voldoende is.
• Foutanalyse: Menselijke begeleiding vermindert vooral structurele fouten (ontbrekende globale structuur), terwijl modelgebaseerde begeleiding algebraïsche fouten vermindert. SSR combineert beide en vermindert beide fouttypes.

5. Betekenis en Impact

Deze paper biedt een paradigmaverschuiving in hoe we redeneerbegeleiding voor LLMs benaderen:

• Van "Wat werkt voor de mens?" naar "Wat werkt voor dit model?": Het benadrukt dat redeneerstrategieën model-relatief moeten worden geëvalueerd. Wat voor een mens een logische stap is, kan voor een model een valkuil zijn.
• Diagnostisch Signaal: De discrepantie tussen menselijke en model-strategieën wordt niet gezien als een tekortkoming, maar als een diagnostisch signaal voor onbalans in huidige trainingsdata en leerdoelen.
• Toekomstige Richting: Het werk suggereert dat toekomstige trainingcurricula en evaluatieprotocollen moeten focussen op de operationele bruikbaarheid van redeneerabstrakties, niet alleen op het eindantwoord.

Kortom, door te leren welke strategieën een specifiek model daadwerkelijk kan uitvoeren, kan SSR de redeneerprestaties van LLMs aanzienlijk en betrouwbaar verbeteren zonder extra rekentijd of modeltraining.