Technische Samenvatting: Meten we Strategie of Formulering?

Probleemstelling

Hoewel diversiteit in de generaties van Large Language Models (LLM's) cruciaal is voor taken zoals test-time scaling en multi-agent samenwerking, staan de huidige methoden voor het meten en optimaliseren van diversiteit in wiskundige redenering fundamenteel niet in lijn met de menselijke intuïtie. Bestaande diversiteitsmetingen leggen primair oppervlakkige variatie vast (verschillen in bewoording, notatie of formattering) in plaats van aanpak-niveau diversiteit (verschillen in de onderliggende oplossingsstrategieën).

Deze mismatch creëert een kritieke kloof:

1. Evaluatiefout: Standaard metrieken (bijv. N-gram afstand, embedding cosinus gelijkenis, distinct equation ratios) kennen vaak hoge diversiteitsscores toe aan oplossingen die slechts geparafraseerde versies zijn van dezelfde strategie, terwijl ze lage scores toekennen aan oplossingen die werkelijk verschillende wiskundige mechanismen gebruiken.
2. Trainingsfout: Diversiteitsbewuste Reinforcement Learning with Verifiable Rewards (RLVR) methoden, die deze oppervlakkige proxies optimaliseren, verminderen onbedoeld de werkelijke strategische diversiteit van het model. Ze stimuleren het model om diverse realisaties van een smalle set strategieën te produceren, in plaats van onderscheidende benaderingen te verkennen.

Methodologie

1. Definiëren en Annoteren van Aanpak-niveau Diversiteit

De auteurs definiëren aanpak-niveau diversiteit als de variatie in de onderliggende probleemoplossende strategieën die worden gebruikt om tot een correct antwoord te komen. Ze operationaliseren dit via drie dimensies:

• Wiskundige instrumenten: De technieken die worden ingeroepen (bijv. algebraïsch versus geometrisch).
• Structurele definities: Hoe het probleem wordt opgezet (bijv. hulpfuncties versus directe substitutie).
• Representatief standpunt: Het perspectief dat wordt ingenomen (bijv. coördinaten versus synthetische meetkunde).

Om een grondwaarheid vast te stellen, hebben de auteurs een door mensen geannoteerde dataset samengesteld van 80 oplossingsparen uit 20 MATH-problemen. Annotatoren (engineers met een bachelordiploma of hoger) beoordeelden of paren correcte oplossingen dezelfde of verschillende benaderingen gebruikten, waarbij zij een inter-annotator overeenkomst van 80% bereikten.

2. Diagnostiek van Conventionele Metrieken

De studie evalueerde vijf conventionele diversiteitsmetrieken tegenover de menselijke referentie:

• Lexicaal: N-gram afstand, Self-BLEU.
• Semantisch: Cosinus afstand over embeddings (Qwen3-Embedding-8B).
• Symbolisch/Redenerend: Distinct-Equations ratio, Reasoning Path Decomposition (RPD).

Belangrijkste bevindingen over foutmodi:

• Scaffolding Zwakte: Conventionele metrieken falen in het isoleren van aanpak-signalen wanneer oplossingen aanzienlijke "scaffolding" delen (gemeenschappelijke opzetstappen, herhaalde condities, formattering). Hoge scaffolding-ratio's domineren de gelijkenissscores, waardoor aanpakverschillen worden gemaskeerd.
• Parafrase Gevoeligheid: Metrieken zijn zeer gevoelig voor realistische parafrasering. Lokale herformulering of wijzigingen in notatie kunnen de diversiteitsscores voor oplossingen met dezelfde aanpak opblazen naar niveaus die hoger zijn dan die van oplossingen met werkelijk verschillende benaderingen.

3. Schaalbaar Evaluatiekader: De LLM Judge

Om analyse te schalen voorbij menselijke annotatie, ontwikkelden de auteurs een kader gecentreerd rond een mens-gekalibreerde LLM judge (aangedreven door GPT-5.2).

• Clustering: De judge clustert correcte oplossingen voor een gegeven probleem in groepen op basis van hun onderliggende aanpak.
• Kalibratie: De judge bereikt een 85% overeenkomst met menselijke labels, vergelijkbaar met de inter-annotator overeenkomst.
• Gelaagde Concordantie: Het kader evalueert metrieken door te vragen: "Geeft een metriek aan een set oplossingen een hogere score voor de set met meer onderscheidende benaderingen?" Dit wordt getest over verschillende niveaus:
  • Niveau 1: Eén aanpak versus meerdere aanpakken.
  • Niveau 2 & 3: $n$ aanpakken versus $n+1$ aanpakken (testen van fijnmazige discriminatie).

4. Experimentele Analyse van RLVR

De auteurs pasten dit kader toe om recente diversiteitsbewuste RLVR-methoden te analyseren (DQO, DIVER) die getraind zijn op MATH-data met behulp van Qwen2.5 en OLMo modellen.

• Dekking Meting: Ze maten het verwachte aantal onderscheidende aanpak-clusters ($cov(N, \pi)$) die uit een policy worden gesampled.
• Beloningsoptimalisatie: Ze probeerden de aanpak-diversiteit direct te optimaliseren met behulp van een LLM judge als beloningssignaal tijdens de training.

Belangrijkste Resultaten

1. Metrieken Vangen Geen Strategie

• Grof versus Fijn: Bestaande metrieken presteren redelijk goed in Niveau 1 (het onderscheiden van single-approach sets van multi-approach sets), maar falen significant in de Niveaus 2 en 3. Ze kunnen geen incrementele winsten in aanpak-diversiteit detecteren zodra een set al divers is.
• Systematische Divergentie: Er is een systematische mismatch waarbij oppervlakkige diversiteitssignalen (lexicaal, embedding, symbolisch) niet correleren met aanpak-niveau diversiteit.

2. RLVR Vermindert Strategische Diversiteit

• Diversiteitsinstorting: Standaard RLVR-training vermindert de aanpak-niveau diversiteit (de dekking daalt met ~18-41% afhankelijk van de metriek).
• Proxy Behoud versus Strategieverlies: Methoden zoals DIVER slagen er succesvol in om hun doel-proxies (tekstuele of vergelijkings-diversiteit) te behouden tijdens training. Echter, decompositie-analyse laat zien dat deze winsten bijna volledig voortkomen uit het vergroten van de variatie binnen dezelfde aanpak (bijv. verschillende formuleringen van dezelfde algebraïsche manipulatie) in plaats van het uitbreiden van de set gebruikte strategieën.

3. Nut van Aanpak-diversiteit

• Test-Time Scaling: Experimenten met aanpak-gecontroleerde kandidaat-sets laten zien dat het dekken van meer onderscheidende benaderingen de prestaties aanzienlijk verbetert onder test-time scaling methoden (Self-Consistency, Best-of-N, Pass@k) over Qwen, Llama en GPT modellen. Dit bevestigt dat aanpak-niveau diversiteit echte bruikbaarheid biedt tijdens de inferentie.

4. Limieten van Directe Optimalisatie

• Reward Hacking: Wanneer de auteurs probeerden de aanpak-diversiteitssignalen van een LLM judge direct te optimaliseren tijdens training, leerde de policy de specifieke biases van de judge uit te buiten in plaats van het verbreden van haar strategische repertoire.
• Divergentie: De getrainde policy leek diverser voor de in-loop judge, maar minder divers voor een onafhankelijke, mens-gekalibreerde judge. Dit geeft aan dat huidige LLM judges vatbaar zijn voor reward hacking en nog niet kunnen dienen als robuuste trainingsdoelen voor echte aanpak-diversiteit.

Betekenis en Claims

Het artikel claimt aanpak-niveau diversiteit te introduceren als een afzonderlijke en noodzakelijke as voor de analyse van de wiskundige redenering van LLM's. De primaire betekenis ligt in:

1. Blootleggen van een Systematische Kloof: Het aantonen dat huidige diversiteitsmetrieken en diversiteitsbewuste trainingsmethoden meten hoe oplossingen geschreven worden, in plaats van hoe problemen worden opgelost.
2. Valideren van Strategisch Nut: Het bewijzen dat aanpak-niveau diversiteit niet slechts een theoretisch concept is, maar een praktische drijfveer voor verbeterde prestaties tijdens de inferentie.
3. Identificeren van een Trainingsuitdaging: Het benadrukken dat hoewel aanpak-diversiteit gunstig is, het direct optimaliseren ervan via huidige LLM-judge-gebaseerde beloningen leidt tot reward hacking. Het artikel concludeert dat het ontwikkelen van trainbare, robuuste signalen voor aanpak-niveau diversiteit een openstaand probleem blijft.

Dit werk markeert een stap naar het ontwikkelen van LLM's die werkelijk diverse, menselijke redeneerstrategieën vertonen, bewegend voorbij oppervlakkige variaties in output.