Technische Samenvatting: Moeilijk of Gewoon Niet Bereikt? Het Diagnostiseren van de Sampling Blind Spot in de Schatting van de Moeilijkheidsgraad van Wiskundig Redeneren

1. Probleemstelling

Huidige pipelines voor wiskundig redeneren — die Reinforcement Learning (RL) met verifieerbare beloningen, data-curatie, synthetische curriculumgeneratie en moeilijkheidsgraad-annotatie omvatten — leunen zwaar op pass@k als het canonieke signaal voor de moeilijkheidsgraad per voorbeeld. In dit kader wordt een voorbeeld als "moeilijk" gelabeld als geen enkele gesamplede keten onder $k$ pogingen de gouden antwoord bereikt. Bijgevolg worden voorbeelden met $pass@k=0$ vaak gefilterd, lager gewogen of behandeld als intrinsiek onoplosbaar.

Het artikel betoogt dat de afhankelijkheid van deze stochastische sampling een hardnekkige blinde vlek creëert op het moeilijkste stratum van problemen. De kernhypothese is dat voorbeelden die door sampling-only estimators als "moeilijk" worden gemarkeerd, niet noodzakelijkerwijs intrinsiek moeilijk zijn; in plaats daarvan kunnen ze structureel onbereikbaar zijn op de stochastische as, maar wel bereikbaar via deterministische decoding bij gelijkwaardige computationele budgetten. De auteurs stellen dat het label "moeilijk" "intrinsiek moeilijk" verward met "niet bereikt door stochastische sampling".

2. Methodologie

Experimentele Opzet

De studie evalueert vier open-weight instruction-tuned modellen (Qwen-2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-12B) over drie reasoning-benchmarks (GSM8K, MATH, MMLU-Pro).

• Sampling Regime: Zes onafhankelijke ketens ($k=6$) gegenereerd met temperatuur $T=0.7$ en top-p $p=0.9$.
• Deterministisch Regime: Een "zes-keten deterministisch regime" geconstrueerd door greedy decoding ($T=0$) uit te voeren met activation grafting.
• Activation Grafting: Dit is een diagnostische interventie, geen decoding-methode. Bij laag $\ell=26$ (het laatste prompt-token) wordt de verborgen staat ($h_{last\_token}$) van het model vervangen door een van verschillende goedkope, parameter-vrije synthetische vectoren voordat de forward pass wordt voortgezet. De graft-vectoren zijn:
  • $g_B$: Greedy baseline (geen graft).
    • $g_Z$: Zero vector.
  • $g_R$: Norm-gematchte Gaussian.
  • $g_{RUNIT}$: Willekeurige eenheidsrichting.
  • g_{SHUF: Permutatie van de hidden-dimensie.
  • $g_{BOS}$: BOS-token activatie.
  • $g_{AVG}$: Gemiddelde over de prompt-token activaties.
  • $g_{PREV}$: Staat van de vorige laag op dezelfde positie.
• Gelijkwaardige Compute: De vergelijking is strikt gecontroleerd op computationele kosten. Het "zes-keten deterministisch regime" voert hetzelfde aantal forward passes (prefill + decode) uit als het zes-keten sampling regime.

Diagnostische Logica

De auteurs isoleren het $pass@6=0$ stratum (voorbeelden waar geen enkele sampling seed slaagt). Vervolgens meten zij hoeveel van deze specifieke voorbeelden worden opgelost door het deterministische regime ($R_k$). Als een significant deel van deze "moeilijke" voorbeelden wordt opgelost door het deterministische regime, is de aanname van "intrinsieke moeilijkheid" weerlegd.

3. Belangrijkste Bijdragen en Bevindingen

(1) Greedy is Competitief bij $k=1$

In tegenstelling tot de visie dat greedy decoding een zwak baseline is vergeleken met sampling, vinden de auteurs dat bij $k=1$, greedy decoding competitief is met of superieur is aan de gemiddelde single-sample accuratesse over de meeste cellen. Het gat bereikt tot +2.8% op Llama-3.2-3B/MATH. Dit suggereert dat de standaard single-pass baseline voor self-consistency al zwakker is dan een determinatief alternatief op dezelfde compute.

(2) De Sampling Blind Spot is Structureel

Op het $pass@6=0$ stratum (dat 5.1%–43.5% van de prompts beslaat, afhankelijk van het model/benchmark), herstelt een deterministisch regime bij gelijkwaardige compute een niet-trivial deel van de voorbeelden:

• Recovery Rate: Het zes-keten deterministische regime ($R_6$) lost 10.3%–22.9% van de voorbeelden op die zes sampling seeds gezamenlijk missen over de acht free-form math cellen (GSM8K en MATH). Over alle twaalf cellen varieert dit van 10% tot 29%.
• Scaling: Herstel schaalt met het deterministische budget. $R_1$ (alleen greedy) herstelt slechts 0–9%, maar het toevoegen van diverse grafts verhoogt het herstel aanzienlijk, wat aangeeft dat het "harde" segment toegankelijk is via meerdere distinctieve deterministische trajecten.
• Mechanistische Distinctheid: Het herstel wordt niet gedreven door één "bevoorrechte" vector. De cross-kind fix-set Jaccard-gelijkenis is laag ($\le 0.47$) over alle cellen, wat bewijst dat verschillende graft-typen disjuncte subsets van het stratum herstellen.

(3) Mechanisme: Residual-Stream Perturbatie, Niet Attention Rerouting

Het onderzoek analyseert waarom grafts slagen. Instrumentatie van het Qwen-2.5-3B model onthult:

• Hidden-State Divergentie: Grafting bij laag 26 zorgt ervoor dat de verborgen staat significant divergeert van de baseline (L2-afstand groeit monotoon door de resterende lagen; cosine similarity blijft laag).
• Attention Stabiliteit: De graft heeft een verwaarloosbaar direct effect op de attention weights ($\sim 10^{-5}$ verschil).
• Conclusie: De graft fungeert als een andere initiële conditie voor de resterende transformer blokken. De forward pass van het model projecteert deze perturbaties niet terug op de baseline trajectorie; in plaats daarvan worden ze voortgevoerd, waardoor distinctieve downstream trajecten worden vastgelegd. Dit bevestigt dat het "harde" segment structureel identificeerbaar is in de residual stream.

(4) Praktisch Nut

De auteurs stellen twee inzetbare strategieën voor op basis van deze bevindingen:

1. Matched-Cost Substitutie: Het vervangen van één sampling pass door een enkele deterministische graft (specifiek de mean-prompt-activation graft, $AVG$) in een curatie-pipeline dekt meer van de dataset dan het gebruiken van alle passes voor sampling in de meeste configuraties.
2. Label-vrije Identificatie: Een eenvoudige probe met keten-disagreement tussen drie ketens (greedy + twee sampling seeds) kan herstelbare items (die in het $pass@6=0$ stratum zitten maar deterministisch oplosbaar zijn) rangschikken met een 3–5× lift op free-form math taken, zonder dat hiervoor gold labels nodig zijn.

4. Betekenis en Claims

Het artikel claimt dat sampling-afgeleide moeilijkheidsgraad-schattingen systematisch een structureel identificeerbaar deel van het moeilijkste stratum verkeerd labelen.

• Herdefiniëren van "Moeilijk": Het "moeilijk" label in huidige pipelines duidt vaak op "niet bereikt op de stochastische as" in plaats van "intrinsiek moeilijk".
• Impact op Pipelines:
  • Benchmark Constructie: De "moeilijkste" buckets in benchmarks zoals GSM8K en MATH zijn deels artefacten van het decoding regime, en niet alleen van de items zelf.
  • Data Curatie: Rejection-sampling pipelines kunnen oplosbare problemen als onoplosbaar wegwerpen, waardoor potentieel trainingsmateriaal verloren gaat.
  • RL en Verifier Training: Preference datasets gebouwd uit gesamplede ketens erven deze blinde vlek, wat bijdraagt aan enkel negatieve signalen voor items die een deterministische keten zou kunnen oplossen.
• Bescheidenheid van Claims: De auteurs benadrukken expliciet dat zij activation grafting niet voorstellen als een nieuwe inference-methode voor deployment. In plaats daarvan is het een diagnostisch instrument om een deel van de probleemruimte bloot te leggen die momenteel onzichtbaar is voor standaard sampling-gebaseerde metrieken. Het ongewijzigde model bereikt deze items niet onder normale inferentie; het segment is alleen bereikbaar via specifieke interne interventies.

5. Beperkingen

• Onvolledig Herstel: Zelfs met acht deterministische ketens blijft 66–88% van het $pass@6=0$ stratum onhersteld. Dit kunnen werkelijk moeilijke problemen zijn of problemen die bereikbaar zijn via andere diversiteits-assen die niet zijn getest.
• Scope: De studie is beperkt tot vier modellen en drie benchmarks.
• Label-vrije Precisie: Hoewel keten-disagreement items kan rangschikken, is de precisiegarantie voor label-vrije identificatie niet volledig gekwantificeerd en neemt deze af op multiple-choice benchmarks (MMLU-Pro) door toevalsovereenkomst.
• Ruis: Op de kleinste strata (bijv. ~50 voorbeelden) zijn de absolute aantallen herstel klein, hoewel de ratio's consistent blijven.

Samenvattend toont het artikel aan dat de "moeilijkste" problemen in wiskundige redeneer-benchmarks vaak niet intrinsiek onoplosbaar zijn, maar simpelweg gemist worden door stochastische sampling, een feit dat onthuld kan worden door deterministische interventies op de residual stream.