Technische Samenvatting: De Kwaliteit-Utiliteit Paradox in Wiskundig Redeneren van Kleine Modellen

Probleemstelling

Het heersende paradigma voor het trainen van Small Language Models (SLMs) op wiskundig redeneren berust op kennisdistillatie van sterkere "Oracle"-modellen. De standaardveronderstelling is dat redeneertrajecten met hogere reward model-scores — wat duidt op een hogere waargenomen kwaliteit, striktheid of correctheid — superieur toezicht bieden aan het doel-SLM. Echter, dit paper identificeert een contra-intuïtief fenomeen dat de Kwaliteit-Utiliteit Paradox wordt genoemd: trainingsdata die verfijnd of gesynthetiseerd is door een krachtig Oracle, presteert ondanks aanzienlijk hogere reward scores consequent slechter dan de trajecten die door het SLM zelf zijn gegenereerd en geselecteerd via rejection sampling (RFT).

De kern van het probleem is niet dat Oracle-verfijning inherent schadelijk is, maar dat huidige selectiecriteria voor data twee onderscheidende effecten verwarren:

1. Logische Reparatie: De verbetering van redeneerstappen en correctheid.
2. Distributionele Drift: De verschuiving van het redeneertraject weg van de natuurlijke redeneerdistributie van het SLM, wat vaak manifesteert als "Syntactische Compactie" (bijv. het vervangen van natuurlijke tussenruimtes en verbale delimiters door dichte symbolische operatoren).

Deze drift verhoogt de adaptatiekosten voor het doelmodel, wat de voordelen van een verbeterde logische presentatie kan overtreffen.

Methodologie

De auteurs stellen een gecontroleerd experimenteel kader vast om de impact van datarepresentatie te isoleren van de moeilijkheidsgraad van problemen.

• Data Constructie: Gebruikmakend van een vaste probleemset afgeleid van de NuminaMath-dataset, worden vier parallelle datastromen geconstrueerd:
  1. SLM-RFT: Geldige oplossingen gegenereerd door het doel-SLM (bijv. Qwen2.5-Math-1.5B) en gefilterd via een conservatief proces om artefacten te verwijderen terwijl de native stijl behouden blijft.
  2. Oracle-Refined: Door een krachtig Oracle (GPT-5.2) herschreven SLM-RFT oplossingen om logica en formattering te repareren.
  3. Oracle-Synthesized: Oplossingen die vanaf nul door de Oracle zijn gegenereerd.
  4. NuminaMath Subset: Grondwaarheid-oplossingen verkregen via reverse matching.
• Trainingsparadigma's: Experimenten maken gebruik van zowel standaard Supervised Fine-Tuning (SFT) als Dynamic Fine-Tuning (DFT) om te waarborgen dat de bevindingen geen artefacten zijn van een specifiek optimalisatie-objectief.
• Evaluatie: Modellen worden geëvalueerd op een spectrum van wiskundige benchmarks (MATH500, AIME24, AMC23, Minerva, OlympiadBench) met behulp van Avg@16 accuratesse. Waargenomen kwaliteit wordt gemeten via meerdere reward modellen (Qwen2.5-Math-RM, Skywork-Reward, Nemotron-Reward).
• Mechanisme-analyse:
  • Token Distributie Verschuiving: Analyse van unigram token frequenties onthult dat Oracle-verfijning "native scaffolding" tokens (bijv. gespatieerde backslashes, natuurlijke delimiters zoals "the" of "of") onderdrukt ten gunste van dichte, niet-gespatieerde operatoren.
  • Perplexity (PPL): Gebruikt als een proxy voor adaptatiekosten. Lagere PPL duidt op een hogere compatibiliteit tussen de trainingsdata-distributie en de native distributie van het doelmodel.
  • Semantische Preservatie: Een LLM-as-a-Judge protocol evalueert hoe nauw kandidaten-oplossingen de informatieve atomen van het oorspronkelijke traject van het SLM behouden, onafhankelijk van de formattering.
• Interventie: De auteurs introduceren Style-Aligned Refinement, een prompt-gebaseerde interventie waarbij het Oracle de instructie krijgt om logische fouten te corrigeren terwijl de native linguïstische stijl en ruimtelijke verdeling (spacing) van het SLM strikt wordt nagebootst.

Belangrijkste Bijdragen

1. Identificatie van de Kwaliteit-Utiliteit Paradox: Het paper demonstreert dat in de distillatie van wiskundig redeneren, data met hogere reward model-scores minder goede downstream prestaties kan opleveren dan data gegenereerd door het leerder zelf.
2. Mechanisme van Distributionele Drift: De auteurs tonen aan dat Oracle-verfijning een compatibiliteitsprobleem introduceert waarbij logische reparatie gekoppeld is aan een verschuiving in de representatievorm (syntactische compactie). Dit verhoogt de adaptatiekosten voor het doel-SLM, zoals aangetoond door hogere perplexiteit en lagere downstream utiliteit.
3. Style-Aligned Refinement: Het paper stelt een interventie voor en valideert deze, die de logische rectificatie ontkoppelt van de stilistische drift. Door het native traject van het SLM te behouden terwijl logische reparaties worden toegepast, verlaagt deze methode de adaptatiekosten en herstelt het de downstream utiliteit.

Resultaten

• Prestatie-Mismatch: Onder zowel SFT als DFT presteerden SLM-RFT data (laagste reward scores, bijv. 1.47) consequent beter dan Oracle-Refined (hogere scores, bijv. 1.70) en Oracle-Synthesized (hoogste scores, bijv. 1.88) data. Bijvoorbeeld, voor het Qwen2.5-Math-1.5B model met DFT behaalde SLM-RFT 37.06% Avg@16 accuratesse, terwijl Oracle-Refined 34.06% behaalde en Oracle-Synthesized 30.02%.
• Robuustheid: De paradox houdt stand over verschillende model-schalen (1.5B, 3B, 7B), modelfamilies (Qwen, LLaMA, DeepSeek) en trainingshyperparameters.
• Adaptatiekosten: Oracle-Refined data vertoonde een significant hogere Global Perplexity (1.85) vergeleken met SLM-RFT (1.52), wat wijst op een grotere last voor het model om zich aan te passen aan de nieuwe distributie. De Q1 (initiatie) fase vertoonde de meest significante verliesattributie aan syntactische markers (bijv. \( ) in Oracle-data versus natuurlijke taal-initiatoren (bijv. "To", "the") in SLM-data.
• Interventie Succes: Style-Aligned (Qwen) verfijning bereikte de laagste perplexiteit (1.46, zelfs lager dan de native SLM-RFT) en de hoogste downstream accuratesse (39.12%), waarmee het alle baselines overtrof. Opvallend genoeg ontving deze hoogpresterende data de laagste reward scores (1.37), wat de discrepantie tussen de perceptie van het reward model en leerbaarheid bevestigt.
• Cross-Model Validatie: De paradox werd bevestigd door drie verschillende reward modellen, wat aangeeft dat de onderwaardering van native-distributie trajecten een systemisch probleem is in de huidige reward modeling, en niet specifiek is voor een enkele evaluator.

Betekenis en Claims

Het paper claimt dat effectieve distillatie van wiskundig redeneren voor SLMs gezamenlijk de waargenomen oplossingskwaliteit en de leerder-data compatibiliteit moet optimaliseren. Het uitsluitend vertrouwen op reward model-scores voor de selectie van trainingsdata is onvoldoende en potentieel nadelig.

De auteurs betogen dat de "Kwaliteit-Utiliteit Paradox" voortkomt uit het feit dat sterkere modellen gerepareerd redeneren vaak uitdrukken via representaties die efficiënt zijn voor henzelf of geprefereerd worden door reward modellen (dichte, compacte syntaxis), maar kostbaar zijn voor kleinere doelmodellen om te imiteren en te internaliseren. De studie suggereert dat distributionele compatibiliteit — specif seguito de het behoud van het native redeneertraject van de leerder — een cruciale, vaak over het hoofd geziene factor is in distillatie.

De bevindingen impliceren dat toekomstige distillatiestrategieën prioriteit moeten geven aan interventies die de stilistische en syntactische eigenschappen van de output van de leraar afstemmen op de native distributie van de leerder, in plaats van het isoleren van het maximaliseren van de ruwe logische kwaliteit of reward scores. Het werk is bescheiden van omvang, gericht op wiskundig redeneren binnen het SLM-regime, en erkent dat de generaliseerbaarheid naar grotere modellen of niet-wiskundige domeinen een openstaande vraag blijft.