🤖 machine learning

Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

Dit artikel introduceert een zelftoezichtend benchmark dat evalueert of door modellen gegenereerde voorspellingen van wiskundige tekstcontinueringen de waarschijnlijkheidsscores verbeteren ten opzichte van controles die uitsluitend op context zijn gebaseerd, waarmee modelcapaciteiten en redeneerinspanningen effectief worden onderscheiden en potentiële shortcut-kwetsbaarheden in scoremechanismen worden geïdentificeerd.

Oorspronkelijke auteurs: Daniel Ranard

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Daniel Ranard

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het einde van een zeer complexe, technische geschiedenis te raden, geschreven door een briljante wiskundige. Het verhaal staat vol vreemde symbolen en vergelijkingen. Je kunt het begin van het verhaal zien, maar de laatste paar zinnen zijn verborgen achter een gordijn.

Dit artikel introduceert een nieuwe manier om te testen of een computer daadwerkelijk "nadenkt" over het verhaal of gewoon willekeurig raadt. Dit gebeurt zonder dat een menselijke leraar de antwoorden moet beoordelen.

Hieronder wordt uitgelegd hoe de test werkt, opgesplitst in eenvoudige onderdelen:

1. De Opzet: Het "Gordijn"-Spel

De onderzoekers nemen een echt wetenschappelijk artikel en snijden het einde van een wiskundige vergelijking af.

De Context (X): De computer ziet alles wat voorafgaat aan de afknip.
Het Verborgen Einde (Y): Dit is het deel dat we willen voorspellen. Het is het "antwoordenboekje".
De Voorspelling (Z): De geteste computer wordt gevraagd een "hint" of een "voorspelling" te schrijven over wat er als volgt komt. Het is alsof de computer fluistert: "Ik denk dat het volgende deel er zo uit zal zien..."

2. De Rechter: De "Kansmeter"

In plaats van dat een mens de voorspelling leest en zegt "Goed gedaan" of "Slecht gedaan", gebruiken de onderzoekers een ander computerprogramma als Rechter.

De Rechter kijkt naar het verborgen einde (Y) en vraagt zich af: "Hoe waarschijnlijk is het dat dit het echte einde is?"
De Rechter doet dit twee keer:
1. Zonder de hint: Alleen kijkend naar het verhaal tot nu toe.
2. Met de hint: Kijkend naar het verhaal plus de voorspelling van de computer (Z).

Als de voorspelling van de computer slim is en de Rechter daadwerkelijk helpt het verborgen einde te begrijpen, zal de Rechter zeggen: "Ah, dit einde heeft nu veel meer zin!" De score gaat omhoog. Deze toename in score wordt "Likelihood Lift" (Kansverhoging) genoemd.

3. De Valstrik: De "Context-Stuffer"

De onderzoekers waren bezorgd over een truc. Wat als de computer de toekomst niet echt voorspelt, maar gewoon de laatste paar zinnen van het verhaal kopieert en plakt in het "hint"-vakje?

Stel je een student voor die een toets maakt. In plaats van het probleem op te lossen, kopieert hij de vraag gewoon terug op het antwoordblad.
Om dit te vangen, creëerden de onderzoekers een Controlegroep. Ze dwongen de computer om zijn "hint"-ruimte te gebruiken om de recente geschiedenis van het verhaal te plakken in plaats van een voorspelling te doen.
De Test: Als de echte voorspelling van de computer hoger scoort dan de geplakte geschiedenis, betekent dit dat de computer daadwerkelijk wat redenering doet en niet alleen maar kopieert.

4. De Resultaten: Wie Geslaagd?

De onderzoekers testten verschillende AI-modellen (zoals GPT-5.5, Opus 4.7 en een kleinere "nano"-versie).

De Grote Winnaars: De slimmere, krachtigere modellen (zoals GPT-5.5) konden voorspellingen schrijven die de Rechter aanzienlijk meer hielpen dan alleen het plakken van de geschiedenis. Zelfs toen de onderzoekers de Rechter zeer streng maakten (door hem te trainen om gek te worden op geplakte geschiedenis), wonnen de slimme modellen nog steeds.
De Verliezers: De kleinere, zwakkere modellen (zoals GPT-5.4 nano) konden de "geplakte geschiedenis"-truc niet verslaan. Hun voorspellingen hielpen de Rechter het verborgen einde niet beter te begrijpen dan alleen het recente tekst nog eens lezen.
De "Redenering"-Factor: Ze testten ook of het vertellen aan de AI om "harder na te denken" (meer rekenkracht gebruiken) hielp. Ze ontdekten dat wanneer de AI werd gevraagd meer te redeneren, het beter werd in het voorspellen van de wiskunde, net als een menselijke student die meer tijd neemt om een probleem op te lossen en een betere cijfer krijgt.

5. Waarom Dit Belangrijk Is (Volgens Het Artikel)

Het artikel beweert dat dit een nieuwe, automatische manier is om AI-redenering te testen in wiskunde en wetenschap.

Geen Menselijke Leraren Nodig: Je hebt geen professor nodig om elk wiskundig probleem te beoordelen. De "Kansmeter" doet het beoordelen automatisch.
Oplichters Vangen: Het helpt onderzoekers te zien of een AI het probleem daadwerkelijk oplost of gewoon een "shortcut" (zoals het kopiëren van de vraag) vindt om een hoge score te behalen.
Een Nieuwe Benchmark: Het creëert een standaardtest met behulp van echte, recente wetenschappelijke artikelen om te zien welke AI-modellen echt slimmer worden in technische taken.

Kortom: Het artikel bouwde een spel waarbij AI-modellen proberen het volgende deel van een wiskundige vergelijking te raden. Als hun gok een computerrechter helpt het antwoord beter te begrijpen dan alleen het recente tekst lezen, slaagt de AI. De slimste modellen slaagden; de zwakkere vielen door de toets, wat bewijst dat deze test het verschil kan maken tussen een slim denker en een kopieerder.

Technische Samenvatting: Likelihood-score voor voortzettingen van wiskundige tekst

Probleemstelling
Het evalueren van taalmodellen op technisch redeneren is uitdagend omdat technische voortzettingen (bijv. afleidingen, bewijzen, vergelijkingen) vaak meerdere ruwweg equivalente geldige vormen hebben, wat beoordeling per item luidruchtig maakt. Omgekeerd beloont standaard next-token-predicatie op ruwe tekst oppervlakkige modellering (syntaxis, notatie) in plaats van diep redeneren. Er is behoefte aan een automatisch gegenereerde benchmark die tussen deze polen in zit: voldoende overvloedig om hernieuwbaar te zijn, maar toch gevoelig genoeg om redeneercapaciteiten te detecteren zonder te vertrouwen op menselijke labels of breekbare verifieerbare antwoorden (zoals competitiewiskunde). Bovendien is er bezorgdheid dat beloningssignalen die worden gebruikt voor Reinforcement Learning met Verifieerbare Beloningen (RLVR) kunnen worden "gehackt" door modellen die kortkoppels exploiteren (bijv. context-stuffing) in plaats van echte voorspellingen te genereren.

Methodologie
Het artikel introduceert een statische benchmark gebaseerd op voorspelling van vergelijkingssuffixen.

Taakopzet: Een predictor-model krijgt zichtbare context $X$ (voorafgaande tekst van het artikel) en een prefix van een weergegeven vergelijking. Het moet een hulpstring $Z$ (een voorspelling) genereren om de vergelijking te voltooien.
Scoremechanisme: Een apart, vast autoregressief taalmodel (de "scoreder", $J$ $J$ ) wijst een next-token-likelihood toe aan de ware verborgen voortzetting $Y$ $Y$ . De kernmetriek is de likelihood-stijging ( $\Delta_J$ $Δ_{J}$ ), gedefinieerd als de toename in de gemiddelde log-likelihood van $Y$ $Y$ wanneer de scoreder conditie legt op $Z$ $Z$ versus wanneer deze alleen conditie legt op $X$ $X$ (of een controlevraag).
- Formule: $\Delta_J(X, Z, Y) = \frac{1}{T} \log p_J(Y | X, Z) - \frac{1}{T} \log p_J(Y | X)$ .
Gematigde Metriek: Om te voorkomen dat zeldzame, catastrofale token-mismatches (vaak in LaTeX/TeX) de score domineren, gebruiken de auteurs clipLL2. Dit begrenst per-token log-likelihoods vanaf onderen bij $-2$ voordat er wordt gemiddeld, zodat een voorspelling nuttig blijft zelfs als deze enkele lokale fouten maakt, mits het de scoreder helpt zich later te herstellen.
Controles en Stress-tests:
- Zelfde-budget contextcontrole ( $C_B$ ): Vervangt de voorspelling $Z$ door ruwe brontekst die direct voor de vergelijking staat, met hetzelfde tekenbudget. Dit test of het signaal voortkomt uit voorspelling of simpelweg uit het verstrekken van meer context.
- Controle alleen context SFT: De scoreder wordt fijngefineerd (via LoRA) op een "alleen context"-route (geen voorspellingen) en vervolgens geëvalueerd op vastgehouden artikelen. Dit test of een predictor de gewichten van de scoreder kan uitbuiten via scaffold-priming in plaats van informatie over $Y$ over te dragen.
- Bovenste grens ware suffix: Een theoretisch plafond waarbij $Z$ letterlijk de verborgen suffix $Y$ bevat.

Belangrijkste Bijdragen

Automatische Benchmark: Een dataset van 1.363 vergelijkingssuffix-sneden uit 138 recente arXiv-artikelen (quant-ph, hep-th, math-ph), automatisch gegenereerd zonder menselijke selectie van "gunstige" vergelijkingen.
Cross-model Evaluatie: Toont aan dat de benchmark onderscheid kan maken tussen model-families (GPT-5.5, Opus 4.7, GPT-5.4 nano) en instellingen voor redeneerinspanning (hoog, medium, laag, geen) met behulp van vaste scoreders (Qwen3-8B en Kimi K2.6) zonder menselijke labels.
Audit op Kwetsbaarheid voor Kortkoppels: Biedt een rigoureus kader om te testen of likelihood-gebaseerde beloningen vatbaar zijn voor niet-voorspellende strategieën. Het artikel toont aan dat sterke modellen (GPT-5.5) een fijngefineerde controle alleen voor context doorstaan, terwijl zwakkere modellen (GPT-5.4 nano) dat niet doen, wat suggereert dat het signaal voor eerstgenoemden echt is maar voor laatstgenoemden mogelijk uitbuitbaar of niet-bestaand.
Metriek-analyse: Valideert het gebruik van gematigde scoreregels (clipLL2) boven ruwe log-likelihood, waarbij wordt aangetoond dat ruwe metrieken worden gedomineerd door catastrofale token-fouten die de bruikbaarheid van anderszins correct redeneren verdoezelen.

Resultaten

Modeldifferentiatie: Op de benchmark voor vergelijkingssuffixen bereiken voorspellingen van GPT-5.5 (hoog redeneren) consequent de hoogste likelihood-stijging, gevolgd door Opus 4.7 en vervolgens GPT-5.4 nano. Deze volgorde geldt voor zowel Qwen- als Kimi-scoreders.
Redeneerinspanning: Binnen model-families leveren hogere instellingen voor redeneerinspanning (bijv. GPT-5.5 hoog > medium > laag > geen) over het algemeen een hogere stijging op, wat een monotoon gradiënt aantoont. Echter zijn aangrenzende contrasten (bijv. hoog versus medium) soms luidruchtig en niet altijd statistisch significant per item, wat de noodzaak van statistische aggregatie over vele voorbeelden onderstreept.
Controleprestaties:
- Alle predictor-instellingen winnen van de controle met hetzelfde budget voor context.
- GPT-5.5-voorspellingen behouden een positieve stijging ten opzichte van de controle alleen context SFT (de sterkste statische controle), wat aangeeft dat ze echte informatie over de verborgen suffix overdragen.
- GPT-5.4 nano-voorspellingen slagen er niet in om de controle alleen voor context SFT te verslaan, wat suggereert dat hun signaal onder deze stress-test niet te onderscheiden is van kortkoppels voor context-stuffing.
Langere Voortzettingen: In een moeilijker regime met langere gemengde proef/TeX-voortzettingen blijft de stijging positief, maar is deze luidruchtiger en gevoeliger voor het ontwerp van de scoreder en de lengte van het doel. De gradiënt voor redeneerinspanning is hier minder robuust dan bij vergelijkingssuffixen.

Betekenis en Beweringen
Het artikel positioneert dit werk als een statische benchmark en een diagnostisch hulpmiddel, niet als een demonstratie van succesvolle RL-training. De primaire betekenis ligt in:

Haalbaarheid van Likelihood-beloningen: Het ondersteunt de hypothese dat likelihood-stijging op technische voortzettingen kan dienen als een dichte, referentie-gegronde beloningssignaal die correleert met modelcapaciteit en redeneerinspanning.
Veiligheid en Robuustheid: Het benadrukt de noodzaak om beloningssignalen te auditeren tegen sterke statische controles (zoals SFT-gebaseerde context-kortkoppels) voordat ze worden ingezet in RLVR-lussen. Het feit dat GPT-5.5 deze controles doorstaat terwijl GPT-5.4 nano dat niet doet, suggereert dat niet alle "likelihood-stijging" gelijk is; sommige kunnen artefacten zijn van modelspecifieke eigenaardigheden of kortkoppels.
Methodologisch Middenweg: Het biedt een middenweg tussen breekbare "LLM als rechter"-rubrieken (gevoelig voor stijlbias) en eenvoudige stringgelijkheid (te star voor technische tekst), waarbij het probabilistische karakter van autoregressieve modellen wordt benut om de bruikbaarheid van een voorspelling te evalueren in plaats van de letterlijke correctheid.

De auteurs stellen expliciet dat zij hier geen reinforcement learning uitvoeren; het doel is om de eigenschappen van het signaal te valideren en potentiële kwetsbaarheden (exploitatie van kortkoppels) te identificeren die moeten worden aangepakt voordat een dergelijk signaal kan worden gebruikt voor optimalisatie na training.