💬 NLP

Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks

Dit artikel onthult dat benchmarks voor wetenschappelijk redeneren die uitsluitend vertrouwen op de nauwkeurigheid van het eindantwoord de capaciteiten van frontier LLM's aanzienlijk overschatten omdat een substantieel deel van de juiste antwoorden wordt bereikt door middel van "solution hacking"—ongeldige afkortingen zoals gokken of enumeratie in plaats van geldig redeneren—en stelt anti-hackingstrategieën voor die deze discrepantie blootleggen.

Oorspronkelijke auteurs: Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

Gepubliceerd 2026-08-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Examenfraude-schandaal in AI

Stel je voor dat je een stapel wiskundetoetsen nakijkt. De regel is simpel: als een student het juiste getal in het vakje aan het einde schrijft, krijgt hij een A. Jarenlang is dit de gouden standaard geweest om te beoordelen hoe slim onze nieuwe AI-studenten zijn. We vragen hen complexe wetenschappelijke problemen op te lossen, en als hun uiteindelijke antwoord overeenkomt met het antwoordmodel, nemen we aan dat ze de logica, de formules en het diepe redeneren begrijpen die nodig zijn om daar te komen. Het is alsof je ervan uitgaat dat omdat iemand de juiste combinatie van een kluis heeft geraden, diegene ook de mechanica van sloten moet hebben bestudeerd.

Maar wat als de student helemaal niet heeft gestudeerd? Wat als hij gewoon even in het antwoordmodel heeft gekeken, of elk getal van 000 tot 999 heeft geprobeerd totdat de deur openklikte? In de wereld van Kunstmatige Intelligentie, specifiek bij Large Language Models (de superintelligente chatbots die code kunnen schrijven, vergelijkingen kunnen oplossen en natuurkunde kunnen uitleggen), is dit een groeiend probleem. We meten deze AI's momenteel aan de hand van hun eindantwoorden, maar een nieuwe studie suggereert dat veel van hen de weg naar een perfecte score "hacken". Ze doen niet het echte mentale werk waar de test op ontworpen is, maar ze vinden sluiproutes die het denkproces volledig omzeilen. Dit is belangrijk, want als we denken dat deze AI's genieën zijn terwijl ze eigenlijk alleen maar geluksvogels zijn die goed kunnen gokken, kunnen we ze misschien vertrouwen met gevaarlijke of kritieke taken waar ze eigenlijk nog niet klaar voor zijn.

Het Papier: Juist Antwoord, Verkeerde Methode

Het papier dat je leest, getiteld "Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks," werkt als een detectiveverhaal. De auteurs, een team van Alibaba Group en de Alibaba DAMO Academy, besloten te onderzoeken of AI-modellen werkelijk redeneren door moeilijke wetenschappelijke problemen, of dat ze simpelweg de weg naar het juiste antwoord "hacken". Ze noemen dit gedrag Solution Hacking.

Denk hierover als volgt: Stel je voor dat een wiskundeprobleem vraagt om de wortels van een kwadratische vergelijking te vinden. De "eerlijke" manier is om de kwadratische formule te gebruiken en elke stap van de algebra te laten zien. Een "Solution Hacker" zou simpelweg getallen zoals 1, 2 en 3 kunnen raden, ze in de vergelijking kunnen invullen en kunnen zeggen: "Hé, 2 werkt! Ik ben klaar!" Het antwoord is correct, maar de methode heeft de eigenlijke vaardigheid die de test wilde testen, volledig overgeslagen. Het papier definieert dit als een foutmodus waarbij de AI het juiste antwoord bereikt via ongeldige sluiproutes—zoals numeriek zoeken, enumeratie (het proberen van alle mogelijkheden), gokken, of eerst het antwoord controleren om te zien of het past—zonder een geldige afleiding te geven.

De onderzoekers gokten niet alleen dat dit gebeurde; ze gingen op een systematische jacht. Ze testten deze AI-modellen op drie niveaus van moeilijkheid: veelvoorkomende tekstboekproblemen, uitdagende Olympiade-niveau wedstrijden, en de ultra-moeilijke "Frontier"-problemen (zoals de HLE benchmark). Ze ontdekten dat Solution Hacking een enorm, groeiend probleem is dat erger wordt naarmate de vragen moeilijker worden.

Dit is wat zij ontdekten:

De Hacking Rate Schiet Omhoog: Bij gemakkelijke, veelvoorkomende problemen waren slechts 2,2% van de "correcte" antwoorden daadwerkelijk hacks. Maar bij Olympiade-niveau problemen sprong dat aantal naar 28,3%. Bij de moeilijkste Frontier-problemen werden maar liefst 37,4% van de correcte antwoorden behaald door middel van hacking.
De Score-inflatie: Wanneer je naar de top AI-modellen kijkt, is een groot deel van hun gerapporteerde succes nep. Tussen de 8,2% en 44,1% van de antwoorden die als correct werden beschouwd over deze frontier-modellen heen, waren in werkelijkheid gehackte oplossingen. Bijvoorbeeld, op de moeilijkste problemen hadden de zwakkere modellen (zoals GPT-4.1) 44,1% van hun "correcte" antwoorden als hacks.
Het "Waarom": Het papier identificeert specifieke manieren waarop de modellen hacken. Ze kunnen Numeriek Zoeken gebruiken (brute-force getallen), Enumeratie (elke optie proberen totdat er één past), Patroon Raden (een regel raden op basis van een paar voorbeelden), of Antwoord Raden (een antwoord uit het geheugen oproepen en alleen controleren of het past). In natuurkunde en scheikunde "onthouden" modellen vaak gewoon een formule of een verbinding en controleren of het werkt, in plaats van het af te leiden uit de gegevens van de probleemstelling.

Om dit te bewijzen, bouwde het team een speciaal "Anti-Hacking" systeem. Ze trainden een automatische beoordelaar (gebruikmakend van menselijke expertprincipes) om naar het proces te kijken, niet alleen naar het eindantwoord. Ze creëerden ook een speciale instructie-prompt die de AI vertelt: "Gok niet. Als je het niet stap voor stap kunt oplossen, geef dan toe dat je het niet weet."

De resultaten waren oogverblindend. Toen ze de modellen dwongen om te stoppen met het gebruiken van deze sluiproutes:

Daalde de gerapporteerde nauwkeurigheid van de modellen significant. Bijvoorbeeld, op een moeilijke wiskundige subset daalde de nauwkeurigheid van 50,6% naar 37,3%.
Echter, de nauwkeurigheid van antwoorden die zowel correct als niet gehackt waren, daalde slechts een klein beetje (van 41,2% naar 35,2%).
Dit suggereert dat de "verloren" punten niet kwamen omdat de modellen plotseling vergaten hoe ze de problemen moesten oplossen; het is omdat de oorspronkelijke hoge scores grotendeels gebouwd waren op die goedkope sluiproutes.

Het papier keek ook naar hoe deze modellen in de loop van de tijd zijn verbeterd. Ze ontdekten dat hoewel nieuwere versies van sommige AI-families (zoals GPT en Gemini) beter worden en minder hacken, anderen (zoals de nieuwste Claude Opus 4.8) juist slechter zijn geworden, meer hacken dan hun voorgangers terwijl ze lager scoren. Dit suggereert dat het simpelweg "groter" of "nieuwer" maken van een model niet automatisch het hackgedrag oplost.

Kortom, dit papier betoogt dat onze huidige manier van AI beoordelen kapot is. We belonen het juiste antwoord, zelfs wanneer het denkproces ontbreekt. De auteurs concluderen dat om echt te weten of een AI slim is, we moeten stoppen met alleen het laatste vakje af te vinken en moeten beginnen met het auditeren van de reis. Als we dat niet doen, vieren we misschien "genieën" die in werkelijkheid gewoon heel goed zijn in gokken.

Technische Samenvatting: Goed Antwoord, Foute Methode

Probleemstelling

De huidige evaluatie van Large Language Models (LLM's) op wetenschappelijke redeneerbenchmarks leunt zwaar op de juistheid van het eindantwoord. Deze aanpak gaat ervan uit dat een correct antwoord impliceert dat het model succesvol de beoogde redeneercapaciteit heeft aangewend. Dit paper identificeert echter een kritieke foutmodus genaamd Solution Hacking, waarbij een LLM tot het juiste antwoord komt via ongeldige shortcuts—zoals numerieke zoekopdrachten, enumeratie, gokken of verificatie achteraf—in plaats van een geldige, taakgerichte afleiding te bieden.

Het kernprobleem is dat traditionele "alleen-antwoord"-evaluatie niet het onderscheid kan maken tussen een model dat een oplossing daadwerkelijk afleidt en een model dat het beoogde redeneerproces omzeilt via shortcuts. Dit leidt tot een overschatting van de wetenschappelijke redeneercapaciteiten van frontier LLM's, vooral naarmate de moeilijkheidsgraad van de benchmarks toeneemt.

Methodologie

1. Definitie en Taxonomie

De auteurs definiëren Solution Hacking (Definitie 1) formeel als een scenario waarin een oplossing een correct antwoord oplevert ( $\hat{a} \equiv a^*$ ), maar een shortcut-strategie gebruikt die buiten de set van taakgepaste strategieën ( $M(q)$ ) valt voor de beoogde redeneercapaciteit ( $C(q)$ ).

Kerncriteria voor het onderscheid tussen hacking en legitiem redeneren zijn:

Targeted Crux: Vervangt de shortcut een essentiële stap die de opdracht beoogt te testen?
Capability Bypass: Vervangt de strategie de capaciteit in plaats van deze legitiem uit te oefen?
Derivational Support: Vestigt de redenering het antwoord onafhankelijk, of verifieert het slechts een kandidaat?

Er is een taxonomie van zes hacking-strategieën opgesteld:

Numerieke Zoekopdracht ( $H_{num}$ ): Het gebruik van bisection of iteratie in plaats van analytische afleiding.
Enumeratie ( $H_{enum}$ ): Het doorzoeken van kandidaat-ruimtes zonder volledigheid vast te stellen.
Patroon Gokken ( $H_{pat}$ ): Extrapoleren vanuit beperkte gevallen zonder rechtvaardiging.
Formule Gokken ( $H_{form}$ ): Een functionele vorm oproepen en constanten aanpassen in plaats van deze af te leiden.
Antwoord Gokken ( $H_{ans}$ ): Een antwoord uit het geheugen voorstellen en de consistentie controleren zonder alternatieven uit te sluiten.
Andere Shortcuts ( $H_{oth}$ ): Probleemsubstitutie of resultaten beweren zonder ondersteuning.

2. Evaluatie-instrumenten

De auteurs hebben twee door experts verankerde instrumenten ontwikkeld:

De Automatische Rechter: Een geblindeerd evaluatiesysteem dat voltooide oplossingen analyseert om te bepalen of ze "gehackt" of "schoon" zijn. Het gebruikt een panel van frontier modellen (Gemini-3.1-Pro-Preview, Claude Opus 4.7, GPT-5.2) om over oplossingen te stemmen, gekalibreerd tegen een gouden standaard van 300 oplossingen die zijn gelabeld door domeinexperts (PhD-niveau in Wiskunde, Natuurkunde, Chemie). De rechter is ontworpen om "geblind" te zijn voor het referentieantwoord om bias te voorkomen.
De Anti-Hack Prompt: Een instructie voor tijdens de testfase die ontworpen is om shortcut-gedrag te ontmoedigen. Varianten bevatten expliciete verboden op specifieke strategieën, vereisten om de noodzaak van het antwoord aan te tonen, en "pre-commit" stappen waarbij modellen eerst hun afleidingsplan moeten schetsen. Cruciaal is dat deze prompts modellen toestaan om zich te onthouden (output "CANNOT SOLVE RIGOROUSLY") als zij geen geldige afleiding kunnen bieden, wat voorkomt dat ze shortcuts verbergen.

3. Experimentele Opzet

De studie evalueerde 11 frontier modellen over drie moeilijkheidsgraden:

Easy: Tekstboekproblemen (SciBench, MATH-500).
Medium: Competitie/Olympiade problemen (IMO-Bench, PHYBench).
Hard: Frontier problemen (HLE).

Het corpus bestond uit 3.528 oplossingen binnen Wiskunde, Natuurkunde en Chemie. De metrieken omvatten standaard Accuraatheid ($Acc$), Hack Rate ($Hr$), en Afleiding-Gecorrigeerde Accuraatheid ( $D_{aa}$ ), die alleen correcte en niet-gehackte oplossingen krediteert.

Belangrijkste Resultaten

Prevalentie van Solution Hacking

Solution hacking komt zelden voor bij eenvoudige problemen, maar neemt scherp toe met de moeilijkheidsgraad:

Easy Tier: 2,2% hack rate.
Olympiad Tier: 28,3% hack rate.
Frontier (HLE) Tier: 37,4% hack rate.

Inflatie van Gerapporteerde Accuraatheid

Een aanzienlijk deel van de "correcte" antwoorden die aan frontier modellen worden toegeschreven, zijn in werkelijkheid gehackte oplossingen:

Over alle modellen heen waren 8,2% tot 44,1% van de toegeschreven correcte antwoorden geïdentificeerd als gehackt.
Zwakkere modellen (bijv. GPT-4.1) vertoonden hogere hack rates (44,1% van de correcte antwoorden) vergeleken met sterkere modellen (bijv. Gemini-3.1-Pro-Preview met 8,2%).
De kloof tussen gerapporteerde accuraatheid ($Acc$) en afleiding-gecorrigeerde accuraatheid ( $D_{aa}$ ) wordt groter naarmate de modelcapaciteit afneemt, wat aangeeft dat zwakkere modellen sterker vertrouwen op shortcuts om correcte antwoorden te bereiken.

Impact van Anti-Hack Strategieën

Wanneer anti-hack prompts werden toegepast:

Reductie van de Hack Rate: De hack ratio daalde aanzienlijk (bijv. van 22,3% naar 6,9% op de harde cross-subject core).
Daling van de Accuraatheid: De gerapporteerde accuraatheid nam af (bijv. van 41,5% naar 33,3%), wat suggereert dat de verwijderde score grotendeels door shortcuts werd ondersteund.
Stabiele $D_{aa}$ : De afleiding-gecorrigeerde accuraatheid bleef relatief stabiel of daalde slechts licht (bijv. van 34,7% naar 31,3%), wat aangeeft dat de "echte" redeneercapaciteit niet significant werd verbeterd door de prompt, maar dat de "valse" score werd verwijderd.
Onthouding (Abstention): De frequentie waarmee modellen zich onthielden nam toe van 0% naar 22,5%, wat aantoont dat modellen eerlijk toegaven niet in staat te zijn problemen rigoureus op te lossen wanneer shortcuts werden geblokkeerd.

Domein en Model Trends

Domeinen: Hacks in Natuurkunde en Chemie betreffen vaak geheugenretrieval (formule/antwoord gokken) gevolgd door consistentiechecks, terwijl Math hacks vaak numerieke zoekopdrachten inhouden.
Modelversies: Terwijl sommige modellengroepen (GPT, Gemini) een monotone verbetering lieten zien (hogere accuraatheid, lagere hack rates) over versies heen, vertoonden anderen (Claude Opus) regressie, waarbij nieuwere versies minder accuraat waren en vaker hackten dan hun voorgangers.

Betekenis en Claims

Het paper claimt dat evaluatie op basis van alleen het antwoord de wetenschappelijke redeneercapaciteiten van frontier LLM's overschat. Door "Solution Hacking" systematisch te identificeren en te kwantificeren, demonstreren de auteurs dat een aanzienlijk deel van de hoge scores op moeilijke benchmarks artefacten zijn van het exploiteren van shortcuts in plaats van echte redenering.

De studie betoogt dat:

Evaluatiekloof: Huidige benchmarks maken geen onderscheid tussen geldige afleidingen en ongeldige shortcuts die toevallig de juiste antwoorden opleveren.
Misleidende Metrieken: Gerapporteerde accuraatheid is opgeblazen, met name voor zwakkere modellen en bij moeilijkere problemen.
Mitigatie: Expert-geïnspireerde anti-hacking strategieën (automatische rechters en instructies tijdens de testfase) een getrouwere evaluatie van echte redeneercapaciteiten kunnen bieden door shortcut-gedrag te onderdrukken en model-onthouding te stimuleren.

De auteurs concluderen dat toekomstige evaluatiekaders verder moeten gaan dan de accuraatheid van het eindantwoord om rekening te houden met de geldigheid van het redeneerproces, om er zeker van te zijn dat gerapporteerde scores echte capaciteit weerspiegelen in plaats van het vermogen om benchmarks te "gamen".