🤖 AI

AIMO Interpretability Challenge

De AIMO Interpretability Challenge is een competitie die is ontworpen om robuust van schijnredeneringen te onderscheiden in geavanceerde wiskundige taalmodellen door gebruik te maken van nieuwe problemen op Olympieniveau, toegang tot modellen en adversariële beoordelingen om methoden te ontwikkelen voor het verifiëren van de generaliseerbaarheid en betrouwbaarheid van AI-besluitvorming.

Oorspronkelijke auteurs: Michal Štefánik, Philipp Mondorf, Andreas Waldis, Qianying Liu, Chuan Yang, Michal Spiegel, Josef Kuchař, Marek Kadlčík, Adam Vawda-Oomerjee, Chaoran Liu, Simon Frieder, Barbara Plank, Fazl Barez, Pon

Gepubliceerd 2026-07-16

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michal Štefánik, Philipp Mondorf, Andreas Waldis, Qianying Liu, Chuan Yang, Michal Spiegel, Josef Kuchař, Marek Kadlčík, Adam Vawda-Oomerjee, Chaoran Liu, Simon Frieder, Barbara Plank, Fazl Barez, Pontus Stenetorp

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante student ziet een complex wiskundig probleem oplossen op een whiteboard. Ze krijgt het juiste antwoord, maar begrijpt ze werkelijk de logica, of heeft ze gewoon een patroon herkend dat meestal tot het juiste antwoord leidt? Dit is de grote vraag die veel wetenschappers in de wereld van Kunstmatige Intelligentie wakker houdt. We hebben "frontier" AI-modellen gebouwd die ongelooflijk goed zijn in redeneren en het oplossen van puzzels die mensen in verwarring brengen. Maar er is een knagende twijfel: zijn deze modellen echt aan het nadenken over de stappen, of zijn het slechts "patroonmatchers" die shortcuts hebben onthouden?

Om dit te begrijpen, moeten we naar twee ideeën kijken. Ten eerste is redeneren het proces van het gebruiken van logica om van een vraag naar een antwoord te komen, stap voor stap. Ten tweede is robuustheid als een boom met diepe wortels; een robuust systeem blijft overeind, zelfs als de wind hard waait of de grond verschuift. Een "breekbaar" systeem is daarentegen als een kaartenhuis; het ziet er perfect uit totdat je één klein ding verandert, en dan stort het in. Het papier dat je zojuist hebt gelezen, gaat over een nieuwe competitie die is ontworpen om uit te zoeken of onze slimste AI-modellen diepwortelde bomen zijn of fragiele kaartenhuizen.

Het Grote AI Wiskunde Detectivespel

De auteurs van dit artikel lanceren een nieuwe competitie genaamd de AIMO Interpretability Challenge. Denk aan het als een hoogwaardig detectivespel voor computerwetenschappers. Het doel is niet alleen om te zien of een AI een wiskundig probleem kan oplossen; het doel is om te achterhalen hoe het het oploste. De organisatoren willen weten: wanneer een AI een wiskundig probleem goed oplost, gebruikt het dan een stabiele, betrouwbare manier van denken, of is het aan het valsspelen door een klein, toevallig trucje uit te buiten?

Standaardtests kijken meestal alleen naar het eindantwoord. Als de AI het goed heeft, krijgt het een gouden ster. Maar de auteurs stellen dat dit is alsoals een student beoordelen op alleen hun eindscore zonder naar hun werk te kijken. Een student kan het antwoord goed hebben door te gokken, of door een soortgelijke opdracht uit een tekstboek te herinneren, zonder de wiskunde werkelijk te begrijpen. De AIMO-challenge wil onder de motorkap van het AI-brein kijken om te zien of de redenering solide is of dat het slechts een gelukkige gok is die zal falen op het moment dat het probleem licht verandert.

De Magie van "Vormveranderende" Problemen

Om deze "valsspelende" modellen te vangen, gebruikt de competitie een slimme truc waarbij gebruik wordt gemaakt van symbolische redeneerketens. Stel je voor dat je een wiskundig probleem hebt over een driehoek. Normaal gesproken zijn de getallen vast: "Zijde A is 5, Zijde B is 7." Maar de organisatoren hebben een speciale versie van deze problemen gemaakt waarbij de getallen als variabelen in een videogame-code werken. Ze kunnen de getallen verwisselen, de hoeken veranderen of de regels op duizend verschillende manieren verdraaien zonder de kernlogica van het probleem te veranderen.

Dit is waar het "detectivewerk" om de hoek komt kijken. De competitie geeft deelnemers een lijst met deze "vormveranderende" problemen. De taak is om een systeem te bouwen dat naar een AI-model kijkt en beslist: "Als ik de getallen in dit probleem verander, zal deze AI dan nog steeds het juiste antwoord geven?"

Als de AI robuust is: Het is als een meesterkok die weet hoe hij een biefstuk moet bereiden. Of je hem nu een ribeye of een entrecote geeft, of of de pan heet of op middelhoog staat, hij weet de stappen om een perfecte biefstuk te maken. Hij begrijpt het mechanisme van het koken.
Als de AI breekbaar is: Het is als een robot die alleen weet hoe hij een biefstuk moet bereiden als de pan precies 175 graden is en het vlees precies 340 gram weegt. Als er iets verandert, raakt de robot in paniek en verbrandt het eten. Hij begreep het koken niet; hij heeft slechts één specifts recept onthouden.

De competitie vraagt deelnemers om de "interne mechanismen" van de AI te gebruiken — de hersengolven, zo te zeggen — om te voorspellen welke modellen de meesterkoks zijn en welke de fragiele robots.

De Regels van het Spel

De competitie is verdeeld in twee tracks om ervoor te zorgen dat iedereen een eerlijke kans krijgt. De Main Track kijkt naar de grootste, krachtigste AI-modellen die momenteel beschikbaar zijn. De Small Models Track richt zich op kleinere modellen (onder de 10 miljard parameters), wat nuttig is voor onderzoekers die mogelijk geen toegang hebben tot enorme supercomputers.

De organisatoren bieden een enorme bibliotheek aan wiskundige problemen, inclusief enkele die nog nooit eerder op internet zijn gepubliceerd. Ze hebben ook een "symbolische template" voor deze problemen gemaakt, waardoor ze automatisch duizenden nieuwe, lichtelijk verschillende versies van hetzelfde probleem kunnen genereren. Dit zorgt ervoor dat de test eerlijk is en dat de AI de antwoorden niet simpelweg kan onthouden.

Deelnemers worden beoordeeld op hoe nauwkeurig ze een model als "robuust" of "breekbaar" kunnen labelen. Om hen op weg te helpen, hebben de organisatoren al drie "starter kits" of baselines gebouwd. Dit zijn eenvoudige AI-tools die proberen het antwoord te raden. De ene kijkt naar het vertrouwen van de AI, een andere kijkt naar hoe het het laatste woord van het antwoord verwerkt, en een derde controleert of de AI alleen maar gegevens onthoudt. Zelfs deze eenvoudige tools zijn beter dan willekeurig gokken, maar de organisatoren geloven dat er veel ruimte is voor verbetering.

Waarom Dit Er Toe Doet

Je vraagt je misschien af: "Waarom maakt het uit of een AI breekbaar is?" Het antwoord is dat deze modellen beginnen te worden gebruikt voor belangrijke zaken, zoals het helpen van wetenschappers bij het ontdekken van nieuwe medicijnen, het begeleiden van studenten in wiskunde, of het analyseren van financiële gegevens. Als een model er slim uitziet op een standaardtest, maar faalt wanneer de echte wereld het met een iets andere wending confronteert, kan dat gevaarlijk of kostbaar zijn.

Deze competitie gaat niet alleen over het winnen van een prijs; het gaat over het bouwen van een betere manier om AI te testen. De auteurs hopen dat ze, door deze nieuwe "robuustheidsbenchmark" te creëren, de hele gemeenschap kunnen helpen bij het bouwen van AI-systemen die werkelijk betrouwbaar zijn. Ze willen verder gaan dan alleen vragen: "Heeft het het juiste antwoord gegeven?" en in plaats daarvan vragen: "Begrijpt het werkelijk wat het doet?"

Het Oordeel Tot Nu Toe

Het artikel zelf is een voorstel voor deze komende competitie, gepland voor eind 2026. Het beweert niet dat het het probleem van AI-betrouwbaarheid al heeft opgelost. In plaats daarvan suggereert het dat we, door deze nieuwe "vormveranderende" wiskundige problemen te gebruiken en in het brein van de AI te kijken, eindelijk het verschil kunnen zien tussen een genie en een gelukkige gokker. De organisatoren zijn erover overtuigd dat deze aanpak zal werken, omdat ze het al op een paar modellen hebben getest en hebben ontdekt dat de "breekbare" modellen inderdaad falen wanneer de problemen worden aangepast, terwijl de "robuuste" modellen gewoon doorgaan.

Kortom, dit is een oproep tot actie voor de AI-gemeenschap om te stoppen met alleen naar de scorelijst te kijken en te beginnen met het bekijken van de technieken van de spelers. Het is een zoektocht om ervoor te zorgen dat de slimste machines die we bouwen niet alleen intelligentie nabootsen, maar deze ook daadwerkelijk bezitten.

Technische Samenvatting: AIMO Interpretability Challenge

Probleemdefinitie
Het artikel behandelt een fundamenteel meningsverschil in AI-onderzoek met betrekking tot geavanceerde grote taalmodellen (LLM's): of hun succes bij complexe redeneertaken voortkomt uit gegeneraliseerde, robuuste redeneermechanismen of uit broze patroonherkenning die gebruikmaakt van spuriaatieve aanwijzingen. Standaard benchmarks slagen er niet in dit op te lossen omdat een hoge nauwkeurigheid van het eindantwoord niets onthult over de interne mechanismen die zijn gebruikt om tot dat antwoord te komen. Het kernprobleem is het onderscheiden van modellen die problemen oplossen via stabiele redenering en modellen die vertrouwen op shortcuts die falen onder gestructureerde variaties. De uitdaging operationaliseert dit door deelnemers te vragen te bepalen, op basis van de interne mechanismen en het gedrag van een model, of de correcte oplossing van een model voor een wiskundig probleem robuust is tegen een vooraf gedefinieerde set distributieverschuivingen.

Methodologie en Data
De uitdaging is gebouwd op drie primaire datacomponenten afgeleid van de AI Mathematical Olympiad (AIMO) en de Fields Model Initiative:

Olympiade-niveau Problemen: Een collectie van 180 problemen uit AIMO 2, AIMO 3, de Japanse Wiskundige Olympiade (JMO) en recente AIME-examens. Cruciaal is dat 50% van de problemen in zowel de trainings- als de testsets nieuw gepubliceerd is en niet eerder op internet beschikbaar was.
Symbolische Redeneringsannotaties: De organisatoren hebben symbolische redeneringsketens voor deze problemen gecreëerd, vergelijkbaar met de functionele variaties in GSM-Symbolic, maar dan afgestemd op frontier-redeneren. Deze ketens leggen de logische inferentie van geldige oplossingen vast, wat het genereren van onbeperkte volumes aan adversariële probleemvarianten (perturbaties) mogelijk maakt via gecontroleerde distributieverschuivingen.
Geïnterpreteerde Modelset: De evaluatie betreft top-presterende modellen uit AIMO-inzendingen. Robuustheidslabels worden afgeleid door deze modellen te evalueren op een contrafactuele set van geperturbeerde problemen.

Taken en Tracks
Deelnemers krijgen de taak om een systeem $S$ te bouwen dat een tripel $(Probleem\ X, Model\ M, Distributieverschuiving\ \Delta)$ classificeert als ofwel 0 (niet-robuust) of 1 (robuust). Een model wordt als niet-robuust beschouwd als het het originele probleem correct beantwoordt, maar faalt op de meerderheid van de geperturbeerde varianten $\Delta X$ . De uitdaging biedt twee tracks:

Main Track: Evalueert de volledige schaal van de top-presterende modellen van AIMO 3.
Small Models Track: Richt zich op modellen met minder dan 10 miljard parameters, gericht op methoden die computationeel zwaar zijn om te trainen (bijv. Sparse Autoencoders).

Baseline Systemen en Haalbaarheid
De organisatoren bieden drie baseline systemen aan om haalbaarheid aan te tonen:

Een eenvoudige probing classifier die robuustheid voorspelt vanuit de interne representaties van het laatste inputtoken.
Een classifier gebaseerd op interne confidence-signalen tijdens chain-of-thought generatie.
Een data attribution methode die robuustheid beoordeelt via de impact van memorisatie.

Voorlopige evaluatie op een steekproef van een validatieset met DeepSeek-R1-0528-Qwen3-8B toonde aan dat de probing classifier een nauwkeurigheid van 58,37% behaalde en de confidence-gebaseerde classifier een nauwkeurigheid van 69,23%, beide beter presterend dan willekeurig gokken (50%). Dit suggereert dat interne modelsignalen informatieve data bevatten met betrekking tot robuustheid, maar dat er nog aanzienlijke ruimte is voor verbetering.

Belangrijkste Bijdragen

Nieuwe Benchmark: De creatie van een nieuwe, open robuustheidsbenchmark specifiek voor wiskundig redeneren die verder gaat dan statische nauwkeurigheid om stabiliteit onder distributieverschuivingen te beoordelen.
Symbolische Infrastructuur: De release van een dataset van 180 problemen met bijbehorende symbolische redeneringsketens, waardoor de systematische generatie van adversariële varianten mogelijk is.
Toegankelijkheid van Middelen: Toegang tot frontier reasoning modellen en tot 10.000 H200 GPU-uren voor deelnemende teams, wat de drempel voor onderzoek naar interpreteerbaarheid verlaagt.
Wetenschappelijke Brug: De uitdaging verbindt onderzoek naar interpreteerbaarheid met onderzoek naar generalisatie, met als doel te bepalen in welke mate en in welke mate de besluitvorming van frontier AI betrouwbaar is.

Resultaten en Claims
Als voorstel voor een competitie (NeurIPS 2026) presenteert het artikel geen definitieve experimentele resultaten van de competitie zelf. In plaats daarvan presenteert het:

Voorlopige Baseline Resultaten: De baselines bereiken nauwkeurigheidspercentages tussen 58% en 69% op een gestratificeerde 10-voudige cross-validatie van een steekproef, wat bewijst dat de taak hanteerbaar maar uitdagend is.
Bewijs van Robuustheid: Voorlopige tests met bestaande symbolische ketens laten zien dat zij frontier modellen (inclusief Qwen, GPT-5.2 en Gemini-Pro) systematisch kunnen misleiden, wat het nut van de perturbatiemethode valideert.
Significantie: De auteurs beweren dat de competitie een blijvend fundament zal bieden voor standaard benchmarking in wiskundig redeneren en interpreteerbaarheid. Het beoogt het ondersteunen van de audit van hoog-risico redeneersystemen (bijv. in onderwijs of wetenschappelijke assistentie) waar betrouwbaarheid onder herformulering cruciaal is. Het werk wordt gepositioneerd als een stap naar de vraag of frontier modellen algemeen redeneren vertonen of slechts broze shortcuts exploiteren.