Stel je voor dat je een robot probeert te leren hoe hij een wiskundige moet zijn. Je wilt niet alleen dat hij over getallen praat; je wilt dat hij de daadwerkelijke code schrijft die de puzzel oplost. Dit is de wereld van combinatorische codesynthese. Denk bij "combinatoriek" aan de studie van hoe dingen kunnen worden gerangschikt, gehusseld of geteld—zoals uitrekenen op hoeveel manieren je blokken kunt stapelen, een kaartspel kunt schudden, of een kaart kunt inkleuren zonder dat twee aangrenzende kleuren hetzelfde zijn. "Codesynthese" is simpelweg het proces waarbij een AI een computerprogramma schrijft om de wiskunde uit te voeren.

Lange tijd hebben we AI getest op algemene programmeertaken, zoals "schrijf een functie om een lijst met namen te sorteren" of "los deze fout in een website op." Maar die tests zijn een beetje alsof je een chef vraagt om uien te snijden; ze laten zien of de chef weet hoe hij een mes moet vasthouden, maar niet of hij een nieuw recept vanaf nul kan bedenken. Dit artikel stelt een moeilijkere vraag: als je een AI een strikte, abstracte wiskundige regel geeft en een paar voorbeelden, kan hij dan een perfect programma schrijven dat die regel volgt voor elke mogelijke input, zelfs voor inputs die hij nog nooit heeft gezien? Het is het verschil tussen een robot die een recept kan volgen en een robot die de chemie van het koken begrijpt genoeg om een gerecht uit te vinden dat nog nooit heeft bestaan.

De Grote Wiskundige Code Uitdaging: FindStatBench

Maak kennis met FindStatBench, een nieuwe, superzware sportschool voor AI-modellen. Deze benchmark, gecreëerd door onderzoekers van Scale AI, is ontworpen om Large Language Models (LLM's) tot het uiterste te drijven in hun vermogen om pure wiskundige beschrijvingen om te zetten in werkende Python-code. In plaats van de AI te vragen een simpel script te schrijven, gaven de onderzoekers het de opdracht met 2.329 verschillende wiskundige puzzels. Deze puzzels komen uit een echte database genaamd FindStat, die fungeert als een bibliotheek van "wiskundige recepten" voor zaken als permutaties (het husselen van lijsten), grafen (netwerken van punten en lijnen) en partities (het opdelen van getallen in sommen).

De regels van het spel waren strikt en "closed-book." De AI kreeg een beschrijving van een wiskundig probleem en maximaal vijf voorbeelden van inputs en outputs. De AI moest een enkele Python-functie genaamd solve(obj) schrijven die elk object kon afhandelen, niet alleen de voorbeelden die het te zien kreeg. De AI kon geen rekenmachine gebruiken, het internet niet doorzoeken of hulp vragen. Het moest het in één poging goed krijgen. Om er zeker van te zijn dat de AI niet gewoon de antwoorden uit het hoofd leerde, testten de onderzoekers de code tegen 5,52 miljoen verborgen testgevallen—miljoenen wiskundige problemen die de AI nog nooit had gezien. Als de code zelfs maar één van deze verborgen tests faalde, werd deze als foutief gemarkeerd.

De Resultaten: Een Verrassende Gelijkspel en Een Enkele Rare Glitches

Toen de stofwolken waren opgetrokken, waren de resultaten fascinerend en een beetje contra-intuïtief.

1. De "Grote" en "Kleine" Modellen Liggen Ingetogen Naast Elkaar
Je zou verwachten dat de meest dure, krachtige "closed-source" modellen (de modellen waarvoor je grote bedrijven moet betalen) de "open-source" modellen (de modellen die iedereen kan downloaden en draaien) zouden wegblazen. Maar in deze wiskundige arena deden ze dat niet. Het beste open-source model, gpt-oss-120b, scoorde bijna exact hetzelfde als het beste closed-source model, Claude Sonnet 4.6. Ze werden gescheiden door minder dan 1 procentpunt. Het is als twee hardlopers in een marathon: de een wordt gesponsord door een enorme corporatie met een fancy team, en de ander is een lokale held met een zelfgemaakte schoen. Ze passeerden de finishlijn op exact hetzelfde moment.

Nog verrassender was dat als je de beste antwoorden van alle elf geteste modellen combineerde, de totale score slechts met ongeveer 10% verbeterde. Dit sugggeert dat al deze modellen tegen een vergelijkbare "plafond" van bekwaamheid aanlopen. Ze worstelen allemaal met dezelfde moeilijke onderdelen van de puzzel.

2. Meer Voorbeelden Kunnen Het Eigenlijk Slechter Maken
Hier wordt het vreemd. In de meeste AI-tests helpt het geven van meer voorbeelden het model om te leren. Maar op FindStatBench, voor bepaalde soorten wiskundige puzzels genaamd "bijecties" (wat chique manieren zijn om "perfecte matchingsregels" te zeggen), maakte het de AI juist slechter om het model vijf voorbeelden te geven in plaats van nul voorbeelden.

Stel je voor dat je een student leert hoe je een origami-kraan vouwt. Als je alleen zegt "vouw het papier op deze manier," herinnert de student zich misschien de klassieke, perfecte vouw. Maar als je ze vijf voorbeelden laat zien waarbij iemand een iets slordige vouw maakte, kan de student in de war raken en proberen de slordige vouwen te kopiëren, waardoor de perfecte regel wordt vergeten. Het artikel vond dat voor sommige klassieke wmatische regels, de voorbeelden de interne kennis van de AI "verdreven", wat leidde tot het schrijven van gebroken code die zelfs de getoonde voorbeelden niet haalde. Het is een geval van "te veel informatie, te weinig begrip."

3. De "Denk"-Valstrik
Een andere belangrijke bevinding was dat sommige modellen, vooral de modellen die ontworpen zijn om na te "denken" voordat ze spreken, vaak de ruimte tekortkwamen. Deze modellen hebben een limiet op de hoeveelheid tekst die ze kunnen genereren. Soms besteedden ze hun hele "budget" aan het opschrijven van hun interne redenering (hun denkproces) en kwamen ze nooit toe aan het schrijven van de eigenlijke code. Het is als een student die de hele examen tijd besteedt aan het schrijven van een dagboek over hoe moeilijk de toets is, en dan zonder tijd te komen om de problemen daadwerkelijk op te lossen. De onderzoekers ontdekten dat het simpelweg geven van meer ruimte aan deze modellen om hun gedachten (en de code) op te schrijven, veel van deze fouten oploste.

4. Het Moeilijke Blijft Moeilijk
Hoewel de AI behoorlijk goed werd in sommige taken (zoals het tellen van dingen of het werken met eenvoudige vormen), faalde het volledig bij andere. Voor taken die te maken hebben met "verdelingen van verzamelingen" (het groeperen van items op alle mogelijke manieren) en "binaire bomen" (hiërarchische structuren), was de nauwkeurigheid bijna nul voor elk model, of het nu open-source of closed-source was. Het lijkt erop dat, ongeacht hoe groot het model is of hoeveel het kost, deze specifieke soorten structurele puzzels momenteel buiten hun bereik liggen.

Wat Dit Betekent

Het artikel concludeert dat hoewel AI erg goed wordt in het schrijven van "plausibele" wiskundige code, het nog steeds broos is als het gaat om exacte, symbolische regels. De modellen kunnen vaak het juiste antwoord raden, maar ze worstelen ermee om consistent de perfecte logica af te leiden voor complexe structuren.

De belangrijkste les? Kosten betekenen niet altijd bekwaamheid. In deze specifieke test presteerde een goedkoper, open-source model net zo goed als de duurste, propriëtaire modellen. En soms helpt het geven van meer voorbeelden of meer "denktijd" aan een AI niet eens—het kan het zelfs in de war brengen. De onderzoekers suggereren dat om wiskunde echt te beheersen, AI beter moet worden in het begrijpen van de regels van het spel, in plaats van alleen maar de zetten uit het hoofd te leren. Voorlopig is de AI een getalenteerde leerling die instructies goed kan opvolgen, maar nog steeds verdwaalt wanneer er wordt gevraagd om een nieuw soort geometrie uit te vinden.