In de snel evoluerende wereld van kunstmatige intelligentie vertrouwen onderzoekers op tests die benchmarks worden genoemd om te meten hoe goed een computerprogramma kan denken. Deze tests zijn als gestandaardiseerde examens voor machines, waarbij ze worden geconfronteerd met puzzels, logische problemen of creatieve taken om te zien hoe ze presteren. Jarenlang was de aanname dat mensen deze examens ontwerpen, waarbij ze zorgvuldig vragen en beoordelingsregels opstellen om ervoor te zorgen dat ze meten wat ze beweren te meten. Maar naarmate de technologie die wordt gebruikt om deze tests te bouwen geavanceerder is geworden, is er een nieuwe vraag ontstaan: wat gebeurt er wanneer de tests zelf worden geschreven door de zeer machines die ze bedoeld zijn te evalueren? Deze verschuiving roept een kritische zorg op over de betrouwbaarheid van de scores die we zien. Als een kunstmatige intelligentie een test ontwerpt, kan het per ongeluk een puzzel creëren die het gemakkelijk kan oplossen zonder echt slim te zijn, of het kan een fout missen waardoor een machine het systeem kan exploiteren. Begrijpen of deze zelfgemaakte tests betrouwbaar zijn, is essentieel voor iedereen die de werkelijke capaciteiten van moderne computersystemen probeert te peilen.

Een recente studie door onafhankelijk onderzoeker Pooria Arab verkent precies dit scenario. De onderzoeker zette een experiment op waarbij AI-coderingsagenten de taak kregen om een suite van tweeëntwintig verschillende benchmarks te bouelen. Deze agenten schreven de code, ontwierpen de taken en creëerden de beoordelingssystemen voor alles van het tekenen van plaatjes tot het oplossen van complexe logische puzzels. Om het proces rigoureus te maken, onderzocht een aparte groep kunstmatige intelligentie-reviewers, optredend als een raad, het werk. Ze lazen de codewijzigingen en keurden vierentwintig van de eenentwintig updates goed die in de uiteindelijke collectie werden samengevoegd. Op papier leek het proces succesvol: de tests waren gebouwd, beoordeeld en goedgekeurd. Echter, een dieper onderzoek onthulde een schokkende realiteit. Toen de onderzoeker een speciaal soort sonde tegen de voltooide tests draaide — in feite de tests aanvallen met eenvoudige, generieke strategieën die bedoeld zijn om mazen in de wet te vinden — vond een onderzoekende review defecten in alle 22 pakketten.

Het onderzoek onthulde dat de initiële goedkeuringen, hoewel reëel en grondig in het lezen van de code, er niet in slaagden significante gebreken te ontdekken omdat ze de tests niet tegen daadwerkelijke aanvallen draaiden. De onderzoekende review vond dat elk pakket ten minste één ronde met correcties nodig had, waarbij sommige tot wel negen rondes van correcties vereisten. De verslagen vermelden dat hoewel deze reparaties de gelogde problemen aanpakten, dit niet aantoont dat er geen defecten meer aanwezig zijn. In veel gevallen waren de tests zo gebrekkig dat een computerprogramma een hoge score kon halen door bijna niets te doen. Zo ontving in dertien van de pakketten een strategie die de taak volledig negeerde en simpelweg een constant, generiek antwoord gaf, nog steeds krediet. In één specifiek geval met betrekking tot een teken-test kon een computer perfect scoren op elke vraag door één enkele, gememoriseerde afbeelding in te dienen, zelfs terwijl de test bedoeld was om het vermogen te beoordelen om een specifieke scène te tekenen. In een ander geval faalde een test die moest controleren of een computer een winkelwagentje kon afhandelen, omdat het geen programma bestrafde dat nooit voor de artikelen betaalde.

De studie benadrukt een specifiek gat in hoe deze tests momenteel worden gevalideerd. De beoordelingsraad had hun werk gedaan door de code te lezen en duidelijke fouten te signaleren, zoals een verborgen seed-waarde die per ongeluk in de code was achtergelaten of een bewering in de documentatie die niet overeenkwam met het werkelijke programma. Toch misten deze reviews de diepere problemen die pas zichtbaar werden toen de tests daadwerkelijk werden uitgevoerd. De onderzoeker vond dat de defecten niet willekeurig waren; ze vielen uiteen in dertien verschillende categorieën, variërend van taken die onmogelijk op te lossen waren tot beoordelingssystemen die vervalste rapporten accepteerden. Een van de meest voorkomende fouten was dat de tests "blinde strategieën" lieten slagen. Dit betekent dat een computer kon winnen door te gokken of een patroon te herhalen zonder de vraag te begrijpen, simpelweg omdat de testmaker niet zo'n eenvoudige truc had voorzien.

Om te testen of eenvoudige controles deze problemen konden vangen, voerde de onderzoeker een vooraf gepland experiment uit met acht generieke, triviale beleidstests. Dit waren basisregels, zoals altijd "ja" zeggen of altijd een leeg antwoord teruggeven, ontworpen om te zien of ze de tests konden exploiteren. De resultaten waren sober. De beste triviale score kwam slechts in 2 pakketten voor, een nulresultaat dat suggereert dat generieke beleidstests de meeste gelogde defecten missen. Dit geeft aan dat de gevonden defecten geen voor de hand liggende gaten waren die een generieke controle gemakkelijk zou kunnen vinden; in plaats daarvan waren het subtiele problemen die een diep begrip van de specieveke taak vereisten om te ontdekken. Het feit dat de reviewers deze problemen misten, betekent niet dat zij incompetent waren; het laat eerder zien dat het lezen van code anders is dan het aanvallen van een draaiend systeem. De reviewers zagen het plan, maar de sondes zagen de realiteit van hoe het systeem zich gedroeg wanneer het werd gepusht.

De studie concludeert dat hoewel kunstmatige intelligentie er succesvol in kan zijn om complexe testframeworks te bouwen, de huidige methoden van goedkeuring onvoldoende zijn om hun kwaliteit te garanderen. De onderzoeker heeft de volledige collectie van tweeëntwintig pakketten vrijgegeven, samen met de engine die ze uitvoert en de gedetailleerde logs van elke gevonden reparatie en elk gevonden gebrek. Deze publicatie dient als een transparant verslag van wat er gebeurt wanneer machines tests voor machines bouwen. Het demonstreert dat zelfs met een raad van beoordelaars en een pijplijn van geautomatiseerde controles, significante defecten kunnen doorsluipen als het testproces geen actieve, adversariële probing bevat. Het werk beweert niet dat kunstmatige intelligentie geen goede tests kan bouwen, maar suggereert sterk dat de huidige goedkeuringsprocessen een cruciale stap missen. Totdat tests rigoureus worden aangevallen en geverifieerd tegen eenvoudige exploitatiestrategieën, zullen de scores die ze produceren mogelijk niet de werkelijke intelligentie van de gemeten systemen weerspiegelen. De onderzoeker benadrukt dat er in deze studie geen echte computermodellen op deze tests zijn gedraaid, dus de resultaten zijn een maatstaf voor de testontwerpen zelf, niet voor de capaciteiten van een specifieke kunstmatige intelligentie. De bevindingen dienen als een waarschuwing: een groen licht van een reviewer is niet hetzelfde als een keurmerk van een rigoureuze aanval.