CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds

In de race om slimmere machines te bouwen, vertrouwen onderzoekers op standaardtests om te meten hoe goed een kunstmatige intelligentie problemen kan oplossen. Deze tests zijn als schoolexamens: een reeks vragen met bekende antwoorden die een model moet oplossen om een score te verdienen. Hoe hoger de score, hoe capabeler de machine wordt geacht te zijn. Er is echter een schaduw over deze resultaten gevallen. Omdat deze tests online worden gepubliceerd, zijn de vragen en antwoorden vaak beschikbaar op het internet, waar de machines van leren. Er is een groeiende angst dat hoge scores niet altijd bewijzen dat een machine slim is; ze kunnen simpelweg bewijzen dat de machine de testvragen tijdens de training heeft onthouden. Als een machine de exacte vragen eerder heeft gezien, is de score opgeblazen, en wordt de rangschikking van verschillende modellen een wedstrijd in geheugen in plaats van redeneren.

Dit creëert een moeilijk probleem voor iedereen die deze machines eerlijk probeert te beoordelen. De meeste krachtige modellen zijn "black boxes", wat betekent dat hun interne trainingsdata geheim zijn. Een auditor kan niet simpelweg in de machine kijken om te zien of hij een specifieke vraag heeft onthouden. Men kan alleen de uiteindelijke score zien. Jarenlang was de beste manier om memorisatie te controleren door de vragen te herschrijven. Als een machine de wiskunde of wetenschap achter een probleem echt begrijpt, zou hij een geherformuleerde versie net zo goed moeten oplossen als de originele. Als hij faalt bij de geherformuleerde versie, heeft hij waarschijnlijk alleen het origineel onthouden. Maar deze methode heeft een verborgen gebrek: het gaat ervan uit dat als een machine de geherformuleerde vraag goed oplost, hij het concept heeft geleerd. Als de machine de geherformuleerde vraag goed oplost simpelweg omdat hij het antwoordmodel heeft onthouden, faalt de test om de memorisatie te detecteren.

Een team van onderzoekers zette zich af om een betere manier te ontwikkelen om deze scores te auditeren zonder de binnenkant van de black box te hoeven zien. Ze ontwikkelden een methode genaamd CleanScore, die elke testvraag behandelt als een ouder met drie kinderen: de originele publieke vraag, en twee verse, privé geschreven versies die dezelfde getallen en feiten behouden maar andere woorden gebruiken. De onderzoekers vroegen vijf verschillende open-source modellen om 200 vragen uit twee belangrijke benchmarks op te lossen, één gericht op wiskunde en de andere op wetenschap. Voor elke vraag vergeleken ze hoe goed de modellen presteerden op de originele publieke versie versus de twee verse, herschreven versies. Als de modellen consequent hoger scoorden op de publieke versie, zou dit suggereren dat ze de test hadden onthouden.

De audit vond geen bewijs van dit soort memorisatie. Over alle vijf de modellen en beide benchmarks heen waren de scores op de publieke vragen niet significant hoger dan de scores op de verse, herschreven vragen. De onderzoekers berekenden dat welk voordeel dan ook verkregen uit het zien van de publieke formulering waarschijnlijk minder dan vijf procentpunten was. Dit resultaat hield stand, zelfs nadat het team een technische fout in hun initiële opzet corrigeerde waarbij sommige modellen werden afgebroken voordat ze hun antwoorden voltoid hadden. De studie bevatte ook een "negatieve controle", een set vragen die de modellen nog nooit hadden gezien en die ze niet hadden kunnen onthouden, om te garanderen dat het herschrijvingsproces de vragen niet moeilijker of makkelijker maakte. De resultaten toonden aan dat het herschrijvingsproces eerlijk was, en dat het gebrek aan een scoreverschil een werkelijke bevinding was, en geen artefact van het testontwerp.

De meest opmerkelijke uitkomst van de studie kwam echter uit een reeks experimenten die ontworpen waren om te zien wat de audit zou missen. De onderzoekers trainden doelbewust vier verschillende modellen op de exacte bewoording van 100 van de testvragen. Vervolgens voerden ze dezelfde audit uit om te zien of het de memorisatie zou detecteren. Op de wiskunde-benchmark verbeterden de modellen die de vragen hadden onthouden hun nauwkeurigheid met 26 punten op de onthouden bewoording. Maar wanneer ze werden getest op de verse, herschreven versies van diezelfde vragen, verbeterden ze ook met 20 punten. De audit, die alleen naar het verschil kijkt tussen het origineel en de herschrijving, zag een gat van slechts ongeveer zes punten. Met andere woorden: de audit detecteerde slechts een klein fractie van de memorisatie. Het overgrote deel van het voordeel — het deel dat voortkwam uit het begrijpen van het probleem in plaats van alleen het onthouden van de woorden — was onzichtbaar voor de test.

Deze blindheid was nog extremer op de wetenschaps-benchmark. In één experiment trainden de onderzoekers een model op 100 wetenschapsvragen en testten het vervolgens op de herschreven versies. Het model verbeterde zijn nauwkeurigheid met 49 punten op de onthouden vragen. Omdat de herschreven versies de meerkeuzeantwoorden exact hetzelfde hielden, scoorde het model perfect op de herschreven vragen, simpelweg door de correcte antwoordreeks te herkennen die het had onthouden. De audit berekende een verschil van negatief twee punten, wat effectief geen memorisatie zag. Het model had de antwoorden geleerd, maar het testontwerp, dat de antwoordopties vast hield, liet die kennis in het volle zicht verscholen.

De onderzoekers concludeerden dat hoewel hun methode er succesvol in slaagde te meten of een model vertrouwde op de specifieke oppervlakkige bewoording van een vraag, het niet kon meten wat de totale hoeveelheid contaminatie was. Een model zou zwaar getraind kunnen zijn op een dataset en er toch "schoon" uit kunnen zien als de testvragen op een manier werden herschreven die de kern van het antwoord behield. De studie toonde aan dat voor de vijf geauditeerde modellen er geen sterk bewijs was dat ze de specifieke bewoording van de testvragen hadden onthouden. Maar het bewees ook dat een "schone" score niet garandeert dat een model het materiaal niet eerder heeft gezien; het garandeert alleen dat het model niet vertrouwde op de exacte formulering. De audit mat succesvol de oppervlakkige inflatie, maar kon niet uitsluiten dat de modellen het materiaal hadden geleerd op een manier die de herschrijving overleefde.

De studie benadrukte ook de beperkingen van hoe klein een audit kan zijn. De onderzoekers ontdekten dat een audit ten minste 200 vragen moet testen om betrouwbaar een significant voordeel te kunnen detecteren. Bij minder vragen is de statistische onzekerheid zo groot dat de test geen onderscheid kan maken tussen een echt voordeel en willekeurige ruis. Ze toonden ook aan dat hoewel het mogelijk is om modellen correct te rangschikken met minder vragen, het bepalen van de exacte volgorde van prestaties een veel grotere steekproef vereist. Het werk dient als een rigoureus, geregistreerd experiment dat een nieuwe standaard zet voor hoe men over onzekerheid in AI-testen spreekt. Het verklaart de modellen niet onschuldig aan alle vormen van memorisatie, maar het biedt een duidelijke, eerlijke verklaring over wat de data wel en niet kunnen tonen wanneer alleen de uiteindelijke scores beschikbaar zijn.