The geometry of AI validation: Exact certification limits for iid best-of-N search

Moderne kunstmatige intelligentie is geëvolueerd van het simpelweg beantwoorden van een enkele vraag met een enkel antwoord. De huidige systemen genereren vaak een breed scala aan mogelijkheden, vergelijken deze met elkaar en selecteren vervolgens de beste optie om aan de gebruiker te presenteren. Dit proces, bekend als zoeken (search), wordt gebruikt om complexe wiskundige problemen op te lossen, computercode te schrijven of nieuwe moleculen te ontwerpen. Omdat het systeem kiest uit vele alternatieven, hangt de betrouwbaarheid van de uiteindelijke output volledig af van hoe die selectie is gemaakt. Als een systeem het beste antwoord kiest uit honderd pogingen, is de kwaliteit van dat antwoord anders dan de kwaliteit van een antwoord dat uit slechts één poging is gekozen. De centrale uitdaging voor wetenschappers is uitzoeken hoe ze kunnen verifiëren dat deze geselecteerde antwoorden daadwerkelijk correct zijn, vooral wanneer het systeem getraind is om het "beste" antwoord te kiezen in plaats van een willekeurig antwoord.

Dit verificatieprobleem is lastig omdat de daad van selectie de aard van de waarheid die wordt gemeten verandert. Stel je een wetenschapper voor die de prestaties van een model controleert op een paar specifieke soorten vragen en ontdekt dat het zeer accuraat is. Als dat model vervolgens wordt gebruikt om een volkomen ander soort probleem op te lossen, of als het selectieproces verandert om te zoeken naar een ander type "beste" antwoord, kunnen de eerdere controles niet langer van toepassing zijn. De betrouwbaarheid van het systeem is geen vast getal dat hetzelfde blijft; het is verbonden aan de specifieke methode die wordt gebruikt om het antwoord te vinden. Als de methode die wordt gebruikt om het systeem te controleren niet hetzelfde terrein bestrijkt als de methode die wordt gebruikt om het in te zetten, kan het systeem betrouwbaar lijken terwijl het in werkelijkheid blind is voor zijn eigen fouten in de nieuwe context.

Ricardo Fitas, een onderzoeker aan de Technische Universiteit van Darmstadt, heeft een precieze manier ontwikkeld om exact te meten hoeveel onzekerheid er overblijft wanneer we deze AI-systemen proberen te valideren. Zijn werk richt zich op een veelvoorkomend scenario waarbij een AI vele kandidaten genereert en de beste kiest op basis van een score. De studie stelt een fundamentele vraag: als we weten hoe betrouwbaar het systeem is wanneer het het beste antwoord kiest uit een klein aantal pogingen, kunnen we dan zeker weten hoe betrouwbaar het zal zijn wanneer het het beste antwoord kiest uit een veel groter aantal pogingen? Het antwoord is volgens het onderzoek vaak nee. Er is een harde limiet aan hoeveel we kunnen weten zonder de manier waarop we het systeem testen te veranderen.

Het onderzoek toont aan dat het kennen van de prestaties van een systeem bij kleine zoekgroottes geen garantie biedt voor kennis van de prestaties bij grote zoekgroottes. Zelfs als een systeem perfect presteert bij het kiezen van het beste antwoord uit tien pogingen, zou het theoretisch zeer slecht kunnen presteren bij het kiezen uit honderd, en beide scenario's zouden consistent zijn met dezelfde testgegevens. Dit komt niet doordat de tests slecht zijn uitgevoerd, maar omdat de tests simpelweg niet in de juiste richting keken. De studie bewijst dat er een specifieke, onoverbrugbare kenniskloof bestaat wanneer de zoekgrootte in de echte wereld groter is dan de zoekgrootte die tijdens het testen werd gebruikt. Deze kloof vertegenwoordigt een vorm van structurele blindheid: het systeem kan precies werken zoals de tests suggereren, en toch falen op manieren die de tests nooit hadden kunnen voorspellen.

Om dit te begrijpen, beschouw validatie als het schijnen van een zaklamp in een donkere kamer. Als je het licht slechts op een paar specifieke plekken schijnt, kun je zeker zijn van wat er in die plekken is, maar je kunt niet weten wat er in de donkere hoeken zit. Als het AI-systeem vervolgens wordt ingezet op een manier die vereist dat er in die donkere hoeken wordt gekeken, bieden je eerdere controles geen veiligheid. De onderzoeker heeft de exacte omvang van deze onzekerheid berekend. Voor een systeem dat door honderd kandidaten zoekt, als je het alleen hebt getest op zoekopdrachten tot zestien kandidaten, kan de onzekerheid over de werkelijke prestaties wel tachtig drie procent bedragen. Dit betekent dat twee volkomen verschillende versies van het systeem aan al je tests kunnen voldoen, terwijl de een bijna perfect kan zijn en de andere bijna nutteloos wanneer het wordt geconfronteerd met de grotere zoekopdracht.

De studie laat ook zien dat het simpelweg herhalen van dezelfde tests keer op keer dit probleem niet oplost. Het duizend keer uitvoeren van een test op dezelfde kleine zoekgrootte vermindert alleen de willekeurige ruis; het verlicht de donkere hoeken niet. Om de onzekerheid te verminderen, moet je de test zelf veranderen om naar een ander soort zoekopdracht te kijken. Het onderzoek biedt een duidelijke regel voor hoe je dit doet: je moet het bereik van je tests uitbreiden om hetzelfde terrein te dekte als de inzet in de echte wereld. Als je een systeem wilt certificeren dat door honderd kandidaten zoekt, moet je tests opnemen die betrokken zijn bij het zoeken door honderd kandidaten, of tenminste een aantal dat daar dichtbij ligt.

Het artikel valideert deze bevindingen aan de hand van echte gegevens uit twee verschillende domeinen: wiskundige redenering en computerprogrammering. In de wiskundige experimenten keken de onderzoekers naar hoe goed AI-modellen problemen oplosten wanneer ze het beste antwoord selecteerden uit duizenden gegenereerde oplossingen. Ze vonden dat hoewel de gemiddelde prestaties verbeterden naarmate het systeem meer kandidaten doorzocht, specifieke problemen feitelijk slechter werden. Sommige problemen die correct werden opgelost met een kleine zoekopdracht, werden onjuist wanneer het systeem breder zocht. Vergelijkbaar daarmee analyseerden de onderzoekers in de programmeerexperimenten taken voor codegeneratie. Ze ontdekten dat zelfs wanneer het algemene succespercentage goed leek, individuele taken dramatisch konden falen wanneer de zoekbreedte veranderde. Deze praktijkvoorbeelden bevestigden dat de theoretische grenzen van onzekerheid geen wiskundige abstracties waren, maar aanwezig waren in het werkelijke AI-gedrag.

Verder biedt de studie een praktische oplossing voor het ontwerpen van betere evaluaties. Het stelt een tweestapsbenadering voor. Ten eerste moeten onderzoekers ervoor zorgen dat hun tests de structurele breedte van de werkelijke taak dekken. Dit betekent het testen van het systeem op dezelfde schaal van zoekopdracht als de schaal die het in de praktijk zal tegenkomen. Ten tweede, zodra die structurele dekking is vastgesteld, kunnen ze meer onafhankelijke taken toevoegen om de willekeurige ruis te verminderen en de precisie te verbeteren. Het onderzoek toont aan dat het verzamelen van meer labels of gegevens alleen effectief is als de gegevens in de juiste richting worden verzameld. Bijvoorbeeld, in de programmeerexperimenten verminderde het specifennen van labels voor de hoogst scorende kandidaten de foutmarge aanzienlijk meer dan het verzamelen van labels voor willekeurige kandidaten. Dit benadrukt dat de richting van de test belangrijker is dan de loutere omvang van de gegevens.

De bevindingen dienen als een waarschuwing tegen de aanname dat een systeem veilig is omdat het een reeks standaardtests heeft doorstaan. Als die tests niet overeenkomen met de specifieke manier waarop het systeem zal worden gebruikt, kan het systeem verborgen fouten bevatten die pas verschijnen bij de inzet ervan. De studie beweert niet dat AI-zoekopdrachten kapot zijn of dat ze niet verbeterd kunnen worden; het verduidelijkt eerder dat de regels voor het bewijzen dat een systeem werkt strenger zijn dan voorheen gedacht. Het stelt vast dat validatie geen eenmalige controle is, maar een continu proces dat moet evolueren samen met de capaciteiten van het systeem. Door het begrijpen van de geometrie van deze limieten, kunnen ontwikkelaars audits ontwerpen die de betrouwbaarheid van AI-systemen werkelijk certificeren, waardoor ze garanderen dat de antwoorden die ze bieden niet alleen in het laboratorium, maar ook in de echte wereld betrouwbaar zijn.