In de wereld van kunstmatige intelligentie vindt een stille revolutie plaats die de manier waarop experts de machines beoordelen die code schrijven, problemen oplossen en tekst genereren, fundamenteel verandert. Jarenlang heeft de industrie zich gericht op één enkele vraag: hoe slim is het model? Onderzoekers hebben dit gemeten door te kijken naar het best mogelijke antwoord dat een machine kan produceren of de gemiddelde score op een test. Deze benadering gaat ervan uit dat als een model één keer het juiste antwoord geeft, het een succes is. Echter, voor iedereen die deze tools wil gebruiken voor echt technisch werk, mist deze metriek de meest cruciale factor. Een tool die de helft van de tijd perfect werkt en de andere helft wild faalt, is nutteloos voor het bouwen van betrouwbare systemen, zelfs als de beste momenten briljant zijn. De nieuwe grens gaat niet over hoe hoog de machine kan springen, maar over hoe consistent hij op zijn voeten landt. Deze verschuiving verlegt de focus van ruwe capaciteit naar precisie, waarbij de vraag niet alleen is of de machine het werk kan doen, maar of hij datzelfde werk elke keer op precies dezelfde manier kan doen wanneer erom wordt gevraagd.

George Andrikopoulos, een onafhankelijk onderzoeker gevestigd in Londen, stelt dat de huidige manier waarop kunstmatige intelligentiesystemen worden vergeleken, het verkeerde meet. Hij suggereert dat hoewel de meest geavanceerde modellen ongelooflijk nauwkeurig zijn geworden — wat betekent dat hun gemiddelde output het doel raakt — ze nog niet precies zijn geworden. Precisie verwijst in deze context naar hoe nauw de resultaten bij elkaar liggen wanneer dezelfde opdracht herhaaldelijk wordt uitgevoerd. Stel je voor dat je een machine vraagt om een specifere technische probleem tien keer op te lossen. Een precies systeem zal je negen of tien keer een correct, zinvol antwoord geven. Een onprecies systeem kan je vijf keer een correct antwoord geven, maar de andere vijf keer produceert het misschien iets vreemds, kapot of volkomen ongerelateerd. De industrie viert momenteel de beste schot, maar de mensen die met deze tools bouwen, moeten weten wat de groep doet. Als de schoten verspreid zijn, is de tool onbetrouwbaar, ongeacht hoe goed het centrum van de groep ook kan zijn.

Om dit op te lossen, heeft Andrikopoulos een eenvoudige manier ontwikkeld om deze consistentie te meten zonder te vertrouwen op complexe, circulaire beoordelingssystemen. In plaats van een andere kunstmatige intelligentie het werk te laten beoordelen, wat eigen fouten kan introduceren, gebruikt de methode taken met een duidelijke, binaire uitkomst: compileert de code, slagen de tests, of voldoet het bestandstype aan de controle? Dit zijn feiten die door een computer kunnen worden geverifieerd zonder giswerk. Het proces houdt in dat een kleine set van deze verifieerbare taken wordt genomen en vele malen wordt uitgevoerd op een nieuwe instantie van het model bij elke uitvoering. Door te tellen hoe vaak het model slaagt versus hoe vaak het faalt, kunnen onderzoekers de vorm van de resultaten zien. Als het model elke keer slaagt, of elke keer faalt, is het precies. Als het de ene helft van de tijd slaagt en de andere helft faalt, is het verspreid en onvoorspelbaar.

Het paper presenteert een duidelijke beslisregel gebaseerd op deze metingen. Als een model consistent op dezelfde manier faalt, is het een "strakke groep" die slechts uit het midden ligt. Dit is een goed probleem om te hebben, want het betekent dat een menselijke operator een specifieke regel kan schrijven om de fout te herstellen, wat effectief het "instellen van de vizieren" van de machine is. Echter, als het model op veel verschillende manieren faalt, is de groep verspreid. In dat geval zal geen enkele hoeveelheid regelvorming helpen, omdat de fouten willekeurig zijn. De enige oplossing voor een verspreide groep is om het model zelf te veranderen of de manier waarop het zijn antwoorden genereert aan te passen. Dit onderscheid is essentieel omdat het ingenieurs vertelt of ze tijd moeten besteden aan het schrijven van instructies voor de machine of dat ze simpelweg naar een andere machine moeten overstappen.

Een praktijktest van deze methode illustreert de kracht van de aanpak. Onderzoekers namen een specifieke set programmeertaken en voerden deze vijf keer uit op een leidend model zonder speciale instructies. Het model slaagde er telkens niet in om een specifieke validatietaak te passeren. Omdat het telkens op exact dezelfde manier faalde, wisten de onderzoekers dat het een consistente fout was en geen willekeurige glitch. Ze analyseerden de fout en ontdekten dat de machine een specifieke logische fout maakte bij het verwerken van getallen die te groot waren. Ze schreven één enkele, eenvoudige regel om deze logica te corrigeren. Toen ze dezelfde vijf taken opnieuw uitvoerden met de nieuwe regel in werking, slaagde het model elke keer. Het succespercentage sprong van nul naar honderd procent. Dit bewees dat de machine precies genoeg was om te worden gecorrigeerd; hij moest alleen zijn vizieren worden bijgesteld.

De studie onthulde ook een verrassende limiet aan hoeveel we deze systemen kunnen verbeteren met geschreven regels. De onderzoekers probeerden een nieuwe set testtaken te creëren op basis van de regels die ze zelf hadden geschreven, in de hoop te meten hoeveel waarde die regels toevoegden. Ze ontdekten dat de meest geavanceerde modellen al zo bekwaam waren dat ze deze goede praktijken van nature volgden zonder dat ze werden verteld. De modellen slaagden perfect voor deze "regelgebaseerde" tests, zelfs zonder de extra instructies. Dit betekent dat de machines voor de meest voorkomende fouten de discipline al zelfstandig hebben geleerd. De ware waarde van een regelboek ligt daarom niet in het leren van de machine wat hij al weet, maar in het vinden van de zeldzame, verborgen hiaten waar de machine nog steeds verspreid of consistent faalt. Deze hiaten kunnen niet vooraf worden voorspeld; ze moeten worden gevonden door het werkelijke werk van de machine te meten.

Uiteindelijk verandert dit onderzoek het gesprek over kunstmatige intelligentie van een wedstrijd over wie de slimste is naar een praktische beoordeling van wie de meest betrouwbare is. De industrie heeft jarenlang leaderboards gebouwd die modellen rangschikken op basis van hun piekprestaties, maar die ranglijsten vertellen een gebruiker niet of de tool zal werken voor hun specifieke project. Door de dichtheid van de groep te meten, kunnen ingenieurs geïnformeerde beslissingen nemen over welke modellen ze moeten gebruiken en waar ze hun tijd in moeten investeren. Als een model precies is maar net naast het doel zit, kan een mens het met een regel repareren. Als het verspreid is, kan geen enkele regel het redden. De toekomst van het werken met deze machines hangt niet af van het vinden van het ene perfecte antwoord, maar van het begrijpen van het patroon van de antwoorden en weten wanneer je de vizieren moet bijstellen en wanneer je van geweer moet wisselen.