Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence

We leven in een tijdperk waarin de mogelijkheden van kunstmatige intelligentie vaak met de precisie van een weersvoorspelling worden voorspeld. Experts kijken naar hoe snel computers worden, hoeveel data ze gevoed worden en hoe goed ze presteren op gestandaardiseerde tests om te raden wanneer machines het menselijke niveau van redeneren zullen bereiken of zelfs zullen overtreffen. Deze voorspellingen nemen meestal de vorm aan van een specifieke datum op een kalender, wat suggereert dat een AI tegen een bepaalde datum in een bepaald jaar in staat zal zijn om een complex probleem op te lossen of een specifieke taak uit te voeren. De logica lijkt eenvoudig: als je kunt meten hoe snel een auto rijdt, kun je berekenen wanneer hij zijn bestemming bereikt. Maar deze benadering rust op een verborgen aanname — dat de liniaal die wordt gebruikt om de snelheid te meten, vandaag hetzelfde is als gisteren, en dat de snelheidsmeter correct werkt voor elke auto op de weg.

Een nieuwe analyse door Fabricio F. Costa daagt deze aanname uit. Het artikel betoogt niet dat het onmogelijk is om de toekomst van AI te voorspellen, maar wel dat de huidige manier waarop we dat proberen gebouwd is op een wankele fundering. De auteur voerde een grondige audit uit op de publieke registers die worden gebruikt om deze voorspellingen te doen, waarbij de data niet werd behandeld als een vloeiende lijn op een grafiek, maar als een verzameling individuele gebeurtenissen, metingen en bronnen. Het onderzoek onthult dat de verbinding tussen de middelen die worden gebruikt om deze systemen te bouwen en hun werkelijke prestaties veel gefragmenteerder is dan populaire voorspellingen doen vermoeden. De studie stelt vast dat het bewijs dat deze voorspellingen ondersteunt vaak incompleet, inconsistent en zwaar afhankelijk is van een enkele bron van informatie, waardoor de specifieke data die vaak in het nieuws worden genoemd meer een gok zijn dan een wetenschappelijke conclusie.

Om de omvang van het probleem te begrijpen, moet men eerst kijken naar hoe deze voorspellingen gewoonlijk worden geconstrueerd. Onderzoekers proberen meestal twee dingen aan elkaar te koppelen: de hoeveelheid rekenkracht die wordt gebruikt om een model te trainen en de resultaten die het behaalt op een benchmarktest. Een benchmark is simpelweg een gestandaardiseerde set vragen of taken die ontworpen zijn om een specifieke vaardigheid te meten, zoals het beantwoorden van trivia of het oplossen van wiskundeproblemen. Het idee is dat naarmate je een model meer rekenkracht geeft, de score op deze tests op een voorspelbare manier stijgt. Als je die relatie kunt in kaart brengen, kun je vooruit projecteren om te zien wanneer de score een bepaalde drempel bereikt. Echter, voor deze projectie om geldig te zijn, heb je datapunten nodig waarbij zowel de rekenkracht als de testscore voor hetzelfde systeem bekend zijn.

Toen de auteur het publieke record van tweeënzestig belangrijke kunstmatige intelligentiesystemen onderzocht, verscheen er een aanzienlijke kloof. Hoewel informatie over de gebruikte rekenkracht beschikbaar was voor veel systemen, ontbrak deze voor een groot aantal van de meest geavanceerde, closed-source modellen. Omgekeerd waren de prestatiescores van een specifiek, veel geciteerd meetprogramma genaamd METR wel beschikbaar voor veel closed-source modellen, maar volledig afwezig voor de open-source systemen. Dit creëerde een situatie waarin de twee stukken data die nodig zijn om een lijn te trekken — de "brandstof" en de "snelheid" — zelden samen voorkwamen voor dezelfde machine. In de gehele set van tweeënzestig systemen hadden er slechts zeven zowel de schatting van de rekenkracht als de prestatiescore geregistreerd. Dit betekent dat de vloeiende curven die vaak in voorspellingen te zien zijn, in werkelijkheid worden getekend door slechts een handvol datapunten, terwijl de rest van het landschap een leeg vlak is.

Het probleem verdiept zich wanneer je bedenkt dat de tests zelf niet statisch zijn. Net zoals een liniaal vervangen kan worden door een nieuwe met iets andere markeringen, worden de benchmarks die AI meten constant bijgewerkt, herzien of vervangen om te voorkomen dat de modellen simpelweg de antwoorden uit hun hoofd leren. De audit onderzocht hoe deze verschillende versies van tests met elkaar verband houden. Het vond dat wanneer je scores van een oudere versie van een test vergelijkt met een nieuwere versie, de relatie niet altijd een eenvoudige, rechte verschuiving is. Soms meet de nieuwe test iets net iets anders, of verandert de moeilijkheid op een manier die ervoor zorgt dat de scores onverwacht springen of dalen. De studie testte dit door te kijken naar hoe systemen presteerden op twee versies van een populaire test en vond dat de verbinding tussen de oude scores en de nieuwe er sterk van afhing welke wiskundige methode werd gebruikt om ze te vergelijken. In sommige gevallen leek de nieuwe versie een veel steilere verbetering te laten zien dan de oude, terwijl de verbetering in andere gevallen vlak leek. Dit suggereert dat een stijging in een score niet altijd betekent dat de AI slimmer is geworden; het kan ook betekenen dat de test is veranderd.

Een ander kritiek punt dat werd geïdentificeerd, is de concentratie van het bewijs. De overgrote meerderheid van de specifieke datapunten die worden gebruikt om de voortgang van AI te volgen, komt uit één enkel meetprogramma. Van de zevenentwintig belangrijke kwantitatieve gebeurtenissen die in de audit werden geregistreerd, kwamen er vijfentwintig uit slechts één bron. Dit is als proberen de weerpatronen van een heel continent te begrijpen door te vertrouwen op de thermometerstanden van één enkele stad. Hoewel die stad accuraat kan zijn, vertelt het je niet of de rest van het continent dezelfde omstandigheden ervaart. De audit merkte ook op dat veel van deze metingen afkomstig zijn van laboratoriumreleases in plaats van tests in de echte wereld. In een laboratorium zijn de omstandigheden gecontroleerd, maar in de echte wereld interageert de AI met onvoorspelbare omgevingen, verschillende gebruikers en variërende niveaus van ondersteuning. Het artikel betoogt dat het vertrouwen op een enkele bron en een enkel type test een vals gevoel van zekerheid creëert, waarbij het vertrouwen in een voorspelling hoog is simpelweg omdat de data consistent lijken, ook al zijn ze niet werkelijk onafhankelijk.

De auteur keek ook naar de kracht van de statistische tests die worden gebruikt om deze verschillende metingen aan elkaar te koppelen. De analyse toonde aan dat de huidige datasets vaak te klein zijn om iets anders dan zeer grote veranderingen te detecteren. Als de relatie tussen rekenkracht en prestaties met een klein beetje zou veranderen, zouden de huidige records dit waarschijnlijk volledig missen. De studie berekende dat onderzoekers veel meer systemen tegelijkertijd op zowel de oude als de nieuwe benchmarks zouden moeten testen om een kleine verschuiving in hoe deze systemen verbeteren betrouwbaar te kunnen detecteren. Zonder deze grotere, meer diverse set aan data is elke voorspelling die beweert precies te weten wanneer een specifiek mijlpaal bereikt zal worden, in essentie een gok.

Het artikel suggereert niet dat we moeten stoppen met het proberen te meten van AI-voortgang. In plaats daarvan pleit het voor een eerlijkere en complexere aanpak. In plaats van te proberen alle mogelijkheden van AI in één enkel getal of één enkele datum te persen, stelt de auteur een "portfolio" van metingen voor. Dit zou het tegelijkertijd bijhouden van verschillende zaken inhouden: hoeveel energie en geld het kost om een model te draaien, hoe betrouwbaar het is over langere perioden, hoe het presteert in taken in de echte wereld, en hoe het omgaat met veiligheidsrisico's. Het zou ook een systeem vereisen waarbij verschillende onderzoeksgroepen dezelfde modellen testen met verschillende methoden om ervoor te zorgen dat de resultaten niet slechts een artefact zijn van één specifieke lab of één specifieke test. Het doel is om weg te bewegen van het idee van één perfecte liniaal en toe te bewegen naar een verzameling instrumenten die verschillende aspecten van intelligentie kunnen meten met hun eigen onzekerheden.

Uiteindelijk concludeert de studie dat een verdedigbare voorspelling over de toekomst van kunstmatige intelligentie transparant moet zijn over wat het meet en hoe het dat meet. Het moet toegeven waar de data ontbreken, waar de tests zijn veranderd en waar het bewijs vandaan komt. Een voorspelling die simpelweg een datum geeft zonder het meetsysteem erachter uit te leggen, is geen wetenschappelijke claim; het is een gok. Het artikel dringt er bij het vakgebied op aan om het meetsysteem zelf als onderdeel van de voorspelling te beschouwen, waarbij wordt erkend dat de datum slechts zo betekenisvol is als de liniaal die wordt gebruikt om het te vinden. Totdat de gemeenschap in staat is een record op te bouwen waarbij rekenkracht, prestaties en resultaten in de echte wereld consistent en onafhankelijk worden gemeten over vele verschillende systemen heen, zal het meest precieze deel van elke voorspelling de datum op de kalender zijn, terwijl het minst precieze deel zal zijn wat er daargelang daadwerkelijk wordt gemeten onderweg.