ASI-Bench: At the Dawn of Artificial Superintelligence

De reis naar een machine die kan denken als een mens heeft lang gefocust op hoe goed computers feiten kunnen onthouden, bekende puzzels kunnen oplossen of een reeks instructies kunnen volgen om tot een specifiek antwoord te komen. Jarenlang hebben de meest geavanceerde kunstmatige intelligentiesystemen uitblinkend in deze taken, door enorme bibliotheken aan menselijke kennis te absorberen en deze met ongelooflijke snelheid toe te passen. Maar er bestaat een ander soort intelligentie die grotendeels buiten bereik blijft: het vermogen om het onbekende te betreden, naar een rommelig, onverklaarbaar probleem te kijken, en niet alleen het antwoord te vinden, maar ook het pad naar de vondst ervan. Dit is het domein van wetenschappelijke ontdekking, waar het doel niet is om een formule te herinneren, maar om een formule uit te vinden, een experiment te ontwerpen en een vage vraag om te zetten in een geverifieerd resultaat. De vraag die een nieuwe studie aanjaagt, is of huidige machines dit echt zelfstandig kunnen, of dat ze nog steeds volledig afhankelijk zijn van mensen die hen bij elke stap bij de hand nemen.

Een team van onderzoekers van universiteiten en instituten over de hele wereld heeft een nieuwe testomgeving genaamd ASI-Bench gebouwd om deze vraag te beantwoorden. Ze creëerden zestig complexe onderzoeksprojecten binnen elf verschillende wetenschappelijke disciplines, variërend van natuurkunde en chemie tot biologie en techniek. Elk project was ontworpen om een echt wetenschappelijk onderzoek na te bootsen, compleet met ruwe data, een specifiek doel en een vereiste om een werkende oplossing te produceren. De genialiteit van het ontwerp ligt in de manier waarop ze de machines testten. Voor elk enkel onderzoeksproject lieten ze hetzelfde AI-systeem vier keer draaien, maar ze veranderen de hoeveelheid hulp die ze het boden. In het eerste scenario kreeg de AI een volledige, stapsgewijze handleiding over hoe het probleem precies opgelost moest worden. In het tweede scenario werd de AI alleen verteld wat de algemene methode was om te gebruiken, zoals wordt gezegd dat je "een hamer moet gebruiken" zonder te laten zien hoe je ermee slaat. In het derde scenario kreeg de AI alleen het probleem en de data, zonder instructies over hoe verder te gaan, waardoor de machine zelf de methode moest bepalen. Ten slotte voegden ze in het vierde scenario een laag verwarrende, irrelevante informatie toe om te zien of de machine gefocust kon blijven op de werkelijke taak.

De resultaten onthullen een rauwe werkelijkheid over de huidige staat van kunstmatige intelligentie. Wanneer de machines volledige instructies kregen, presteerden ze redelijk goed, met een gemiddelde score van ongeveer eenenvijftig van de honderd mogelijke punten. Echter, zodra de onderzoekers de stapsgewijze begeleiding weghaalden en de AI vroegen om de procedure zelf uit te zoeken, stortte de prestatie in. Wanneer de AI de methode zelf moest kiezen, daalde de gemiddelde score naar ongeveer zevenentwintig. Deze scherpe daling suggerealt dat, hoewel de huidige systemen uitstekend zijn in het volgen van een pad dat mensen al hebben aangelegd, ze er enorm mee worstelen om dat pad zelf aan te leggen. De grootste hindernis was niet het kiezen van het juiste instrument, maar eerder het vertalen van een algemeen idee naar een werkend, gedetailleerd plan. Zelfs wanneer de AI wist welke methode te gebruiken, faalde het vaak in het construeren van de noodzakelijke stappen om het werkend te krijgen, wat zorgde voor een significante daling van de scores wanneer de gedetailleerde instructies werden verwijderd.

De onderzoekers ontdekten ook dat het toevoegen van extra, afleidende informatie de machines niet bijna zozeer in verwarring bracht als het verwijderen van de instructies deed. Wanneer de AI dezelfde moeilijke taak kreeg maar met een stapel ongerelateerde feiten en geklets toegevoegd, bleef de prestatie bijna exact hetzelfde als wanneer er helemaal geen instructies waren. Dit geeft aan dat de primaire zwakte van de huidige systemen niet een gebrek aan focus of een onvermogen om ruis te filteren is, maar een fundamenteel onvermogen om zonder een door mensen gedefinieerd stappenplan te opereren. De studie omvatte achttien verschillende combinaties van AI-modellen en software-agenten, en zelfs de meest geavanceerde configuratie, die het krachtigste redeneren ter beschikking had, haalde slechts ongeveer twee en vijftig wanneer het aan zichzelf werd overgelaten. Dit is een bescheiden succes, maar het schiet ver tekort voor de betrouwbaarheid die vereist is voor een machine om onafhankelijk wetenschappelijk onderzoek te verrichten.

De prijs van deze onafhankelijkheid is ook hoog. Wanneer de AI de stappen zelf moest uitzoeken, verbruikte het aanzienlijk meer rekenkracht en tijd dan wanneer het simpelweg bevelen opvolgde. In sommige gevallen gebruikte het systeem bijna zestig procent meer computerbronnen om slechts dezelfde taak zonder gids te proberen, waarbij het vaak vastliep in lussen of inefficiënte paden probeerde. Dit suggereert dat ware autonomie niet alleen een kwestie is van intelligentie, maar ook van efficiëntie; zonder menselijke begeleiding verspillen de machines enorme hoeveelheden inspanning door problemen op te lossen die ze snel hadden kunnen oplossen als ze instructies hadden gekregen. De studie concludeert dat we nog ver verwijderd zijn van de dageraad van kunstmatige superintelligentie, een staat waarin machines het onbekende kunnen verkennen en nieuwe kennis kunnen creëren zonder menselijke tussenkomst. In plaats daarvan bevinden we ons in een fase waarin machines krachtige assistenten zijn die complexe taken kunnen uitvoeren, maar die nog steeds zwaar leunen op mensen om de strategie te bepalen.

Deze nieuwe benchmark is niet bedoeld als een definitief oordeel, maar als een startpunt voor de wetenschappelijke gemeenschap. De onderzoekers hebben hun zestig taken en hun testmethoden beschikbaar gesteld aan de wereld, en nodigen andere wetenschappers en ingenieurs uit om nieuwe problemen bij te dragen en hun eigen systemen tegen deze uitdagingen te testen. Zij geloven dat door voortdurend nieuwe, moeilijke onderzoeksprojecten toe te voegen en de tests te verfijnen, de gemeenschap de vooruitgang nauwkeuriger kan volgen. Het doel is om verder te gaan dan eenvoudige tests van geheugen en logica naar een toekomst waarin we kunnen meten of een machine echt kan denken als een wetenschapper, in staat om door het onbekende te navigeren en een blanco pagina om te zetten in een ontdekking. Voor nu laten de gegevens zien dat hoewel onze machines slimmer worden, ze nog steeds wachten tot wij hen vertellen wat ze hierna moeten doen.