AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
Het artikel introduceert AI4AI-Bench, een nieuwe benchmark bestaande uit 10 bevroren onderzoek-repositories die het vermogen van LLM-agenten evalueert om trainingsalgoritmen voor recursieve zelfverbetering te ontwerpen en te herschrijven, waarbij wordt onthuld dat zelfs de meest geavanceerde systemen momenteel minder dan een kwart van de potentiële prestatiewinst tussen bestaande algoritmen en theoretische optima behalen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De droom van kunstmatige intelligentie omvat vaak een visie op een machine die zichzelf kan leren slimmer te worden, niet alleen door meer feiten te onthouden, maar door de regels die het gebruikt om te leren zelf te herschrijven. Dit idee, bekend als recursieve zelfverbetering, suggereert een cyclus waarin een AI-systeem een betere versie van zichzelf ontwerpt, die vervolgens weer een nog betere versie ontwerpt, wat leidt tot een keten van snelle vooruitgang. Voor deze cyclus te werken, moet de machine in staat zijn om het trainingsalgoritme te verbeteren—de set instructies die de computer vertelt hoe hij zijn interne verbindingen op basis van ervaring moet aanpassen. Hoewel machines erg goed zijn geworden in het volgen van instructies en zelfs in het bijstellen van kleine instellingen binnen die instructies, blijft het een open vraag of ze daadwerkelijk de instructies zelf kunnen herontwerpen. Dit is het verschil tussen een bestuurder die weet hoe hij het volume van de radio aanpast en een monteur die weet hoe hij de motor herbouwt.
Een team van onderzoekers heeft een nieuwe test ontwikkeld om te zien of huidige systemen voor kunstmatige intelligentie in staat zijn om dat soort diep mechanisch werk te verrichten. Ze creëerden een uitdaging genaamd AI44-Bench, die tien verschillende, reële onderzoeksprojecten presenteert aan een groep geavanceerde AI-agenten. Elk project omvat een specif kind type leertaak, zoals het leren aan een computer om wiskundige problemen op te lossen, afbeeldingen te genereren of menselijke voorkeuren te begrijpen. De onderzoekers gaven elke AI-agent vier uur aan rekentijd om de code van een van deze projecten te lezen en te proberen de gebruikte leermethode binnen het project te verbeteren. De agent mocht de code naar wens aanpassen, maar kon de uiteindelijke resultaten van deze wijzigingen tijdens die vier uur niet zien. In plaats daarvan moest de agent vertrouwen op een snelle, ruwe schatting om te raden of een idee goed was. Zodra de tijd om was, werd de aangepaste code van de agent weggehaald, en werd het project vanaf het begin opnieuw uitgevoerd gedurende maximaal twaalf uur met behulp van een vaste, verborgen set regels om het eindresultaat te beoordelen. Deze opzet bootst de ervaring in de echte wereld na van een menselijke wetenschapper, die een klein idee snel kan testen, maar dagen moet wachten om te zien of een nieuwe leermethode daadwerkelijk werkt op grote schaal.
De resultaten van dit experiment waren veelzeggend. Over eenheden van twintig-negen verschillende combinaties van AI-systemen en inspanningsniveaus was de gemiddelde prestatie vrij laag. Op een schaal waarbij de oorspronkelijke, ongewijzigde code een score van 0,1 behaalde en de theoretisch best mogelijke score 1,0 was, bedroeg het gemiddelde resultaat slechts 0,166. Zelfs het sterkste systeem slaagde er net in om 0,250 te bereiken. Dit betekent dat de meest capabele agenten minder dan een vijfde van de afstand tussen de bestaande methode en de best mogelijke uitkomst wisten te overbruggen. De onderzoekers ontdekten dat de reden voor deze kloof niet een gebrek aan inspanning of rekenkracht was, maar een gebrek aan richting. Toen het team de codewijzigingen analyseerde die de agenten aanbrachten, ontdekten ze dat de overgrote meerderheid van de inzendingen de kern van de leeregels helemaal niet aanraakte. In plaats daarvan pasten de meeste agenten simpelweg aan hoe lang de training duurde, hoe vaak de voortgang werd opgeslagen, of de specifieke getallen die werden gebruikt om het proces af te stemmen. Dit zijn wijzigingen aan de uitvoering, niet aan de manier waarop het model leert.
Slechts een kleine minderheid van de agenten, ongeveer 46 procent van hen die überhaupt wijzigingen aanbrachten, drong daadwerkelijk door tot het leeralgoritme om de doelstelling, het supervisiesignaal of de update-regel te wijzigen. Deze agenten presteerden aanzienlijk beter, met een gemiddelde score van 0,226 vergeleken met 0,126 voor de anderen. Dit suggereert dat de weg naar echte verbetering ligt in het veranderen van de fundamentele manier waarop de machine leert, een stap waar de meeste huidige systemen terughoudend in zijn. De studie toonde ook aan dat het vergroten van de hoeveelheid redeneerinspanning die een agent mocht gebruiken de agenten niet in algemene zin slimmer maakte, maar maakte hen wel gedurfder. Wanneer de agenten meer tijd kregen om na te denken en te plannen, steeg het percentage van hen dat durfde de leeregels te wijzigen van 8 procent naar 64 procent. Deze toename in de bereidheid om een risico te nemen met het kernalgoritme was wat de verbetering aanjoeg, in plaats van een plotselinge sprong in de kwaliteit van de gegenereerde ideeën.
Uiteindelijk concludeert het artikel dat de huidige AI-agenten nog steeds een competent basisniveau proberen te evenaren in plaats van daar voorbij te ontwerpen. Ze zijn uitstekend in het optimaliseren van het proces rondom het leren, maar ze worstelen met het herontwerpen van het leerproces zelf. De onderzoekers hebben al hun gegevens vrijgegeven, inclus\nuit de codewijzigingen en de scores, zodat anderen de test kunnen herhalen naarmate AI-systemen evolueren. De benchmark dient als een meetlat voor een specifiek soort vooruitgang: of een machine naar zijn eigen leermethode kan kijken, een fout kan diagnosticeren en het mechanisme dat zijn eigen verbetering aandrijft, kan herschrijven. Voor nu is het antwoord dat hoewel ze het kunnen proberen, ze zelden slagen in het maken van de diepe veranderingen die nodig zijn om hun eigen intelligentie werkelijk te laten cumuleren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.