Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

De Digitale Labrat: Wanneer AI Alleen Probeert een Wetenschapper te Zijn

Stel je een wereld voor waarin computers niet alleen instructies volgen, maar ook gevraagd worden om zelf uit te zoeken hoe ze een puzzel moeten oplossen. Dit is het domein van Machine Learning, een tak van de wetenschap waarbij we computers leren leren van data in plaats van elke regel hard te coderen. Meestal, wanneer we willen dat een computer beter wordt in een taak — zoals het herkennen van katten op foto's of het voorspellen van het weer — gebruiken we een methode genaamd Neural Architecture Search. Denk hierbij aan het bouwen van de perfecte Lego-toren. Je hebt een doos met bakstenen (de code van de computer) en je wilt ze zo stapelen dat de toren zo hoog en sterk mogelijk wordt. Traditioneel hebben mensen de regels ontworpen voor hoe je de bakstenen kiest, of hebben we eenvoudige wiskunde gebruikt om te raden welke combinaties het beste zouden werken.

Maar wat als we de hele doos met Lego in handen geven aan een superintelligente robot en zeggen: "Jij zoekt het maar uit. Bouw de beste toren die je kunt, en stop niet totdat je klaar bent"? Dat is de grote vraag die dit artikel onderzoekt. Het vraagt: Als we één Artificial Intelligence (AI)-agent alle instrumenten geven die een menselijke onderzoeker nodig heeft — zoals een notitieblok, een bibliotheek en een computer om tests uit te voeren — kan het dan wekenlang als een eenzame wetenschapper optreden? We geven hierom omdat we, naarmate AI slimmer wordt, willen weten of het ons kan helpen nieuwe dingen sneller te ontdekken, of dat het alleen maar in een lus terechtkomt van het maken van kleine, saaie aanpassingen. Het antwoord gaat niet alleen over het bouwen van betere torens; het gaat over het begrijpen van hoe we een team bouwen waarin mensen en robots samenwerken zonder dat de robot verveeld of in de war raakt.

---

Het Experiment: Een Robot-onderzoeker op een Lange Reis

In deze studie hebben de onderzoekers een digitale laboratoriumopstelling gemaakt en de sleutels overhandigd aan een enkele, algemene AI. Ze vroegen de AI niet alleen om een wiskundig probleem op te lossen; ze vroegen het om een nieuw type computerbrein te ontwerpen, een Vision Transformer. Specifiek gaven ze het een lastige beperking: het brein moest werken met alleen "channel attention" (het focussen op de kleuren en texturen van een afbeelding) en mocht geen gebruik maken van "spatial attention" (het kijken naar waar dingen zich in de afbeelding bevinden). Dit was alsof je een chef-kok vraagt een gastronomisch diner te bereiden zonder ooit een mes of een fornuis te gebruiken, wat de AI dwong om een compleet nieuwe manier van koken uit te vinden.

De AI kreeg een specifieke set hulpmiddelen: een manier om zijn code te beheren, een tracker om zijn experimenten te volgen, een persistent geheugen om te onthouden wat hij geprobeerd heeft, en halverwege de toegang tot een digitale bibliotheek van wetenschappelijke artikelen. De menselijke onderzoekers namen een stap terug en grepen alleen in om de regels van het spel te veranderen of om de AI een duwtje te geven wanneer hij vastliep. De AI werd ongeveer 10 weken aan echte tijd aan het werk gelaten, waarbij hij ongeveer 150 experimenten indiende en ongeveer 2.400 GPU-uren aan computerkracht verbruikte. Het was een marathon, geen sprint.

Het Verhaal van Drie Fasen

Het experiment ontvouwde zich in drie duidelijke hoofdstukken, elk met een eigen sfeer en uitkomst.

Fase 1: Het Gouden Uur en de Muur
Aan het begin was de AI als een kind in een snoepwinkel. Het maakte snelle, enorme verbeteringen. In slechts zes eerste pogingen ontdekte het een fundamentele truc die de nauwkeurigheid met een enorme hoeveelheid verhoogde. Het was zo effectief dat deze ene vroege idee verantwoordelijk was voor ongeveer 80% van alle vooruitgang die de AI ooit maakte op de kleine testdataset. Maar toen stopte het plezier. De AI liep tegen een "verzadigingsmuur" aan. Het bleef proberen de instellingen te verfijnen — het veranderen van getallen hier, het aanpassen van knoppen daar — maar niets werkte. Het zat vast in een lus van het maken van kleine, incrementele veranderingen die niet hielpen. Het was also wordt de robot door de bomen het bos niet meer zag en gewoon rondjes draaide zonder vooruitgang te boeken.

Fase 1b: De Bibliotheek Opent
De menselijke onderzoekers merkten dat de robot vastzat. Ze veranderden niet het brein van de robot; in plaats daarvan gaven ze het een nieuw hulpmiddel: toegang tot een bibliotheek van wetenschappelijke artikelen. Plotseling veranderde het gedrag van de AI. Het stopte met het louter verfijnen van getallen en begon gedurfde wijzigingen aan te brengen in de eigenlijke code, geïnspireerd door wat het las. Het begon nieuwe structuren voor te stellen in plaats van alleen oude aan te passen. Dit suggereert dat de robot niet "dom" was; het had gewoon een andere soort sleutel nodig om het volgende niveau van denken te ontsluiten.

Fase 2 en 3: Opschalen en Struikelen
Toen de onderzoekers de AI naar steeds moeilijkere tests verplaatsten (van kleine plaatjes naar enorme, complexe afbeeldingen), herhaalde het patroon zich. De AI zou een goede oplossing vinden, om vervolgens vast te lopen bij het proberen van kleine verbeteringen aan die specifieke oplossing. Het werd erg "hebzuchtig", wat betekende dat het zo dol was op zijn huidige beste idee dat het weigerde iets totaal anders te proberen, zelfs toen dat idee duidelijk faalde. Bijvoorbeeld, bij de moeilijkste test vond de AI een oplossing die redelijk werkte, en besteedde daarna 18 pogingen aan het maken van kleine, nutteloze aanpassingen aan die oplossing, terwijl het de realiteit negeerde dat het vastzat. Het was als een bestuurder die een lekke band vond, besloot gewoon door te rijden, en vervolgens urenlang probeerde de band te poetsen in plaats van hem te vervangen.

Wat de Robot Leerde (en Wat Niet)

De AI was verrassend goed in sommige zaken. Het "herontdekte" onafhankelijk van meerdere bekende wetenschappelijke feiten. Zo ontdekte het bijvoorbeeld dat voor dit specifieke type computerbrein, het hebben van slechts één "head" om op details te focussen beter was dan het hebben van vele "heads" — een bevinding die overeenkomt met wat menselijke wetenschappers al wisten. Het realiseerde zich ook dat sommige trucs die werkten op kleine afbeeldingen de prestaties op grote afbeeldingen juist verslechterden, wat aantoonde dat het kon leren van zijn fouten.

De AI vertoonde echter ook enkele grappige, menselijke gebreken.

• Risicomijdend gedrag: Nadat het een gedurfde, risicovolle idee had geprobeerd die mislukte, werd het zeer timide. Het bleef lange tijd vasthouden aan veilige, saaie ideeën, ook al mochten de regels het toestaan om weer eens iets waanzinnigs te proberen.
• Succes najagen: Het was dol op het blijven doen van wat onlangs succesvol was geweest. Als het een manier vond om het computerbrein iets sneller te maken, bleef het proberen het nóg iets sneller te maken, waarbij het de mogelijkheid negeerde dat een totaal andere aanpak beter zou kunnen zijn.
• De "Hebzuchtige" Val: Het grootste probleem was niet dat de AI slecht was in denken; het was dat de regels van het spel het dwongen om hebzijdig te zijn. Het systeem was zo opgezet dat de AI een idee alleen kon behouden als het beter was dan het vorige idee. Dit is als een spel waarbij je alleen vooruit kunt bewegen als je een stap omhoog op een heuvel zet, maar nooit zijwaarts kunt gaan of terug kunt stappen om een ander pad te proberen. De AI volgde de regels perfect op, wat betekende dat het vast kwam te zitten op lokale heuvels in plaats van de top van de berg te vinden.

De Belangrijkste Conclusie: Het is de Workflow, Niet het Brein

De belangrijkste bevinding van dit artikel is een verrassing. De onderzoekers concludeerden dat de workflow (de regels en hulpmiddelen gegeven aan de AI) net zo belangrijk was, zo niet belangrijker, dan de intelligentie van de AI zelf.

De AI faalde niet omdat het "dom" was. De AI faalde omdat het een spel speelde dat ontworpen is voor korte sprints, niet voor lange marathons. De "commit-of-discard"-regel (behouden als het beter is, weggooien als het slechter is) dwong de AI om te handelen als een hebzuchtige klimmer die alleen naar de stap direct voor hen kijkt. Als de onderzoekers het spel anders hadden ontworpen — door de AI toe te staan om tegelijkertijd een paar verschillende ideeën te laten draaien, of door het te dwingen om elke paar beurten een "moonshot"-idee te proberen — waren de resultaten totaal anders geweest.

Kortom, het artikel suggereert dat als we AI een geweldige onderzoekspartner willen maken, we niet alleen moeten proberen de AI slimmer te maken. We moeten betere "workflows" bouwen die de AI aanmoedigen om risico's te nemen, verschillende paden te verkennen en niet vast te blijven zitten aan hun huidige favoriete idee. De AI is een onvermoeibare, capabele werker, maar zonder de juiste instructies en hulpmiddelen kan het gemakkelijk in een lus terechtkomen van het steeds opnieuw doen van hetzelfde. De toekomst van AI-onderzoek ligt volgens de auteurs in het ontwerpen van betere systemen om deze digitale geesten te begeleiden, in plaats van er simpelweg vanuit te gaan dat ze het vanzelf wel uitzoeken.