Experimental reasoning in large language models

Wetenschap is altijd een gesprek geweest tussen een vraag en de fysieke wereld. Een onderzoeker stelt een idee voor, ontwerpt een test om te zien of de wereld het ermee eens is, en kijkt dan wat er gebeurt. Als het resultaat onverwacht is, past de onderzoeker het plan aan en probeert het opnieuw. Deze cyclus van vragen, handelen en aanpassen is de motor van ontdekking. Decennialang hebben wetenschappers geprobeerd machines te bouwen die dit werk voor hen kunnen doen. Vroege pogingen richtten zich op automatisering: robots die een strikte reeks instructies konden volgen, zoals een chef die een recept letter voor letter volgt. Deze machines zijn uitstekend in herhaling, maar ze hebben moeite wanneer de keuken in brand vliegt of een ingrediënt ontbreekt. Ze kunnen niet ter plekke nadenken. De vraag nu is of de nieuwe generatie kunstmatige intelligentie, specifiek grote taalmodellen, meer kan dan alleen bevelen opvolgen. Kunnen deze computerprogramma's daadwerkelijk redeneren door een wetenschappelijk experiment, en beslissen wat de volgende stap is op basis van wat ze zien, net zoals een menselijke wetenschapper dat zou doen?

Een team van onderzoekers aan de Duke University zette zich in om dit te beantwoorden door een systeem te bouwen dat ze PEARL noemen. Ze verbonden een standaard computerprogramma, ontworpen om de menselijke taal te begrijpen en te genereren, met een eenvoudige laboratoriumrobot en een webcam. De robot kon vloeistoffen tussen kleine bakjes verplaatsen, en de camera kon de resultaten observeren. De onderzoekers gaven het systeem een doel, zoals "maak een regenboog in de tray met bakjes", maar gaven geen stapsgewijze handleiding over hoe dit te doen. Ze vertelden het systeem niet welke kleuren het moest mengen, in welke volgorde, of zelfs welke flessen welke kleurstoffen bevatten. Het systeem moest het hele proces zelf uitzoeken. Het moest kijken naar de beschikbare instrumenten, beslissen wat het moest mengen, de actie uitvoeren, het resultaat bekijken, en vervolgens beslissen of het geslaagd was of dat het iets anders moest proberen.

Het systeem werkte door het denkproces te verdelen in verschillende rollen die met elkaar communiceerden. Eén deel van het systeem plande het experiment, een ander voorspelde wat er zou gebeuren, en een derde hield toezicht op fouten. Wanneer de robot twee vloeistoffen mengde en de kleur niet klopte, ging het systeem niet gewoon door. Het stopte, keek naar het bewijs en realiseerde zich dat de voorspelling onjuist was. Vervolgens paste het het plan aan en probeerde het een andere mengeling. In één test vroegen de onderzoekers het systeem om paars te maken met alleen rode en groene kleurstoffen. Het systeem besefte correct dat dit onmogelijk was en weigerde ze te mengen, waarbij het in plaats daarvan om een betere instructie vroeg. In een andere test draaide een mens de tray met bakjes geheim rond terwijl het systeem aan het werk was. Het systeem merkte op dat de kleuren op de verkeerde plaatsen stonden, actualiseerde zijn mentale kaart van de tray en paste zijn acties aan om de juiste vloeistoffen op de nieuwe locaties te mengen. Dit deed het zonder dat er werd gezegd dat de tray was verschoven.

De onderzoekers gingen een stap verder door het systeem te vragen een echte biochemische test uit te voeren om te meten hoe snel een enzym werkt. Dit vereiste nauwkeurige metingen en zorgvuldige timing. Het systeem moest beslissen hoeveel vloeistof het moest mengen, wanneer het een foto moest maken en hoe het de veranderende kleuren in de loop van de tijd moest analyseren. Wanneer de onderzoekers een probleem introduceerden, zoals het per ongeluk toevoegen van te veel vloeistof aan één bakje, spoorde het systeem de fout op, negeerde de slechte gegevens en gebruikte de resterende goede gegevens om de berekening te voltooien. Toen het oorspronkelijke mengsel te sterk was om nauwkeurig te meten, besefte het systeem dat het meer informatie nodig had. In plaats van te gokken, ontwierp het een nieuw, kleiner experiment om het mengsel te verdunnen en de ware kleuren te zien. Het gebruikte die nieuwe informatie vervolgens om het hoofdexperiment te corrigeren. In elk scenario slaagde het systeem erin een vage opdracht te vertalen naar een fysieke handeling, de uitkomst te interpreteren en te beslissen wat de volgende stap was.

De studie testte ook hoeveel hulp het systeem nodig had om te slagen. De onderzoekers probeerden dezelfde taken uit te voeren met een simpelere opzet die minder interne rollen had en geen gedeeld geheugen van de geschiedenis van het experiment. Deze simpelere versie faalde vaak in het leggen van de verbanden tussen wat het zag en wat het daarna moest doen. Het kon wel een probleem opmerken, maar vergat het vervolgens te herstellen, of raakte de draad kwijt in de opeenvolging van stappen. Echter, wanneer het systeem een persistent verslag van het experiment had en een paar gespecialiseerde rollen die elkaars werk controleerden, slaagde het bijna elke keer. Dit suggereert dat het vermogen om door een experiment te redeneren grotendeels voortkomt uit de onderliggende intelligentie van het taalmodel zelf, maar dat een beetje structuur helpt om het gefocust en betrouwbaar te houden.

Deze bevindingen suggereren een verschuiving in hoe we naar laboratoriumautomatisering kunnen kijken. In plaats van robots te programmeren om elke mogelijke onvoorziene situatie vooraf te voorzien, kunnen we ze binnenkort misschien een doel geven en ze de details laten uitzoeken. Het systeem had geen vooraf geschreven recept nodig voor het omgaan met een gedraaide tray of een geconcentreerde kleurstof; het bedacht die situaties ter plekke. De onderzoekers benadrukken dat dit nog geen volledig autonome wetenschapper is die nieuwe theorieën kan bedenken of diepe vragen over het universum kan stellen. De experimenten waren beperkt tot specifieke taken met visuele resultaten. Echter, het werk laat zien dat algemene computermodellen al een denkende laag kunnen vormen tussen een wetenschappelijk doel en de fysieke wereld. Ze kunnen observeren, interpreteren en aanpassen, waardoor de handeling van het experimenteren zelf een onderdeel wordt van het denkproces. Dit verplaatst het veld van eenvoudige automatisering naar een toekomst waarin machines direct kunnen deelnemen aan het wetenschappelijke proces, waarbij ze het onverwachte afhandelen en leren van wat ze zien.