LLMs as Acquisition Policies for Finite-Pool Materials Optimization: A Controlled Study

De zoektocht naar nieuwe materialen is een traag, duur en vaak frustrerend proces. Wetenschappers moeten specifieke combinaties van elementen vinden die gewenste eigenschappen bezitten, zoals een metaal dat zowel ongelooflijk sterk als lichtgewicht is, of een keramiek dat extreme hitte kan weerstaan. Traditioneel heeft het vinden van deze combinaties berust op trial-and-error, waarbij duizenden mogelijkheden één voor één worden getest in een laboratorium of via complexe computersimulaties. Omdat elke test tijd en geld kost, hebben onderzoekers zich gericht op een strategie genaamd active learning. Deze aanpak gebruikt een computer om als een gids te fungeren, waarbij naar de resultaten van eerdere tests wordt gekeken om te beslissen welke enkele kandidaat als volgende geprobeerd moet worden. Het doel is om het best mogelijke materiaal te vinden met zo min mogelijk tests, in plaats om blindelings elke optie in een enorme lijst af te gaan.

Jarenlang was het standaardinstrument voor deze begeleiding een statistische methode die bekend staat als een Gaussische proces. Denk aan deze methode als een cartograaf die een kaart tekent van een mistig landschap; het gebruikt de weinige punten die het heeft gezien om de vorm van het terrein daartussen te raden, waarbij een balans wordt gezocht tussen de noodzaak om onbekende gebieden te verkennen en het verlangen om bekende hoge punten uit te buiten. Onlangs is een nieuw type kunstmatige intelligentie, een large language model, in het gesprek terechtgekomen. Dit zijn dezelfde krachtige systemen die verhalen kunnen schrijven, vragen kunnen beantwoorden en puzzels kunnen oplossen door te leren van enorme hoeveelheden tekst. Onderzoekers zijn gaan afvragen of deze modellen, die tijdens hun training een enorme hoeveelheid wetenschappelijke kennis hebben geabsorbeerd, zelf als gids kunnen fungeren. Zou een large language model naar een lijst met potentiële materialen kunnen kijken en simpelweg "weten" welk materiaal het als volgende moet testen, zonder eerst een statistische kaart te hoeven bouwen?

Een team van onderzoekers bij het RIKEN Center for Computational Science in Tokio zette zich af met een gecontroleerd experiment om deze vraag te beantwoorden. Ze bouwden geen nieuwe chemische fabriek of voerden fysieke tests uit; in plaats daarvan gebruikten ze een methode genaamd retrospectieve benchmarking. Ze namen vier bestaande datasets van materialen die al eerder waren getest en behandelden deze als een gesloten universum van mogelijkheden. In deze opstelling kregen de computerprogramma's een kleine startlijst van bekende resultaten en een grote poel van ongeteste kandidaten. De taak was simpel: vind de enkel beste kandidaat in de poel zo snel mogelijk. De onderzoekers testten vijf verschillende open-source large language models tegen de standaard statistische gids en een volledig willekeurige selectiemethode. Ze wilden zien of de taalmodellen uit de geschiedenis van tests konden leren en op eigen initiatief slimme keuzes konden maken.

De resultaten toonden aan dat de large language models inderdaad in staat waren om als gidsen te fungeren. In elke enkele taak vonden de modellen het beste materiaal veel sneller dan een willekeurige gokker zou doen. Dit was een belangrijke bevinding omdat het bewees dat deze modellen wetenschappelijke kennis in zich dragen, zelfs zonder specifiek voor de taak te zijn getraind. Ze konden kijken naar de geschiedenis van wat wel en niet werkte, en die informatie gebruiken om de zoektocht in te perken. De modellen waren echter niet consistent beter dan de standaard statistische gids. In drie van de vier taken was de traditionele methode nog steeds sneller en betrouwbaarder. De taalmodellen presteerden alleen beter dan de standaard gids in één specifieke taak, en zelfs dan varieerden de resultaten afhankelijk van welk model werd gebruikt en hoe de informatie aan hen werd gepresenteerd.

De studie onthulde ook dat de manier waarop informatie aan het model wordt gepresenteerd, diepgaand van belang is. Wanneer de onderzoekers de modellen een lijst met kandidaten gaven met eenvoudige, anonieme labels zoals "kenmerk één" en "kenmerk twee", presteerden de modellen nog steeds goed, maar niet zo goed als wanneer ze de werkelijke wetenschappelijke namen kregen, zoals "ijzer" of "vloeigrens". Dit suggereert dat de modellen niet alleen getallen verwerken; ze gebruiken hun begrip van de echte wereld. Wanneer ze de naam van een element of een fysieke eigenschap zien, kunnen ze hun training gebruiken om een betere gok te doen. De onderzoekers ontdekten echter ook dat de modellen een zwakte hebben: ze hebben de neiging om items te bevoordelen die aan het begin van een lijst verschijnen. Als de lijst met kandidaten wordt gehusseld, kan het model een andere kiezen, zelfs als de data identiek is. Deze "positiebias" betekent dat de modellen niet perfect consistent zijn en dat hun prestaties kunnen veranderen op basis van de volgorde waarin de opties worden getoond.

Om de omvang van de lijsten te beheersen, probeerden de onderzoekers een andere strategie genaamd een batch tournament. In plaats van het model de volledige lijst van honderden kandidaten in één keer te tonen, verdeelden ze de lijst in kleinere groepen, lieten het model een winnaar uit elke groep kiezen, en herhaalden het proces vervolgens met de winnaars totdat er slechts één overbleef. Deze methode hielp sommige modellen beter te presteren, met name bij taken met zeer grote lijsten, omdat het voorkwam dat de modellen overweldigd raakten door te veel informatie tegelijk. Toch won er, zelfs met deze verbetering, geen enkel model of strategie elke keer. De beste aanpak hing volledig af van het specifieke materiaal dat werd gezocht en de grootte van de kandidaatengroep.

De onderzoekers concludeerden dat hoewel large language models een veelbelovend nieuw instrument zijn voor het begeleiden van materiaaldetectie, ze nog geen vervanging zijn voor gevestigde statistische methoden. Ze bieden een nuttig signaal dat de zoektocht kan versnellen, vooral wanneer de modellen een duidelijke wetenschappelijke context krijgen, maar ze missen de betrouwbaarheid en consistentie van de traditionele tools. De studie benadrukt dat de toekomst van AI in de wetenschap niet gaat over het vervangen van de oude methoden, maar over het vinden van de juiste manier om ze te combineren. De modellen tonen aan dat ze het potentieel hebben om behulpzame partners te zijn, maar hun prestaties zijn gevoelig voor de manier waarop ze gevraagd worden om te werken. Naarmate het vakgebied vooruitgaat, zal de uitdaging zijn om te begrijpen hoe de data precies gepresenteerd moet worden zodat deze krachtige instrumenten even betrouwbaar kunnen zijn als de wetenschappers die hen gebruiken.