LLM Agents for Knowledge Discovery in Atomic Layer Processing

Dit artikel toont aan dat Large Language Model-agenten, uitgerust met beperkte onderzoekstools en geleid door trial-and-error-persistentie in plaats van expliciete instructies, autonoom kennis over complexe systemen kunnen ontdekken en verifiëren, variërend van eenvoudige gezelschapsspellen tot geavanceerde simulaties van Atomic Layer Processing-reactoren.

De kern

Het Grote Idee: AI leren om een nieuwsgierige detective te zijn

Stel je voor dat je een zeer slimme robot hebt (een Large Language Model, of LLM) die bijna elk boek heeft gelezen dat ooit geschreven is. Meestal vragen we deze robot om samen te vatten wat hij weet of om een specifieke wiskundige som op te lossen. Maar dit paper stelt een andere vraag: Kan deze robot iets volkomen nieuws ontdekken door gewoon rond te spelen, zonder dat hem verteld wordt waar hij naar moet zoeken?

De onderzoekers wilden zien of een AI als een nieuwsgierige wetenschapper kon optreden: aan een systeem peuteren, kijken wat er gebeurt, en op eigen kracht de verborgen regels ontdekken.

Om dit te testen, creëerden ze twee "black box"-spelletjes waarbij de AI de regels moest raden door middel van vallen en opstaan.

---

Spel 1: De Buitenaardse Markt (Het Woordpuzzelspel)

De Opzet:
Stel je voor dat de AI op een vreemde planeet is. Er is een markt waar buitenaardse wezens dingen verkopen. De AI kan de aliens vragen: "Kan ik [woord] kopen?" De aliens zullen "Ja" of "Nee" zeggen.

De Verborgen Regel:
De aliens hebben een geheime regel: Ze zullen je nooit iets verkopen als het woord de letters "P" of "M" bevat.

Het Experiment:
De onderzoekers vroegen de AI om deze regel te achterhalen.

• De Strijd: De meeste AI-modellen probeerden een paar woorden, zagen een patroon en stopten dan. Ze dachten bijvoorbeeld: "Oh, ze verkopen geen woorden met dubbele letters!" en waren er klaar mee. Ze gaven te vroeg op.
• Het Succes: Het slimste model (GPT-5) ging door. Het realiseerde zich dat het niet genoeg was om slechts een paar woorden te raden. Toen de onderzoekers tegen de AI zeiden: "Je moet minstens 50 woorden proberen voordat je me je antwoord geeft," slaagde de AI. Het bleef woorden testen totdat het eindelijk besefte: "Ah! Het gaat niet om dubbele letters; het gaat om de specifieke letters P en M."

De Les:
Soms gaat ontdekken niet over "slimmer" zijn; het gaat over doorzettingsvermogen. Als je te vroeg stopt met experimenteren, mis je het antwoord.

---

Spel 2: De Atomaire Laag Reactor (De Chemische Keuken)

De Opzet:
Stel je nu een hightech keuken voor voor het maken van ultradunne films (gebruikt in computerchips). Deze keuken heeft een complexe reactor met leidingen, kleppen en sensoren.

• De AI is de chef.
• Het heeft vier verschillende "ingrediënten" (Chemicaliën A, B, C en D).
• Het heeft een drukmeters en een weegschaal (om de dikte van de film te meten).
• Cruciaal: De AI heeft geen handleiding. Het weet niet wat de chemicaliën doen. Het kent de recepten niet. Het weet alleen dat het kleppen kan openen, de temperatuur kan veranderen en kan wachten.

Het Doel:
De enige taak van de AI is: "Verken deze keuken en vertel me wat er mogelijk is." Er werd de AI niet verteld om een specifiek type chip te maken; het hoefde alleen maar te spelen.

De Ontdekking:
De AI begon chemicaliën in verschillende volgordes en temperaturen te mengen.

• De "Lokale Val": In sommige scenario's kwam de AI vast te zitten. Het vond een manier om een heel klein beetje film te maken (een "lokaal minimum") en dacht: "Oké, dit is hoe deze keuken werkt," en stopte. Het realiseerde zich niet dat er een veel betere manier was om te koken als het simpelweg de temperatuur hoger maakte of langer wachtte.
• De Doorbraak: Wanneer de onderzoekers de AI meer tijd gaven en een kleine hint over hoe zwaar een enkele laag materiaal zou moeten zijn (zoals zeggen: "Een laagje stof weegt ongeveer dit veel"), brak de AI uit de val. Het begon te experimenteren met hogere temperaturen en langere wachttijden.
• Het Resultaat: De AI ontdekte succesvol complexe processen zoals Atomic Layer Deposition (het opbouwen van een laag, atoom voor atoom) en Atomic Layer Etching (het verwijderen van een laag, atoom voor atoom). Het ontdekte zelfs hoe het bepaalde delen van het oppervlak kon "passiveren" (beschermen) zodat er daar geen reacties zouden plaatsvinden.

De Les:
De AI had geen tekstboek nodig om te leren. Het leerde door te experimenteren. Echter, het had genoeg tijd en middelen nodig om te ontsnappen aan "doodlopende wegen" waar het dacht dat het het antwoord had gevonden, maar dat eigenlijk niet zo was.

---

Waarom dit ertoe doet (Volgens het Paper)

De onderzoekers ontdekten drie belangrijke zaken:

1. Doorzettingsvermogen is essentieel: AI-modellen geven vaak te gemakkelijk op. Als je ze dwingt om meer experimenten uit te voeren, vinden ze betere antwoorden.
2. Padafhankelijkheid: Waar de AI begint, maakt uit. Als de AI eerst "Apple" probeert in de buitenaardse markt, kan het vast komen te zitten in de gedachte dat de regel over dubbele "P"s gaat. Als het met een ander woord begint, vindt het de echte regel sneller. Het is als het nemen van een ander pad in een doolhof; je loopt tegen een muur aan of vindt de uitgang, afhankelijk van waar je als eerste afslaat.
3. Ontdekking versus Optimalisatie: Meestal vertellen we een AI: "Maak de best mogende batterij." Dit paper laat zien dat AI ook kan zeggen: "Ik weet niet wat de beste batterij is, maar laat me dit systeem eens aanraken en prikken tot ik iets interessants vind." Dit is hoe we dingen kunnen ontdekken waarvan we niet eens wisten dat we ernaar moesten zoeken.

De Kernboodschap

Dit paper bewijst dat Large Language Models kunnen fungeren als onafhankelijke ontdekkingsreizigers. Ze citeren niet alleen feiten die ze hebben geleerd op school; ze kunnen de regels van een nieuw systeem ontdekken door er aan te peuteren, de resultaten te observeren en de verbanden te leggen — mits ze genoeg tijd krijgen en worden aangemoedigd om niet te vroeg op te geven.

Het is alsof je een kind een doos LEGO geeft en zegt: "Bouw iets," in plaats van "Bouw een kasteel." Het kind kan een ruimteschip bouwen, een draak, of een vreemd nieuw wezen dat jij je nooit had kunnen voorstellen. Dat is het soort "kennisontdekking" waar de auteurs zo enthousiast over zijn.

Technische samenvatting

Technische Samenvatting: LLM-agenten voor kennisontdekking in Atomic Layer Processing

Probleemstelling

Hoewel Large Language Models (LLM's) en agentische systemen veelbelovend zijn in de materiaalkunde voor het synthetiseren van bestaande literatuur en het optimaliseren van welgedefinieerde doelstellingen (bijv. eigenschapsoptimalisatie), blijft er een aanzienlijke uitdaging bestaan: het onderscheid maken tussen de extractie van latente kennis die tijdens de training is opgenomen en de ontdekking van werkelijk nieuwe kennis. De meeste huidige agentische workflows zijn ontworpen om specifieke doelen te bereiken met behulp van bestaande databases, wat het moeilijk maakt om het vermogen van een agent te isoleren om een onbekend systeem te onderzoeken en regels vanaf nul af te leiden. Dit artikel adresseert de kloof in het testen van de capaciteiten van LLM-agenten voor onafhankelijke kennisontdekking in data-arme condities waarbij de onderliggende regels onbekend zijn en geen deel uitmaken van de trainingsdata van het model.

Methodologie

De auteurs stellen een raamwerk voor waarbij LLM-agenten worden hergebruikt om een systeem te onderzoeken met behulp van een "black box"-functie. De agent krijgt een specifiek systeem met beperkte input/output-ruimtes en krijgt de taak om de sturende regels te beschrijven zonder expliciete instructies over hoe deze te ontdekken of wat de regels zouden kunnen zijn. De studie maakt gebruik van twee verschillende experimentele opstellingen:

1. Het "Alien Market" Parlor Game: Een vereenvoudigd logisch systeem waarbij een agent een afwijzingsregel moet afleiden (woorden die specifieke letters bevatten, 'm' of 'p', worden afgewezen) door inputs te testen. Dit dient als een proof of concept voor regelontdekking.
2. Atomic Layer Processing (ALP) Reactor Simulatie: Een complexe, gesimuleerde chemische reactieomgeving.
   • Systeem: De agent bestuurt een reactor met fictieve precursoren (A, B, C, D) en oppervlakken. De agent heeft toegang tot beperkte sondes: een Quartz Crystal Microbalance (QCM) voor massaverandering en een drukmeter. De agent kan de interne reactiekinetiek of chemische identiteiten niet direct observeren.
   • Implementatie: De agent gebruikt een LangChain ReAct-architectuur. De agent ontvangt een "recept"-formaat om kleppen, temperaturen en gasstromen te besturen.
   • Dataverwerking: Om de complexiteit van ruwe sensordata (5fdata-dimensionele vectoren) te beheersen, vat een secundaire LLM het experimentele narratief (druk- en massatraces) samen tot een beschrijving op hoog niveau voor de hoofdagent.
   • Restricties: De agent krijgt een vaste hoeveelheid "experimentele tijd" (bijv. 3600s of 7200s) en moet het systeem onderzoeken om algemene verklaringen over het gedrag te genereren.

De studie vergelijkt verschillende modelgroottes (bijv. GPT-5, Gemini 2.5 Pro/Flash) en onderzoekt de impact van persistentie (het afdwingen van een specifiek aantal experimenten) en context (het verstrekken van referentiewaarden zoals QCM-massaberbereiken) op het succes van de ontdekking.

Belangrijkste Resultaten

1. Alien Market Experimenten

• Prestaties van het model: Grotere modellen (GPT-5) presteerden beter dan kleinere modellen, maar bereikten dit door aanzienlijk meer experimenten uit te voeren. Kleinere modellen stopten vaak voortijdig met onderzoeken en gaven regels die alleen overeenkwamen met hun initiële observaties.
• Persistentie: Het expliciet instrueren van agenten om een gedefinieerd aantal experimenten ($n$) uit te voeren, verbeterde de regelontdekking aanzienlijk bij alle modellen, wat suggereert dat het "pushen" van modellen om hun onderzoek uit te breiden een levensvatbare strategie is voor generaliseerbare resultaten.

2. ALP Reactor Experimenten

• Configuratie I (Gunstige Kinetiek): Met twee chemicaliën (A en B) en gunstige reactiekinetiek ontdekten de agenten succesvol zelflimiterende oppervlaktereacties (Atomic Layer Deposition, ALD) en maakten zij hier gebruik van. Ze verkenden verder de kinetische limieten en de decompositiegroeiwijzen binnen de toegewezen tijd.
• Configuratie II (Moeilijke Kinetiek): Wanneer de reactiekinetica werd vertraagd en de dampdruk werd verlaagd, kwamen de agenten aanvankelijk vast te zitten in een "lokaal minimum" en beschreven ze een proces dat meer op Chemical Vapor Deposition (CVD) leek met een lage groeisnelheid.
  • Tijd vs. Context: Het louter verhogen van de tijd (naar 7200s) loste het probleem niet op. Echter, het verstrekken van contextuele referentiewaarden (bijv. verwachte monolayer massaberbereiken voor QCM) stelde de agent in sommige iteraties in staat om uit het lokale minimum te breken, waardoor de correcte zelflimiterende gedragingen of decompositiepaden werden ontdekt.
• Configuratie III (Uitgebreide Ruimte): Met vier chemicaliën verkenden de agenten een grotere ruimte, inclusom de ALD, Atomic Layer Etching (ALE) en passivering.
  • Pad-afhankelijkheid: De resultaten waren sterk pad-afhankelijk. Verschillende iteraties verkenden verschillende delen van de experimentele ruimte (bijv. één iteratie vond ALD maar miste ALE; een andere vond ALE maar miste co-dosering).
  • Visualisatie: Het gebruik van Uniform Manifold Approximation and Projection (UMAP) op de reactor-toestandsvectoren onthulde dat agenten in elke iteratie verschillende regio's van de experimentele ruimte bezochten, wat suggereert dat een "swarm"-strategie met meerdere agenten de ruimte uitgebreider kan dekken.

Belangrijkste Bijdragen

• Raamwerk voor Pure Ontdekking: Het artikel demonstreert een methode om het vermogen van LLM-agenten om nieuwe regels te ontdekken te isoleren door voorkennis en specifieke optimalisatiedoelen te verwijderen, en in plaats daarvan te vertrouwen op systeeminterrogatie.
• Rol van Persistentie en Context: De studie identificeert dat persistentie (het afdwingen van uitgebreid experimenteren) en contextuele hints (het verstrekken van fysieke referentiebereiken) cruciaal zijn voor agenten om lokale minima te verlaten en complexe, zeldzame effecten in hoog-dimensionale ruimtes te ontdekken.
• Pad-afhankelijkheid in AI-ontdekking: Het werk benadrukt dat AI-gestuurde ontdekking niet deterministisch is; het traject van ontdekking hangt sterk af van de begincondities en willekeurige seeds. Dit suggere \text{st dat diverse exploratiestrategieën (bijv. het variëren van temperatuur of het gebruik van meerdere agenten) nodig zijn voor robuuste wetenschappelijke ontdekking.
• Brug van Simulatie naar Realiteit: De reactor-simulatie gebruikt een recept-formaat dat identiek is aan de fysieke laboratoriumapparatuur van de auteurs, wat een directe route biedt voor de overgang van door agenten gestuurde simulaties naar fysieke experimenten.

Betekenis en Claims

De auteurs beweren dat dit werk een "proof of concept" biedt dat LLM-agenten in staat zijn om:

1. Onbekende systemen te onderzoeken en redelijk goed te redeneren over uitkomsten wanneer zij worden aangemoedigd om voldoende middelen te gebruiken.
2. Complexe ideeën na te streven op basis van initiële observaties.
3. Bevindingen samen te vatten in algemene systeemverklaringen zonder vooraf gedefinieerde doelstellingen.

Het artikel positioneert dit als een stap naar onafhankelijke ontdekking in data-arme condities, een gebied waar AI/ML de traditionele literatuurwinning kan aanvullen. De auteurs benadrukken dat hoewel het optimaliseren voor specifieke doelstellingen een volwassen veld is, het vermogen om systemen te verkennen zonder vooraf gedefinieerde doelen kan helpen bij het construeren van uitgebreide wetenschappelijke databases die vrij zijn van de "bias naar succes" die vaak in de gepubliceerde literatuur wordt gevonden. Het werk concludeert dat hoewel agenten kunnen worden uitgebreid met kennis, er ook waarde is in het toestaan dat zij voorkennis negeren of kritisch onderzoeken om nieuwe paden te vinden, mits de experimentele restricties in balans worden gehouden tussen veiligheid en flexibiliteit.