Large language models do not replace chemists in a closed-loop catalysis experiment

Technische Samenvatting: Large Language Models vervangen chemici niet in een closed-loop katalyse-experiment

Probleemstelling
De studie onderzoekt de capaciteit van Large Language Models (LLM's) om te fungeren als autonome redeneeragenten in complexe, hoogdimensionale en ruisgevoelige wetenschappelijke experimenten. Hoewel LLM's bekwaamheid hebben getoond in kennisretrieval en single-shot hypothesegeneratie, blijft hun prestatie in langdurige, closed-loop laboratoriumomgevingen—gekenmerkt door experimentele drift, meetruis en de noodzaak tot iteratieve adaptatie—grotendeels onverkend. De auteurs zochten ernaar om LLM-redeneren head-to-head te benchmarken tegenover menselijke domeinexperts in een 25-dimensionaal colloïdaal katalyseprobleem, waarbij de optimale oplossing onbekend was en het systeem significante stochasticiteit vertoonde.

Methodologie
De onderzoekers maakten gebruik van een mobiele robot (KUKA LBR iiwa 14), geïntegreerd met "Opsight", een agentic optimalisatiesoftware, om een campagne van 528 experimenten uit te voeren die gericht was op het maximaliseren van waterstofproductie met behulp van nano-covalente organische frameworks (nanoCOFs) als fotokatalysatoren.

• Experimenteel Ontwerp: De probleemruimte bestond uit 25 dimensies, inclusionele vier nanoCOFs, 12 anorganische halfgeleiders, drie opofferingsagenten (sacrificial agents), drie surfactanten, pH-modificatoren en een platina-cocatalysatorprecursor. Dit creëerde een combinatorische ruimte van ongeveer $5.92 \times 10^{16}$ potentiële formuleringen.
• Fases van Uitvoering:
  • Fase 0 (Pre-experiment): Het LLM (GPT-5.1) kreeg 10 achtergrondbronnen (papers, datatabellen, spectra) verstrekt om een initiële zoekstrategie te genereren.
  • Fase 1 (Open-ended Optimalisatie): Het LLM voerde 320 experimenten uit zonder vast budget, met als doel activiteit te maximaliseren. Het navigeerde door experimentele ruis en een wijziging in de meetopstelling halverwege de campagne (het verminderen van de fotolyse-tijd om detectorverzadiging te voorkomen).
  • Fase 2 (Renormalisatie): Het systeem paste zich aan naar een fotolyse-tijd van 15 minuten om een lineaire detectorrespons te waarborgen. Het LLM kreeg de instructie om zijn data-analyse opnieuw te verankeren.
  • Fase 3 (Fixed Budget Vergelijking): Een directe vergelijking werd uitgevoerd over 160 experimenten tussen het LLM (twee keer gedraaid met verschillende prompts) en een team van vier menselijke domeinexperts. Beide agenten hadden toegang tot alle voorafgaande data. Het menselijke team maakte ook gebruik van visuele aanwijzingen (fasegedrag) die voor het LLM onbeschikbaar waren.

Belangrijkste Resultaten

• Prestaties: In de laatste fase van 160 experimenten identificeerde het menselijke team een katalysatorformulering die gemiddeld 22% actiever was dan de beste formulering gevonden door de zwakkere run van het LLM, en statistisch vergelijkbaar was met de sterkere run van het LLM. Het menselijke team vond de hoogste enkele activiteit (126 ± 8 µmol h⁻¹) vergeleken met de beste van het LLM (117 ± 17 µmol h⁻¹).
• Snelheid en Kosten: Het LLM redeneerde 35 keer sneller dan het menselijke team (59,2 minuten versus 34,7 persoonlijkuren) en werd geschat ongeveer 1.900 keer goedkoper te zijn in termen van redeneerkosten.
• Exploratiestrategie: Het menselijke team verkende een bredere chemische ruimte (31 verschillende categorische formuleringen) met minder redundantie. Het LLM was zeer exploitatief, richtte zich op een nauwe subset van variabelen (18 verschillende formuleringen) en voerde onnodige herhaalde experimenten uit.
• Redeneerfouten: Het LLM vertoonde "stille fouten" (silent errors), waaronder:
  • Een stoichiometrische berekeningsfout in Fase 0 met betrekking tot het moleculaire gewicht van de Pt-precursor.
  • Context-window beperkingen in Fase 3 die ervoor zorgden dat het terugviel op een onjuiste 60-minuten data-analyse, ondanks instructies om de 15-minuten data te gebruiken.
  • Logische inconsistenties, zoals de conclusie dat SDS de dispersibiliteit verbeterde in Fase 3, wat in strijd was met de eigen correcte voorspelling in Fase 0 dat SDS aggregatie zou induceren (een feit dat bevestigd werd door offline zeta-potentiaal en fasegedrag observaties).
• Ontdekking: Zowel het LLM als de mensen identificeerden dat de toevoeging van de anionische surfactant SDS de activiteit aanzienlijk verhoogde, hoewel het LLM dit ontdekte via experimentatie in plaats van het te extraheren uit voorafgaande kennis. Geen van beide agenten slaagde erin productieve organisch-anorganische heterojuncties te identificeren.

Belangrijkste Bijdragen

1. Eerste Directe Benchmark: Deze studie biedt een zeldzame, directe, zij-aan-zij vergelijking van LLM-redenering versus menselijke expert-redenering in een hoogdimensionaal, ruisgevoelig, real-world closed-loop experiment.
2. Identificatie van Beperkingen: Het toont aan dat hoewel LLM's complexe chemische ruimtes kunnen navigeren en zich tot op zekere hoogte kunnen aanpassen aan experimentele veranderingen, ze lijden onder geheugenbeperkingen, stille logische fouten en een neiging tot overmatige exploitatie zonder menselijk toezicht.
3. Kosten-Batenanalyse: Het werk kwantificeert de afruil tussen de snelheid/kostenefficiëntie van machine-redenering en de diepgang/betrouwbaarheid van menselijke redenering, en suggereert dat de optimale taakverdeling afhangt van het kosten- en risicoprofiel van de experimenten.

Betekenis en Claims
De auteurs concluderen dat LLM's geen "out-of-the-box" vervangingen zijn voor expert-redenering bij complexe wetenschappelijke problemen. Hoewel het LLM (GPT-5.1) succesvol een langdurige campagne leidde en productieve hypothesen vond, slaagde het er niet in om de algehele effectiviteit van menselijke experts in de finale optimalisatiefase te evenaren vanwege redeneerfouten en een gebrek aan zintuiglijke perceptie (bijv. het onvermogen om faseveranderingen te zien).

Het artikel betoogt dat de toekomst van autonome laboratoria ligt in hybride systemen die de snelheid en lage kosten van machine-redenering combineren met het toezicht, de oordeelsvorming door perceptie en de foutcorrectie van menselijke experts. De auteurs stellen dat voor snelle, goedkope en laag-risico experimenten machine-redenering zeer voordelig is, maar dat naarmate experimenten trager, kostbaarder of gevaarlijker worden, menselijke interventie of nauwlettend toezicht cruciaal wordt om de risico's van stille machinefouten te beperken. De studie benadrukt dat het ontwerpen van systemen waarin mensen en LLM's samenwerken, in plaats van het streven naar volledige autonomie, de meest efficiënte weg vooruit is.