AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials

Dit artikel introduceert AtomWorld, een benchmark voor het evalueren van grote taalmodellen op kristallijne materiaalsstructuurmodificaties, waaruit blijkt dat hoewel modellen zoals Claude Opus 4.6 goed presteren op basisopgaven, hun succes aanzienlijk daalt bij complexe ruimtelijke redenering, wat suggereert dat ze beter geschikt zijn als wetenschappelijke copilots dan als autonome agenten.

De kern

Stel je voor dat je een gigantische, magische instructiehandleiding hebt voor het bouwen van dingen met kleine, onzichtbare Lego-blokjes. Deze blokjes zijn atomen, en de instructies staan geschreven in een speciale code die een "CIF-bestand" wordt genoemd. Wetenschappers gebruiken deze bestanden om nieuwe materialen te ontwerpen, zoals krachtigere batterijen of betere zonnepanelen.

Onlangs hebben we computers een nieuwe superkracht gegeven: Large Language Models (LLM's). Denk hierbij aan uiterst slimme robots die menselijke taal kunnen lezen en schrijven. Ze zijn uitstekend in het beantwoorden van vragen zoals: "Wat is de chemische formule voor keukenzout?" of "Vertel een verhaal over een kristal."

Maar hier is de grote vraag die het artikel stelt: Kunnen deze slimme robots deze atomaire Lego-structuren daadwerkelijk bouwen en aanpassen wanneer erom wordt gevraagd?

Het Probleem: Lezen versus Doen

De auteurs beseften dat hoewel deze robots uitstekend zijn in het praten over wetenschap, ze nog niet zijn getest op het doen van het fysieke werk van het herschikken van atomen. Het is alsof je een chef-kok hebt die een recept perfect kan beschrijven, maar faalt wanneer erom wordt gevraagd daadwerkelijk een ui te snijden of een pannenkoek te keren.

In de echte wereld moeten wetenschappers vaak kleine, nauwkeurige wijzigingen aanbrengen in een structuur: "Verplaats dit atoom hierheen," "Draai deze groep atomen," of "Vervang deze twee elementen." Dit vereist een sterk gevoel voor 3D-ruimte en geometrie, wat heel anders is dan alleen maar tekst schrijven.

De Oplossing: AtomWorld (De Oefenterrein)

Om dit te testen, bouwden de onderzoekers een speeltuin genaamd AtomWorld.

Denk aan AtomWorld als een videospellevel dat specifiek is ontworpen voor deze AI-robots.

• De Opzet: Het spel geeft de robot een startende Lego-structuur en een eenvoudige opdracht, zoals "Draai het rode blok 90 graden naar rechts."
• Het Doel: De robot moet de nieuwe, aangepaste Lego-structuur in het juiste codeformaat uitvoeren.
• De Regels: Het spel controleert het antwoord van de robot met een strenge liniaal. Heeft het het juiste blok verplaatst? Is de hoek correct? Is de nieuwe structuur stabiel?

Ze creëerden 2.500 verschillende levels (genaamd AtomMotor-2K) die tien basissoorten bewegingen behandelen, van eenvoudige (zoals "voeg een blok toe") tot zeer moeilijke (zoals "draai een hele cluster van blokjes rond een specifiek punt").

Wat Ze Vonden: De "Motorische Vaardigheden"-Kloof

Toen ze de beste AI-modellen door deze test lieten lopen, waren de resultaten een mix van goed en slecht nieuws:

1. De "Eenvoudige" Bewegingen: Voor simpele taken zoals het toevoegen van een nieuw atoom of het verwijderen daarvan, waren de robots verrassend goed. Ze hadden het meestal goed.
2. De "Moeilijke" Bewegingen: Wanneer de taak complexe ruimtelijke redenering vereiste – zoals het draaien van een groep atomen of het verplaatsen van één atoom dichter naar een ander toe – hadden de robots het zwaar te verduren. Hun slagingspercentage daalde tot onder de 12% voor draaitaken.
   • De Analogie: Het is alsof je een robot vraagt om "een tol op een tafel te laten draaien". Het weet misschien wat een tol is, maar wanneer het probeert deze daadwerkelijk te laten draaien, duwt het vaak de tafel omver of laat het de tol in de verkeerde richting draaien.
3. Grootte Maakt Uit (Maar Niet Alles): Grotere, krachtigere AI-modellen deden over het algemeen het beter, maar zelfs de grootste modellen faalden nog steeds bij de moeilijkste ruimtelijke taken. Dit suggereert dat het simpelweg "slimmer" maken van de robot (meer data toevoegen) niet genoeg is; het heeft een ander soort "brein" nodig voor 3D-geometrie.

Het Oordeel: Co-piloten, Geen Piloot

Het artikel concludeert dat deze AI-modellen op dit moment nog niet klaar zijn om de hoofdpiloten van wetenschappelijke ontdekkingen te zijn. Ze kunnen niet worden vertrouwd om autonom complex nieuwe materialen te ontwerpen, omdat ze voortdurend geometrische fouten maken.

Ze zijn echter uitstekende co-piloten. Ze kunnen wetenschappers helpen bij het opzetten van ideeën, het controleren op eenvoudige fouten of het afhandelen van het saaie deel van het werk, maar een menselijke expert moet de uiteindelijke 3D-structuur dubbelcontroleren.

Waarom Dit Belangrijk Is

De auteurs bouwden AtomWorld niet alleen om de robots te beoordelen, maar om hen een plek te geven om te oefenen. Net zoals een mens leren autorijden door te oefenen op een parkeerplaats voordat het de snelweg opgaat, hebben deze AI-modellen een plek nodig zoals AtomWorld om te leren hoe ze atomen correct moeten "verplaatsen".

Het artikel suggereert dat toekomstige AI hierin beter kan worden door te leren van hulpmiddelen (zoals het gebruik van een rekenmachine in plaats van wiskunde in hun hoofd te doen) of door 3D-afbeeldingen te zien in plaats van alleen tekstuele beschrijvingen te lezen. Maar voor nu zijn de "motorische vaardigheden" van deze digitale wetenschappers nog steeds werk in uitvoering.

Technische samenvatting

Technische Samenvatting: AtomWorld: Een Benchmark voor het Evalueren van Ruimtelijk Redeneren in Grootte Taalmodellen over Materiaalstructuren

1. Probleemstelling

Hoewel Grootte Taalmodellen (LLM's) potentie hebben getoond in wetenschappelijk onderzoek voor kennisopvraging en eigendomsvoorspelling, richten bestaande benchmarks grotendeels op perceptuele of kennisgebaseerde taken. Zij negeren grotendeels modelleringstaken, die fundamenteel zijn voor wetenschappelijk onderzoek in de echte wereld. In de materiaalkunde is het construeren en manipuleren van atomaire structuren een zeer creatieve, maar ondergeautomatiseerde stap.

Huidige LLM-toepassingen in de kristallografie (bijv. CrystaLLM, MatterGPT) richten zich voornamelijk op het genereren van volledige kristalstructuren in één stap. Realistische modellering vereist echter vaak incrementele constructie via sequenties van structurele modificaties (bijv. het creëren van defecte kristallen, interfaces of gestapelde heterostructuren). Dit vereist het vermogen om te redeneren over en gestructureerde operaties uit te voeren in continue 3D-ruimte. De kernvraag die door dit werk wordt aangepakt is: Hoe goed kunnen LLM's sequenties van operaties uitvoeren die atomaire structuren in continue ruimte modificeren?

2. Methodologie

2.1. De AtomWorld Benchmark

De auteurs introduceren AtomWorld, een benchmark ontworpen om LLM-capaciteiten in structuurmodificatie te evalueren. De workflow bestaat uit twee fasen:

1. Inferentie: Het model ontvangt een invoer-kristalstructuur (in Crystallographic Information File, CIF, formaat) en een natuurlijke taalactieprompt. Het moet een voorspelde structuurrepresentatie genereren.
2. Evaluatie: Een validatiepijplijn verwerkt de output:
   • Formaatvalidatie: Zorgt ervoor dat de output een geldig CIF-blok is.
   • Samentstellingsverificatie: Controleert op juiste elementen en atomaire aantallen.
   • Structurele matching: Gebruikt symmetrie-bewuste uitlijning (via StructureMatcher uit pymatgen) om de gegenereerde structuur te vergelijken met de grondwaarheid. Een voorspelling is alleen correct als alle checks slagen.

Maten:

• Succespercentage: Het percentage testcases dat alle validatiestappen doorloopt.
• Gemiddelde Maximale Afstand (Max Dist): Voor structureel geldige outputs meet dit de maximale paarsgewijze atomaire verplaatsing na optimale uitlijning. Dit wordt de voorkeur gegeven boven RMSD omdat het enkele-atoomfouten in anderszins correcte structuren beter vastlegt.

2.2. Datasetgeneratie (AtomMotor-2K)

De benchmark maakt gebruik van een generator die "voor-actie-na"-triplets creëert uit een pool van structuren (gepakt uit het Materials Project).

• Scope: De primaire testset, AtomMotor-2K, bevat 2.500 vragen.
• Acties: Het omvat 10 fundamentele acties over vier modelleringcategorieën:
  • Puntdefect & Dotering: veranderen, verwijderen, toevoegen, tussen invoegen, verwisselen.
  • Oppervlaktegeneratie: onder verwijderen.
  • Structuurperturbatie: bewegen, bewegen naar, roteren rond.
  • Supercelcreatie: super cel.
• Auxiliaire Tests: Om specifieke capaciteiten te isoleren, hebben de auteurs ontworpen:
  • Pure Coördinaattests: Tot op de bodem afgezwakte taken met ruwe coördinaten om de inherente geometrische moeilijkheid te meten.
  • CIF-geletterdheidstests: CIF-Repair (beschadigde bestanden repareren) en CIF-Gen (standaard prototypes genereren).
  • Chemische Competentie Score (CCS): Meet latente chemische kennis door nauwkeurige versus onnauwkeurige structurele beschrijvingen te onderscheiden.
  • StructProp: Taken die structurele modificatie vereisen om een specifieke eigenschapsverandering te bereiken (bijv. bandkloof).

2.3. Experimentele Opstelling

De studie evalueerde een divers scala aan modellen, waaronder frontier gesloten modellen (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro) en open-source baselines (Qwen-3 serie, Llama-3 70B, Deepseek-V3.2).

• Tool-verrijkte Agenten: Een voorlopig raamwerk werd getest waarbij een LLM (Deepseek) pymatgen gebruikte via codegeneratie en RAG om acties uit te voeren, in plaats van direct tekst te genereren.
• Geen Fine-Tuning: Alle evaluaties werden uitgevoerd op zero-shot modellen met standaard API-parameterinstellingen.

3. Belangrijkste Resultaten

3.1. Prestaties op AtomMotor-2K

• Algemene Prestaties: Claude Opus 4.6 presteerde over het algemeen het beste.
• Moeilijkheidsstratificatie: Acties werden gecategoriseerd op basis van succespercentage:
  • Gemakkelijk: veranderen, verwijderen, verwisselen, toevoegen (hoge succespercentages).
  • Matig: bewegen, bewegen naar, tussen invoegen.
  • Moeilijk: onder verwijderen, roteren rond (succespercentages onder de 12% voor rotatie).
• Complexiteitsimpact: Succespercentages nemen merkbaar af met toenemende modelleringcomplexiteit. Operaties die complexe ruimtelijke relaties omvatten (zoals rotatie) vertonen bijzonder lage succespercentages.
• Supercel-anomalie: De "super cel"-taak toonde hoge variantie (4% tot 98% succes), omdat deze tegelijkertijd "gemakkelijk" is (grootschalige herhaling) en "moeilijk" (vereist output met lange context).
• Schaling: Grotere modellen behaalden over het algemeen hogere succespercentages en kleinere verplaatsingen. Echter, architectonisch ontwerp en trainingsstrategieën (bijv. Qwen3-32B dat Llama3-70B overtreft) bleken even belangrijk als de parametergrootte.

3.2. Diagnostische Inzichten

• Ruimtelijk Redeneren: LLM's benaderen structurele taken voornamelijk via expliciete lineaire algebra en stap-voor-stap rekenkunde in plaats van intuïtieve ruimtelijke visualisatie. Ze worstelen met niet-lineaire afhankelijkheden en coördinatenmanipulaties.
• Pure Coördinaattests: Modellen presteerden goed bij eenvoudige toevoegingen (bewegen, bewegen naar), maar faalden significant bij roteren rond, waarbij ze vaak probeerden rotatiematrices inconsistent te berekenen.
• CIF-geletterdheid: De meeste modellen toonden sterke fundamentele capaciteit in CIF-formaat (>90% succes in reparatietaken), wat suggereert dat het falen in modificatietaken niet te wijten is aan onwetendheid over het formaat, maar aan beperkingen in ruimtelijk redeneren.
• Tool-verrijkte Agenten: Het integreren van tools (codegeneratie met pymatgen) verbeterde de prestaties (bijv. steeg het rotatiesucces van Deepseek van 6,8% naar 18%), maar de winsten waren beperkt voor complexe acties.

3.3. Op Eigenschappen Gerichte Taken (StructProp)

De meeste LLM's faalden om >50% succes te behalen in taken die structurele modificatie vereisen om specifieke eigenschappen te veranderen (bandkloof, bulkmodulus). Hoewel modellen plausibele strategieën konden voorstellen op basis van chemische definities, misten ze een diep begrip van de onderliggende elektronische structuur die nodig is om het resultaat te garanderen.

4. Belangrijkste Bijdragen

1. AtomWorld Benchmark: De eerste benchmark met verifieerbare, kwantitatieve maten die specifiek zijn ontworpen om LLM-"motorische vaardigheden" in atomaire structuurmodellering te evalueren.
2. AtomMotor-2K Dataset: Een gestandaardiseerde testset van 2.500 taken die fundamentele structurele operaties omvat, gegenereerd via een flexibele pijplijn.
3. Diagnostisch Kader: Een reeks auxiliaire tests (Pure Coördinaten, CIF-geletterdheid, CCS) om de specifieke redeneringsknelpunten van LLM's te ontleden en te analyseren.
4. Empirisch Bewijs: Systematische evaluatie die aantoont dat hedendaagse LLM's momenteel beter geschikt zijn als copilots voor materiaalstructuurmodellering dan als volledig autonome agenten voor complexe ruimtelijke manipulatie.

5. Betekenis en Claims

De auteurs positioneren AtomWorld als een fundamenteel speelveld voor het ontwikkelen van toekomstige structuurbewuste modellen, waaronder die welke gebruikmaken van versterkt leren (RL) en agentische benaderingen.

• Huidige Beperkingen: De resultaten suggereren dat LLM's geen intuïtieve perceptie hebben van atomaire structuren en worstelen met ruimtelijke afhankelijkheden. Zuiver tekstuele representaties, hoewel informatievolledig, kunnen een inefficiënt interface zijn voor structurele modellering in vergelijking met perceptuele modaliteiten.
• Toekomstige Richtingen: De benchmark dient als testomgeving voor:
  • Versterkt Leren: Het gebruik van de evaluatiematen als beloningen voor het trainen van agenten.
  • Tool-verrijkt Ontwerp: Het verbeteren van de integratie van computationeel-chemische tools.
  • Multimodale Benaderingen: Onderzoeken of visuele invoer (structurele visualisaties) de beperkingen van alleen-tekstredenering kan overwinnen.
  • Diffusiemodellen: Onderzoeken of op diffusie gebaseerde LLM's, die omgekeerde ruisverwerking begrijpen, inherent beter zijn in het onderscheiden van geldige versus ongeldige structurele modificaties.

Het artikel concludeert dat voordat LLM's kunnen worden ingezet als autonome wetenschappelijke agenten voor complexe, dynamische modellering, de gemeenschap eerst deze verifieerbare structuurmodelleringstaken moet overwinnen en tools en modaliteiten moet ontwikkelen die beter aansluiten bij LLM-capaciteiten.