Technische Samenvatting: Moleculaire Representaties voor Grootte Taalmodellen

Probleemstelling

Grootte Taalmodellen (LLMs) worden steeds vaker toegepast op wetenschappelijke ontdekking, inclusief taken die redeneren over moleculaire structuren vereisen, zoals reactievoorspelling, mechanistische analyse en structuurverheldering. Echter, huidige LLMs zijn sequentie-gebaseerde modellen die werken op tekst, terwijl moleculen van nature worden gedefinieerd als grafieken (atomen als knopen, bindingen als randen). Bijgevolg moeten moleculaire grafieken worden gesequenced naar tekstgebaseerde formaten voor LLM-verwerking.

Hoewel eerdere studies in de chemie overwegend SMILES-strings of IUPAC-namen hebben gebruikt als interface tussen LLMs en moleculaire structuren, is de geschiktheid van deze formaten voor LLM-redenering niet systematisch beoordeeld. Deze formaten werden oorspronkelijk ontworpen voor traditionele cheminformatica-workflows en menselijke interpretatie, waarbij strikte syntactische en semantische beperkingen worden opgelegd (bijvoorbeeld doorloopregels voor SMILES, naamgevingsregels voor IUPAC) die mogelijk niet overeenkomen met de architecturale sterktes van LLMs. Deze misalignatie beperkt potentieel de betrouwbaarheid van LLMs bij het interpreteren en genereren van moleculaire grafieken.

Methodologie

Om deze kloof aan te vullen, introduceerden de auteurs MolJSON, een nieuw gestructureerd JSON-schema dat specifiek is ontworpen als invoer- en uitvoerformaat voor LLMs. De studie vergeleek MolJSON systematisch met vijf gevestigde chemische representaties: SMILES, IUPAC-namen, SELFIES, InChI en MOL V2000.

Het MolJSON-schema

MolJSON stelt moleculen voor als JSON-objecten die expliciete lijsten van atomen en bindingen bevatten, in plaats van te vertrouwen op lineaire doorloop of regelgebaseerde naamgeving.

• Atomen: Gedefinieerd door een unieke identifier en een elementsymbool.
• Bindingen: Gedefinieerd door paren van atoom-identifiers en een bindingsorde.
• Optionele velden: Omvat spaarzame velden voor niet-nul formele ladingen en expliciete waterstofatomen op aromatische stikstofatomen om correcte valentie-toewijzing te waarborgen.
• Ontwerpphilosophie: Moleculaire identiteit wordt direct gedefinieerd door de sets van atomen en bindingen, onafhankelijk van array-volgorde, waardoor de noodzaak voor specifieke graaf-doorlopen wordt geëlimineerd.

Benchmarkontwerp

De auteurs construeerden een benchmark bestaande uit 78.045 algoritmisch gegenereerde vragen om de impact van representatie op LLM-prestaties te isoleren, waarbij verstorende factoren van gespecialiseerde chemische kennis werden vermeden. De evaluatie gebruikte vier modellen: GPT-5-nano, GPT-5-mini, GPT-5 en Claude Haiku 4.5. De taken omvatten:

1. Moleculaire Vertaling: Het converteren van een molecuul van het ene formaat naar het andere (bijvoorbeeld IUPAC naar SMILES). De nauwkeurigheid werd gemeten door exacte moleculaire equivalentie met behulp van canonieke SMILES en RDKit.
2. Kortste-Pad Redenering: Gegeven een molecuul moet het model het aantal bindingen op het kortste pad tussen twee specifieke halogeenatomen bepalen.
3. Gedwongen Moleculaire Generatie: Het model moet een molecuul genereren dat voldoet aan specifieke beperkingen (bijvoorbeeld aanwezigheid van specifieke halogenen, ringaantallen, topologieën en padlengtes).

De data was afkomstig uit de PubChem-database (moleculen gedeponeerd tussen oktober 2025 en december 2025) om contaminatie vanuit modeltrainingsdata te minimaliseren. Moleculen met stereochemie, zouten of anorganische elementen werden uitgesloten.

Belangrijkste Resultaten

De studie observeerde aanzienlijke variatie in LLM-prestaties afhankelijk van de gebruikte moleculaire representatie, waarbij MolJSON consistent beter presteerde dan bestaande formaten over alle taken en modellen heen.

1. Moleculaire Vertaling

• Outputprestaties: Bij het genereren van outputs presteerde MolJSON significant beter dan SMILES en IUPAC. Voor GPT-5 werd bij het converteren van IUPAC-namen naar MolJSON een nauwkeurigheid van 71,0% bereikt, vergeleken met 43,7% voor het converteren van IUPAC naar SMILES. Evenzo bereikte SMILES-naar-MolJSON-vertaling een nauwkeurigheid van 92,3%, versus 43,5% voor SMILES-naar-IUPAC.
• Inputprestaties: MolJSON diende ook als een superieure inputformaat. Bij het genereren van SMILES-outputs verbeterde de nauwkeurigheid van 43,7% (IUPAC-input) naar 48,3% (MolJSON-input).

2. Kortste-Pad Redenering

• MolJSON was het meest betrouwbare inputformaat voor graafredenering. GPT-5 bereikte een nauwkeurigheid van 98,5% met MolJSON-inputs, vergeleken met 92,2% voor SMILES en 82,7% voor IUPAC.
• Efficiëntie: MolJSON vereiste aanzienlijk minder redeneertokens. GPT-5 gebruikte gemiddeld 1.021 tokens met MolJSON-inputs versus 1.854 tokens met SMILES, wat suggereert dat SMILES en IUPAC het model dwingen de graaf te reconstrueren voordat redenering plaatsvindt, een stap die foutgevoelig is.
• Foutmodi: De IUPAC-prestaties degradeerden aanzienlijk bij gefuseerde ringsystemen (dalen naar 66,2% nauwkeurigheid voor gefuseerde ringen versus 96,9% voor niet-gefuseerde), terwijl MolJSON robuust bleef (98,5% voor beide).

3. Gedwongen Generatie

• MolJSON was het meest betrouwbare outputformaat voor het genereren van moleculen onder beperkingen. GPT-5 bereikte een nauwkeurigheid van 95,3% met MolJSON, vergeleken met 76,3% voor IUPAC en 64,0% voor SMILES.
• Het voordeel was bijzonder uitgesproken voor complexe topologieën. Voor gefuseerde ringsystemen bereikte GPT-5 een nauwkeurigheid van 92% met MolJSON, versus 42% voor SMILES en 56% voor IUPAC.

4. Foutanalyse

Systematische fouten werden waargenomen voor SMILES en IUPAC gerelateerd aan molecuulgrootte en ringcomplexiteit.

• SMILES: Fouten vloeiden vaak voort uit syntaxischendingen en ongeldige moleculen, wat suggereert dat de strikte doorloopbeperkingen van het formaat uitdagend zijn voor LLMs om te handhaven.
• IUPAC: Fouten waren sterk geassocieerd met gefuseerde ringsystemen en complexe naamgevingsregels.
• MolJSON: Toonde robuustheid tegen deze foutmodi. De auteurs merken op dat de flexibiliteit van MolJSON LLMs toelaat om "rijke" atoom-identifiers te gebruiken (bijvoorbeeld afkortingen voor functionele groepen) die kunnen fungeren als "graftokens" in het redeneerproces van het model, een mogelijkheid die niet beschikbaar is in rigide formaten zoals SMILES of IUPAC.

Betekenis en Claims

Het artikel claimt dat de keuze van moleculaire representatie een materiële impact heeft op het vermogen van LLMs om moleculaire grafieken te interpreteren en te genereren. De auteurs betogen dat:

1. Expliciete Grafcoderingen Superieur zijn: Formaten die atomen en bindingen expliciet coderen (zoals MolJSON) intrinsiek beter zijn afgestemd op huidige LLMs dan gesequencede formaten (SMILES) of regelgebaseerde naamgeving (IUPAC).
2. Prestaties Zonder Expliciete Training: Ondanks dat SMILES en IUPAC alomtegenwoordig zijn in trainingsdata, presteerde MolJSON beter zonder enige expliciete training op het formaat, wat suggereert dat het structurele voordeel inherent is aan de representatie.
3. Fundament voor Agentische Systemen: Naarmate LLM-gebaseerde systemen in de chemie bewegen naar autonome ontdekking, is de betrouwbaarheid van moleculaire interactie kritiek. De auteurs suggereren dat gestructureerde representaties zoals MolJSON moeten worden aangenomen voor het ontwikkelen van LLM-gebaseerde chemische systemen.

De auteurs positioneren MolJSON als een startpunt voor op LLM gerichte moleculaire representaties in plaats van een definitief eindformaat, met aandacht voor potentiële verbeteringen zoals betere verwerking van stereochemie en atoomcoördinaten. De studie concludeert dat het verkennen van moleculaire representaties die specifiek op maat zijn gemaakt voor LLMs een veelbelovende richting is voor het vakgebied.