Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation

Technische Samenvatting: Terug naar de Basis: Het Verbeteren van Moleculair Begrip in LLM's via SMILES–Graaf Translatie

Probleemstelling
Ondanks de sterke prestaties van Large Language Models (LLM's) op taken met betrekking tot moleculair begrip en generatie, lijden huidige benaderingen aan een gebrek aan betrouwbare structurele gronding. Het paper identificeert een kritieke discrepantie: hoewel modellen succes behalen in downstream-taken, falen ze bij basisstructuurherkenningstaken, zoals het tellen van zware atomen of bindingen vanuit canonieke SMILES-strings. Dit spreekt het fundamentele chemische principe "structuur bepaalt functie" tegen. Voorlopige evaluaties onthullen dat zowel generalistische LLM's (bijv. GPT, Qwen) als specialistische moleculaire LLM's (bijv. MolT5, ChemLLM) slecht presteren op deze fundamentele taken, wat suggereert dat ze er niet in slagen de expliciete equivalentie tussen sequentiële SMILES-tekst en de onderliggende 2D-moleculaire graaf te vatten. De auteurs stellen dat de huidige paradigma's, die vaak direct overgaan naar hoogwaardige redenering na eenvoudige tekstpre-training, een gebrek hebben aan logische interpreteerbaarheid en er niet in slagen de noodzakelijke structurele cognitie te vestigen die vereist is voor betrouwbare redenering.

Methodologie: Het MolBasic Framework
Om dit aan te pakken, stellen de auteurs MolBasic voor, een "structuur-eerst" framework ontworpen om moleculair begrip te funderen in fundamentele structuurcomprehensie. De methodologie bestaat uit drie kerncomponenten:

1. Multi-level Structure Comprehension Benchmark (MSC):
   De auteurs construeren een benchmark bestaande uit acht taken, georganiseerd over drie niveaus, om 2D-graafperceptie te evalueren en te trainen:

   • Niveau van de knoop (Node Level): Tellen van zware atomen en element-specifiek tellen.
   • Niveau van de rand (Edge Level): Totaal aantal bindingen tellen en specifiek type bindingen tellen.
   • Graafniveau (Graph Level): Conversie van moleculaire formule, substructuurherkenning en bidirectionele conversie tussen canonieke SMILES en tekstuele graaf-adjacencylijsten.
     De kernopgave is de bidirectionele SMILES–Graaf conversie, die het model dwingt de equivalentie tussen sequentiële en topologische representaties te leren.

2. Staircase Learning Framework:
   De training volgt een progressief, lineair pad ($v_{struct} \rightarrow v_{prop} \rightarrow v_{opt}$) dat het cognitieve proces van menselijke chemici weerspiegelt. Deze DAG-gestructureerde aanpak zorgt ervoor dat hogere-orde redeneercapaciteiten worden gebouwd op een betrouwbaar structureel begrip:

   • Fase 1 (Structuurcomprehensie): Het vestigen van fundamentele graafperceptie.
   • Fase 2 (Structurele Eigenschapsproductie): Afleiden van eigenschappen (bijv. LogP, MW) uit structurele kenmerken.
   • Fase 3 (Objectieve Moleculaire Optimalisatie): Het modificeren van moleculen om gewenste eigenschappen te bereiken.
     Deze curriculum learning-aanpak voorkomt de interferentie van complexe taken op fundamentele leerprocessen.

3. Chain-of-Thought (CoT) Supervisie:
   Om nauwkeurigheid en interpreteerbaarheid te verbeteren, maakt het framework gebruik van een tweefasige trainingsstrategie voor elke taak met behulp van LoRA fine-tuning:

   • Fase 1 (Antwoord-leren): Het model leert het juiste antwoord ($a$) te voorspellen om domeinkennis-ankers te vestigen.
   • Fase 2 (Redeneer-leren): Het model leert de volledige respons inclusief een Chain-of-Thought ($z$) gedestilleerd van sterke redeneermodellen (specifiek GPT-5).
     Het trainingsdoel modelleert gezamenlijk het redeneerproces en het uiteindelijke resultaat: $P_\theta(a, z | S, q) = P_\theta(z | S, q) \cdot P_\theta(a | S, z, q)$. De CoT bevat deterministische tussenresultaten voor regressietaken (bijv. expliciet parseren van atomen) en een "analyse–strategie–verificatie"-pipeline voor optimalisatietaken.

Belangrijkste Resultaten
Experimenten werden uitgevoerd op de PubChemSTM dataset en diverse downstream benchmarks, waarbij MolBasic werd vergeleken met generalistische LLM's, specialistische moleculaire LLM's en traditionele deep learning modellen.

• Structuurcomprehensie: MolBasic behaalde substantiële verbeteringen over alle MSC-taken. Met name bereikte het 94,65% nauwkeurigheid op de SMILES-naar-Graaf conversie en 85,66% op Graaf-naar-SMILES, terwijl alle baseline-modellen (inclusief gespecialiseerde LLM's) bijna nul presteerden op deze bidirectionele conversietaken.
• Eigenschapsproductie: Bij structurele eigenschapsproductie (MW, LogP, TPSA, etc.) behaalde MolBasic de beste prestaties onder LLM-gebaseerde methoden, met Pearson-correlaties boven de 0,97 voor de meeste eigenschappen en een Mean Absolute Error (MAE) die vergelijkbaar met of beter is dan taakspecifieke modellen zoals Chemprop.
• Moleculaire Optimalisatie: In de taak van het verhogen van LogP behaalde MolBasic de hoogste LogP-verbetering (2,27) onder LLM-gebaseerde modellen, terwijl een hoge validiteit (98,7%) en diversiteit (0,86) behouden bleven.
• Ablatie-studies:
  • Het verwijderen van de structuurcomprehensie-fase ("w/o Struct") leidde tot een monotone degradatie in downstream-prestaties, wat bevestigt dat structurele perceptie een noodzakelijke basis is.
  • Het randomiseren van de trainingsvolgorde ("Mixed SFT") resulteerde in lagere prestaties dan de staircase-aanpak, wat aangeeft dat de progressieve ordening cruciaal is om taakinterferentie te voorkomen.
  • Het verwijderen van CoT-supervisie ("w/o CoT") veroorzaakte consistente prestatiedalingen, wat het belang van expliciete tussenliggende redeneerbegeleiding onderstreept.

Significantie en Claims
Het paper claimt dat het gebrek aan basisstructuurcomprehensie een fundamentele bottleneck is in huidige moleculaire LLM's. Door "terug te gaan naar de basis" en prioriteit te geven aan de uitlijning van sequentiële tekst met topologische graafstructuren, stelt MolBasic modellen in staat om betrouwbare, interpreteerbare en generaliseerbare moleculaire redenering uit te voeren. De auteurs stellen dat hun structuur-eerst paradigma de tegenstrijdigheid tussen downstream succes en structureel falen oplost, en een robuust fundament biedt voor toekomstige "AI-chemist" toepassingen. Het werk benadrukt dat zonder het accuraat waarnemen van moleculaire grafen, hoogwaardige redeneertaken inherent onbetrouwbaar zijn.

Beperkingen
De auteurs erkennen dat het huidige staircase-ontwerp redenering als een lineaire keten modelleert. Naarmate taken verder afstaan van de initiële structuurcomprehensie-fase, kan de directe invloed van structurele perceptie verzwakken, wat resulteert in minder uitgesproken verbeteringen in optimalisatie vergeleken met eigenschapsproductie. Zij suggereren dat toekomstig werk flexibelere, niet-lineaire redeneerframeworks moet verkennen die LLM's de mogelijkheid geven om moleculaire structuur expliciet als fundament te gebruiken voor diverse taken zonder de interferentie die wordt waargenomen bij mixed-task training.