Technische Samenvatting: SUPRABENCH

Probleemstelling

Supramoleculaire chemie, met de focus op reversibele niet-covalente host–guest-assemblages, is cruciaal voor toepassingen variërend van medicijnafgifte tot in vivo detoxificatie. Echter, het ontwerp van deze systemen blijft een knelpunt, waarbij uitgebreide "dry-lab"-verificatie (bijv. DFT- of MD-simulaties) vereist is die dagen per kandidaat-paar kan in beslag nemen voordat wet-lab synthese plaatsvindt. Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken bij moleculaire bindingsopdrachten, evalueert geen enkel bestaand benchmark systeem systematisch de capaciteit van LLMs in host–guest-redeneren over fundamentele supramoleculaire chemische taken. Huidige benchmarks richten zich grotendeels op eigenschappen van enkelvoudige moleculen of reactievoorspelling, waardoor de complexe interactie tussen host en guest onbehandeld blijft.

Methodologie

1. Dataset Constructie (SUPRABENCH)

De auteurs hebben SUPRABENCH geconstrueerd, de eerste benchmark specifiek voor redeneren in de supramoleculaire chemie.

• Databron: Anchor-records werden geëxtraheerd uit SupraBank, een publieke repository van experimenteel gerapporteerde supramoleculaire interacties.
• Preprocessing: Een zesstaps opschooningspipeline werd toegepast om ruis aan te pakken, inclus\nslopend numeriek parsen, filtering op organische oplosmiddelen, van't Hoff temperatuurcorrectie en outlier-verwijdering. Dit resulteerde in 4.635 hoogwaardige records die 2.008 unieke componenten beslaan.
• Taakdefinitie: De benchmark definieert vier fundamentele redeneertaken en één auxiliary visuele taak:
  1. Binding Affinity Prediction (BAP): Een regressietaken die $\log K_a$ voorspelt op basis van host en guest SMILES-strings.
  2. Top-Binder Selection (TBS): Een 4-weg multiple-choice vraag (MCQ) die vereist dat het model de sterkste binder identificeert onder chemisch vergelijkbare guests.
  3. Solvent Identification (SID): Een 6-weg classificatietaak om de solventomgeving (bijv. water, DMSO) af te leiden uit moleculaire structuren, aangezien bindingsconstanten solvent-afhankelijk zijn.
  4. Host–Guest Description (HGD): Een open eind QA-taak waarbij modellen de fysisch-chemische eigenschappen van hosts of guests beschrijven.
  5. Molecular Identification (MI): Een auxiliary image-to-SMILES generatietaak die het vermogen test om de moleculaire identiteit te herstellen uit 2D structurele tekeningen.

2. Domain Adaptation Corpus (SUPRAPMC)

Om domain adaptation te ondersteunen, hebben de auteurs SUPRAPMC uitgebracht, een gecureerde 16M-token corpus van artikelen over supramoleculaire chemie.

• Bron: Geëxtraheerd uit Europe PMC (1900–2026).
• Filtering: De initiële retrieval van 420.950 artikelen werd verfijnd met een regelgebaseerde filter die positieve supramoleculaire trefwoorden combineerde met negatieve biomedische contaminatiefilters (bijv. het uitsluiten van "host cells"), wat resulteerde in 133.867 hoog-precieze artikelen.

3. Evaluatieprotocol

• Modellen: Acht LLMs werden geëvalueerd, inclusief open-weight modellen (Qwen3.5, Llama-3.1, DeepSeek-v4) en propriëtaire modellen (GPT-5.4, Gemini-3-Flash).
• Prompting Strategieën: Drie strategieën werden getest: Base (zero-shot), Few-Shot (3–5 in-domain voorbeelden), en Chain-of-Thought (CoT).
• Metrieken: Taakspecifieke metrieken omvatten MAE/RMSE voor regressie, accuracy/regret voor selectie, F1/Balanced Accuracy voor classificatie, en ROUGE voor generatie. Voor MI omvatten de metrieken SMILES-validiteit, exact match, en Tanimoto-gelijkenis.

Belangrijkste Resultaten

1. Prestatiekloof en Modelhiërarchie

• Substantiële Ruimte voor Verbetering: Zelfs de best presterende modellen laten aanzienlijke ruimte voor verbetering. Bijvoorbeeld, de beste Binding Affinity Prediction (BAP) MAE was 1.25, en de Top-Binder Selection nauwkeurigheid plateauerde op 0.513.
• Dominantie van de Frontier Modellen: Gemini-3-Flash behaalde consistent state-of-the-art (SOTA) prestaties over de BAP, TBS en SID taken. DeepSeek-v4 en GPT-5.4-Mini volgden nauw.
• Taakmoeilijkheid: Prestaties varieerden scherp per taakfamilie. BAP en TBS waren over het algemeen uitdagender dan SID voor kleinere modellen.

2. Impact van Prompting Strategieën

• Geen Universele Strategie: Prompting strategieën waren sterk taakafhankelijk.
  • Few-Shot verbeterde de prestaties op Host–Guest Description (HGD) maar verslechterde de Binding Affinity Prediction (bijv. de Llama3.1-8B MAE steeg van 2.699 naar 5.504).
  • Chain-of-Thought (CoT) beïnvloedde de prestaties op BAP en Molecular Identification consequent negatief.
• Foutmodus-analyse: In BAP leidde CoT vaak tot "zelfverzekerde hallucinaties". Modellen articuleerden plausibele chemische redeneringen (bijv. het citeren van "typische literatuurwaarden") die resulteerden in voorspellingen die orders van grootte afweken (bijv. het voorspellen van $\log K_a \approx 11$ in plaats van 2). Dit suggereert dat CoT de redeneergaten vergroot wanneer domeinkennis ontbreekt.

3. Domain Adaptation (DAPT)

• Regressie vs. Formaat: Fine-tuning op SUPRAPMC verbeterde de BAP regressieprestaties (MAE nam af) voor zowel Qwen3.5-9B als Llama3.1-8B.
• Trade-offs: Echter, DAPT verslechterde de prestaties op Top-Binder Selection en zorgde ervoor dat de Llama-variant faalde in het volgen van strikte letter-formaat restricties in Solvent Identification. Dit geeft aan dat adaptatie aan vrije wetenschappelijke tekst goed werkt voor regressie, maar botst met strikte MCQ-outputformaten.

4. Molecular Identification

• Scaffold vs. Connectiviteit: Modellen konden de algemene moleculaire scaffold herstellen (hoge Tanimoto-gelijkenis), maar faalden vaak in het vastleggen van de exacte verbinding op bond-niveau (lage Canonical SMILES match).
• CoT Nadeel: Expliciete redeneercues (CoT) destabiliseerden de image-to-SMILES generatie, wat de exact match ratio's verlaagde.

Betekenis en Claims

Het artikel positioneert SUPRABENCH en SUPRAPMC als fundamentele bronnen om onderzoek in chemie-gegronde LLMs te katalyseren. De auteurs beweren:

1. Noodzaak van Benchmarking: SUPRABENCH vult een kritiek gat door een verenigd protocol te bieden om LLMs te evalueren op supramoleculaire host–guest redenering, een domein dat voorheen onbehandeld bleef door bestaande benchmarks.
2. Huidige Beperkingen: Ondanks de SOTA-prestaties van frontier modellen, blijft de supramoleculaire chemie een echte bottleneck. Huidige LLMs missen de rigoureuze, gekalibreerde redenering die vereist is voor nauwkeurige affiniteitsprognose en precieze structurele identificatie.
3. Methodologische Inzichten: De studie laat zien dat "redeneren" via CoT geen vervanging is voor domeinkennis en nadelig kan zijn wanneer het model niet beschikt over de onderliggende chemische feiten. Bovendien vereist domain adaptation een zorgvuldige balans tussen tekstblootstelling en het behoud van instructieformaten.
4. Toekomstige Richting: De resultaten suggereren dat het dichten van de kloof in supramoleculaire redenering waarschijnlijk zal vereisen dat er wordt ingezet op gerichte domain adaptation en de integratie van externe chemische tools, in plaats van enkel te vertrouwen op prompting strategieën of algemene pretraining.

De auteurs benadrukken dat deze benchmarks bedoeld zijn voor onderzoeksevaluatie en hypothesegeneratie, en niet om klinische of regulatoire beslissingen te sturen zonder deskundig toezicht en experimentele validatie.