MarkushGlyph and OCSRGlyph: Improved Chemical Structure Recognition

Technische Samenvatting: MarkushGlyph en OCSRGlyph

Probleemstelling
Chemische structuren in patenten en wetenschappelijke literatuur worden voornamelijk gecommuniceerd als afbeeldingen, die leesbaar zijn voor chemici maar moeilijk te verwerken zijn voor programmatisch gebruik (bijv. voor database-indexering of het trainen van machine learning-modellen). De taak van het converteren van deze afbeeldingen naar machine-leesbare lijnnotaties (meestal SMILES of CXSMILES) staat bekend als Optical Chemical Structure Recognition (OCSR) voor enkelvoudige moleculen en Markush-structuurvertaling voor groepen verbindingen. Hoewel OCSR een aanzienlijke volwassenheid heeft bereikt, blijft het parsen van Markush-structuren uitdagend vanwege de noodzaak om variabele locaties, beperkingen en diverse tekenconventies van patentbureaus op te lossen. Bovendien falen bestaande evaluatiemetrieken voor Markush-structuren vaak in het bestraffen van foutieve toevoegingen van kenmerken of labeltransposities, wat leidt tot opgeblazen nauwkeurigheidsscores.

Methodologie
De auteurs kaderen zowel OCSR als Markush-vertaling als image-to-text vertalingsproblemen, waarbij ze één enkele modellen trainen in plaats van te vertrouwen op multi-stage pipelines die tekst, lay-out en afbeeldingen apart verwerken.

1. OCSRGlyph (Enkelvoudige Molecuulherkenning):

   • Architectuur: Een standaard image-to-sequence model met een Swin-B Transformer encoder (384-pixel resolutie, ImageNet-geïnitialiseerd) en een zeslaagse Transformer decoder.
   • Trainingsstrategie: Het model wordt getraind op een gecureerde mix van de PubChem-1M en USPTO-680K datasets. Cruciaal is dat de auteurs de specifieke uitdaging van stereochemie aanpakken door tijdens de training te oversamplen op chirale moleculen (Stereo-200K en een aangrenzende ring-subset). Dit verbetert de stereochemische nauwkeurigheid zonder de prestaties op niet-chirale moleculen te verslechteren.
   • Output: Genereert kale canonieke SMILES-strings.

2. MarkushGlyph (Markush-structuurherkenning):

   • Architectuur: Een vision-language model (VLM) gebaseerd op Qwen3.5-2B-Base, dat gebruikmaakt van een early-fusion benadering waarbij de uitgesneden afbeelding en een tekstprompt gezamenlijk door een enkel netwerk worden verwerkt. Het maakt gebruik van Low-Rank Adaptation (LoRA) voor efficiënte fine-tuning.
   • Input/Output: Het model accepteert de volledige structuurafbeelding (inclusclusief gedrukte tekst, R-groep labels en haakjes) zonder een aparte OCR front-end. Het genereert een gestructureerd cxsmiles_opt record (een geoptimaliseerd CXSMILES-formaat waarbij labels inline met atomen staan) gewikkeld in XML-tags, inclusief de kernstructuur en eventuele substituentdefinities.
   • Gecombineerde Training: Om zowel enkelvoudige moleculen als Markush-structuren te kunnen afhandelen zonder voorafgaande kennis van het inputtype, wordt het model getraind op een gecombineerde dataset waarbij gewone moleculen worden behandeld als een speciaal geval van Markush-records (met lege variabele velden).

Belangrijkste Bijdragen

• OCSRGlyph: Een state-of-the-art OCSR-model dat 93,8% exact-match nauwkeurigheid bereikt op de USPTO-benchmark door specifiek de stereochemie aan te pakken via data-curatie.
• MarkushGlyph: Een single-stage vision-language model dat eerdere multi-stage pipelines (zoals MarkushGrapher-2) verslaat op alle drie de standaard Markush-benchmarks (IP5-M, M2S, USPTO-M). Het elimineert de noodzaak voor aparte tekstextractie- en lay-outparsingstadia.
• Strikte Parsed-Graph Equality Metriek: De auteurs introduceren een nieuwe evaluatiemetriek die faalmodi in bestaande metrieken aanpakt. In tegenstelling tot eerdere methoden die controleren op de aanwezigheid van vereiste kenmerken (waardoor extra of onjuiste kenmerken worden toegestaan), vereist deze metriek strikte graaf-isomorfie tussen de voorspelling en de referentie, waarbij R-groep toewijzingen, aanhechtingsposities, herhalende eenheden en fragmentcorrespondentie behouden blijven.
• Verenigde Benadering: Het demonstreren dat OCSR kan worden behandeld als een speciaal geval van Markush-vertaling, waardoor één enkel model zowel beide typen chemische structuren effectief kan parsen.

Resultaten

• OCSR Prestaties: OCSRGlyph bereikt 93,8% canonieke exact-match nauwkeurigheid op de USPTO-benchmark (5.719 afbeeldingen), waarmee het vorige state-of-the-art (MolSight) met 1,8 procentpunt verslaat. Het bereikt ook 93,9% nauwkeurigheid onder de "chirality-kept" conventie.
• Markush Prestaties: MarkushGlyph presteert beter dan MarkushGrapher-2 en andere baselines op alle drie de benchmarks onder zowel de standaard MarkushGrapher-2 score als de nieuwe strikte parsed-graph equality metriek.
  • Op IP5-M (878 voorbeelden) bereikt MarkushGlyph 60,6% (majority voting) onder de standaard score en 54,7% onder strikte gelijkheid.
  • Op M2S (103 voorbeelden) bereikt het 62,1% (standaard) en 64,1% (strikt).
  • Op USPTO-Markush (74 voorbeelden) bereikt het 63,5% (standaard) en 56,8% (strikt).
• Ablatie-studies: De auteurs tonen aan dat het toevoegen van OCSR-samples aan de Markush-trainingsset de OCSR-prestaties aanzienlijk verbetert zonder de Markush-herkenningscapaciteiten substantieel te verslechteren.

Betekenis en Claims
Het artikel claimt dat deze resultaten een stap vertegenwoordigen naar een verenigd model dat zowel enkelvoudige moleculen als complexe Markush-families uit afbeeldingen kan vertalen. De auteurs benadrukken dat een hoge prestatie wordt bereikt door relatief eenvoudige strategieën: het benutten van pre-trained backbones, single-stage training en zorgvuldige data-sampling.

Het werk wijst op twee specifieke beperkingen:

1. De OCSR-prestaties van MarkushGlyph, hoewel sterk, evenaren nog niet de gespecialiseerde OCSRGlyph, wat suggereert dat er nog een kloof bestaat in het verenigen van state-of-the-art prestaties voor beide taken in één enkele architectuur.
2. De prestaties van Markush-structuurherkenning blijven nog aanzienlijk achter bij de OCSR-prestaties, wat aangeeft dat de complexiteit van variabele groepen en beperkingen een uitdagende grens blijft.

De auteurs concluderen dat hun werk de effectiviteit aantoont van eenvoudige, schaalbare methoden en inference-time scaling (bijv. majority voting) om de kloof te dichten tussen de huidige capaciteiten en de vereisten voor robuuste chemische structuurherkenning in patent- en literatuuranalyse.