🤖 machine learning

FORGE: Fragment-Oriented Ranking and Generation for Context-Aware Molecular Optimization

FORGE is een tweestapskader dat moleculaire optimalisatie herformuleert als contextbewuste lokale bewerking door fragmentvervangingen te rangschikken en te genereren met behulp van automatisch ontgonnen data, waardoor het bestaande taal- en grafgebaseerde methoden overtreft en tegelijkertijd hallucinaties en schaalbeperkingen van natuurlijke taaltraining vermijdt.

Oorspronkelijke auteurs: Qingchuan Zhang, He Cao, Hao Li, Yanjun Shao, Zhiyuan Liu, Shihang Wang, Shufang Xie, Shenghua Gao, Xinwu Ye

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qingchuan Zhang, He Cao, Hao Li, Yanjun Shao, Zhiyuan Liu, Shihang Wang, Shufang Xie, Shenghua Gao, Xinwu Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert een beroemd soeprecept te verbeteren. Je wilt dat het lekkerder smaakt (het optimaliseren), maar je kunt het recept niet volledig veranderen; het moet nog steeds smaken als de originele soep (de gelijkenis behouden).

De meeste recente AI-methoden proberen dit te doen door een gigantisch taalmodel te vragen: "Hier is een soep. Maak het lekkerder." De AI probeert vervolgens het hele recept vanaf nul te herschrijven op basis van die vage instructie. Het artikel betoogt dat deze aanpak om twee hoofdredenen gebrekkig is:

Vage Instructies: In de echte wetenschap is de "smaak" (het doel) vaak een black box. Je kunt het niet perfect in woorden beschrijven (bijvoorbeeld: "maak dat het bindt aan dit specifieke eiwit"). De AI raakt in de war omdat de woorden niet overeenkomen met de realiteit.
Context is Belangrijk: Een specifiek ingrediënt (zoals een snufje zout) kan de ene soep heerlijk maken, maar de andere bederven. AI-modellen die ingrediënten als geïsoleerde feiten behandelen, missen deze cruciale context.

Dan is er FORGE (Fragment-Oriented Ranking and Generation). In plaats van de hele soep te herschrijven, fungeert FORGE als een chirurgische kok die precies weet welk klein stukje hij moet vervangen en waar hij het mee moet vervangen.

Hier is hoe FORGE werkt, opgesplitst in eenvoudige stappen:

1. De "Atomaire" Woordenschat (De Stabiele Ingrediënten)

Standaard AI-modellen lezen chemische formules als tekst, waarbij hetzelfde ingrediënt anders kan worden gespeld, afhankelijk van de zin. FORGE gebruikt een speciale "atomaire" woordenschat. Denk hierbij aan het geven van een unieke, onveranderlijke identiteitskaart aan elk afzonderlijk atoom en elke chemische groep. Wat voor soep het ook is, het "zout" wordt altijd herkend als "zout". Dit voorkomt dat de AI in de war raakt over wat het eigenlijk bekijkt.

2. Fase 1: Het "Waar" (Het Ranken van de Zwakke Plekken)

Voordat er veranderingen worden aangebracht, kijkt FORGE naar de hele soep en vraagt: "Welk specifiek ingrediënt trekt op dit moment de smaak naar beneden?"

De Oude Manier: De AI raadt op basis van algemene regels.
De Manier van FORGE: Het kijkt naar de hele context. Het weet dat een specifieke kruiding alleen slecht is omdat van de andere ingrediënten die momenteel in de pot zitten. Het rangschikt de ingrediënten om de "zwakste schakel" te vinden die gerepareerd moet worden.

3. Fase 2: Het "Hoe" (De Chirurgische Vervanging)

Zodra de zwakke schakel is gevonden, herschrijft FORGE niet het hele recept. Het voert een precieze vervanging uit: "Haal deze specifieke kruiding eruit en vervang deze door dit specifieke kruid."

Het leert dit door te kijken naar miljoenen "voor en na"-voorbeelden die te vinden zijn in chemische databases (zoals een bibliotheek met succesvolle receptaanpassingen).
Cruciaal is dat het leert dat de beste vervanging afhangt van de specifieke context van de huidige soep, en niet van een generieke regel.

4. Leren door Voorbeelden (De "Toon, Vertel Niet"-Aanpak)

Wanneer FORGE geconfronteerd wordt met een gloednieuw doel dat het nog nooit heeft gezien (zoals optimaliseren voor een nieuw, onbekend eiwit), vertrouwt het niet op een tekstuele beschrijving. In plaats daarvan maakt het gebruik van In-Context Learning.

Stel je voor dat je een videospel speelt met een nieuwe, onbekende baas. In plaats van een handleiding te lezen, bekijk je een replay van een pro-speler die een vergelijkbare baas verslaat.
FORGE houdt een "replay-buffer" bij van zijn eigen eerdere pogingen. Het kijkt naar een paar voorbeelden van "Molecuul A is aangepast naar Molecuul B, en de score ging omhoog." Het gebruikt deze voorbeelden om uit te zoeken hoe het huidige molecuul moet worden aangepast, zonder dat het de complexe wetenschap achter het doel in woorden hoeft te begrijpen.

Waarom Het Wint

Het artikel heeft FORGE getest tegen veel grotere, krachtigere AI-modellen (sommigen met 8 miljard parameters, terwijl FORGE slechts 0,6 miljard gebruikt).

Het Resultaat: FORGE sloeg de reuzen consequent.
De Reden: De reuzen probeerden een perfect nieuw molecuul te "hallucineren" vanuit een vage tekstprompt. FORGE slaagde omdat het zich richtte op kleine, contextbewuste aanpassingen met behulp van een stabiele woordenschat. Het behandelde moleculaire optimalisatie als een reeks precieze, lokale reparaties in plaats van als een creatieve schrijfoefening.

Samenvattend: FORGE is een klein, uiterst efficiënt AI-systeem dat niet probeert het hele verhaal te herschrijven. In plaats daarvan vindt het de ene zin die gerepareerd moet worden, begrijpt het de context van het alinea en wisselt het het perfecte woord in, leertend van eerdere voorbeelden in plaats van van vage instructies.

Technische Samenvatting: FORGE (Fragment-Oriented Ranking and Generation)

1. Probleemstelling

Moleculaire optimalisatie beoogt de eigenschappen van een startmolecuul te verbeteren door middel van kleine structurele bewerkingen, terwijl een hoge gelijkenis met de oorspronkelijke verbinding behouden blijft. Huidige state-of-the-art benaderingen formuleren dit doorgaans als een prompt-geconditioneerde sequentiegeneratietask met behulp van grote taalmodellen (LLM's). De auteurs betogen dat deze formulering fundamenteel niet aansluit bij het lokaal-bewerkingskarakter van het probleem om twee redenen:

Semantische mismatch: Doelen voor drugontwikkeling in de praktijk (bijv. proprietaire bindingscores, ADMET-classificatoren) missen vaak trouwe natuurlijke taalbeschrijvingen. Het vertrouwen op tekstprompts leidt tot zwakke controle, en training op door LLM's gedistilleerde chain-of-thought-gegevens erft vaak chemische onnauwkeurigheden of hallucinaties over.
Genegeerde contextafhankelijkheid: De bijdrage van een moleculair fragment aan een eigenschap is sterk afhankelijk van zijn lokale chemische omgeving. Het behandelen van fragmentbijdragen als globale, contextvrije scalairen doet afbreuk aan kritieke structurele informatie en introduceert labelruis.

2. Methodologie: FORGE-raamwerk

FORGE (Fragment-Oriented Ranking and Generation) herformuleert moleculaire optimalisatie als contextbewuste lokale bewerking. Het splitst de task op in twee expliciete beslissingen: waar te bewerken en hoe te bewerken. Het raamwerk is gebouwd op een compact 0,6B taalmodel (Qwen3-0.6B) en werkt in twee toezichtstappen, gevolgd door een inferentiemechanisme dat is aangepast voor black-box-doelen.

Kerncomponenten

Tokenisering op atoomniveau (QwenAtom): Om een stabiele fragmentidentiteit over verschillende gastmoleculen heen te waarborgen, vervangen de auteurs de standaard Byte-Pair Encoding (BPE) door een regex-gebaseerde atoomparser voor SMILES-strings. Dit zorgt ervoor dat dezelfde chemische substructuur identiek wordt getokeniseerd, ongeacht het omringende molecuul; een vereiste voor betrouwbare supervisie op fragmentniveau.
Stap 1: Contextbewuste fragmentranking (discriminatief):
- Doel: Bepalen waar te bewerken.
- Mechanisme: Het model rangschikt fragmenten op basis van hun bijdrage aan een doeleigenschap binnen de volledige moleculaire context.
- Toezicht: Gebruikt regelgebaseerde gegevens (RDKit voor eigenschappen zoals QED, logP) en GNN-gebaseerde attributie (SME) voor eigenschappen zoals hERG en ESOL. Cruciaal is het gebruik van SME+, een context-geconditioneerde extensie van Substructure Mask Explanation die fragmentvoorkomens groepeert op basis van hun lokale ECFP-omgeving (straal $r=2$ ) in plaats van ze globaal te aggregeren.
- Tasks: Decompositie, ranking, kwetsbaarheidsvoorspelling en ranking via in-context learning (ICL).
Stap 2: Expliciete fragmentvervanging (generatief):
- Doel: Bepalen hoe te bewerken.
- Mechanisme: Genereert expliciete vervangingen voor geïdentificeerde zwakke fragmenten.
- Toezicht: Getraind op geverifieerde paren met bewerkingen van laag naar hoog, afgeleid van:
  1. SME+: Contextspecifieke vervangingen die scores verbeteren binnen een specifieke omgevingsbin.
  2. ChEMBL Matched Molecular Pairs (MMP's): Real-world paren die een scaffold delen maar verschillen in één fragment, gefilterd om benchmarkdoelen (DRD2, JNK3, GSK3-β) uit te sluiten om datalekken te voorkomen.
- Outputformaat: Expliciete modificatiesyntaxis (bijv. frag_src >> frag_tgt) in plaats van volledige herschrijving van het molecuul.
Inferentie: In-Context Learning (ICL) voor black-box-doelen:
- FORGE past zich aan aan onbekende, onbenoemde black-box-doelen zonder gradientupdates.
- Het onderhoudt een replaybuffer van tuples (bronmolecuul, modificatie, resultatomolecuul, orakel-score).
- Tijdens de zoektocht wordt het model geprompt met demonstraties die uit deze buffer zijn gehaald (gebiasd naar hoge scores) om het doeldoel af te leiden en bewerkingen voor te stellen.

3. Belangrijkste bijdragen

Datastrategie: Aangetoond dat context-geconditioneerde, regelgeverifieerde fragmentbewerkingen een haalbaar, schaalbaar en hallucinatienvrij alternatief vormen voor natuurlijke taaldoelen of dure door LLM's gedistilleerde chain-of-thought-gegevens.
Raamwerkontwerp: Voorstellen van FORGE, een tweestapsraamwerk dat optimalisatie ontkoppelt in context-geconditioneerde ranking (waar) en generatie van expliciete vervangingen (hoe), met gebruik van tokenisering op atoomniveau om fragmentidentiteit te stabiliseren.
Prestatie-efficiëntie: Aangetoond dat een 0,6B-model dat dit raamwerk gebruikt state-of-the-art resultaten behaalt, aanzienlijk beter presteert dan veel grotere modellen (8B+ LLM's, GPT-4o) en grafgebaseerde methoden over meerdere benchmarks.

4. Experimentele resultaten

De auteurs hebben FORGE geëvalueerd op vijf benchmarks:

Prompt-MolOpt (gelijkenis-beperkte ADMET): FORGE presteert consequent beter dan baselines, waarbij de prestatiekloof groter wordt naarmate de gelijkenisbeperkingen strenger worden ( $\delta=0,6$ ). Bij $\delta=0,6$ bereikt FORGE een SUM-score van 2,882, vergeleken met 0,824 voor de originele Prompt-MolOpt, wat aantoont dat lokale fragmentbewerking superieur is aan volledige SMILES-herschrijving onder strikte beperkingen.
PMO-1k (black-box optimalisatie): Op 22 onbenoemde black-box-tasks met een beperkt budget van 1.000 oproepen bereikt FORGE een geaggregeerde score van 12,42, beter dan LICO (11,71) en andere gradientvrije methoden.
QED-DRD2 (expliciete modificatie): Bij vergelijking van outputformaten presteert de expliciete modificatievariant van FORGE 3–5 procentpunten beter dan de end-to-end generatievariant, vooral bij strikte gelijkenisdrempels.
Lead-optimalisatie (docking op echte doelen): Bij docking-tasks voor vijf eiwitdoelen behaalt FORGE de beste dockingscores in 20 van de 30 configuraties, aanzienlijk beter dan Graph GA en GenMol, vooral onder strikte gelijkenisbeperkingen.
ChemCoTBench (kleine modellen versus grote modellen): Een 0,6B FORGE-model komt overeen met of overtreft de prestaties van Qwen-3-8B (SFT) en GPT-4o op zes optimalisatietasks. Opvallend is dat FORGE op tasks met echte doelen (DRD2, JNK3, GSK3-β) succespercentages van 86–94% bereikt, terwijl de 8B- en GPT-4o-baselines worstelen met percentages tussen 20–48%.

5. Betekenis en claims

De paper claimt dat de primaire waarde van FORGE ligt in de verschuiving van het paradigma van conditionering via natuurlijke taal naar expliciete supervisie op fragmentniveau.

Context is koning: De auteurs leveren empirisch bewijs dat fragmenteffecten sterk contextafhankelijk zijn; het conditioneren van fragmentattributie op lokale omgevingen (via SME+) vermindert de variantie met 8–10% en is cruciaal voor prestaties onder gelijkenisbeperkingen.
Beperkingen van prompts: Experimenten tonen aan dat het wijzigen van de natuurlijke taalbeschrijving van een black-box-doel in een prompt een verwaarloosbaar effect heeft (<3% scoreverandering) op het optimalisatiegedrag, wat aangeeft dat natuurlijke taal een zwak controlesignaal is voor deze tasks.
Schaalbaarheid: Het raamwerk toont aan dat een klein, gespecialiseerd model (0,6B) massale generalistische modellen kan overtreffen wanneer de trainingsgegevens en het outputformaat zijn afgestemd op de structurele aard van het chemische probleem (lokale bewerkingen in plaats van globale generatie).

De auteurs concluderen dat expliciete supervisie op fragmentniveau een gemakkelijker te verkrijgen, schaalbaar en betrouwbaarder alternatief is voor training via natuurlijke taal voor moleculaire optimalisatie, vooral bij het omgaan met black-box-doelen en strikte structurele beperkingen.