🤖 machine learning

Uncertainty-aware reinforcement learning for chemical language models

Dit artikel stelt twee onzekerheidsbewuste reinforcement learning-frameworks voor en evalueert deze voor chemische taalmodellen die de risico's van het verkennen van onbetrouwbare chemische ruimtes beperken door onzekerheid ofwel te behandelen als een optimalisatiedoelstelling of door beleidsuppdaties te moduleren, wat uiteindelijk leidt tot robuuster moleculair ontwerp met een significant hogere werkelijke hitrate.

Oorspronkelijke auteurs: Borja Medina, Jon Paul Janet

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Borja Medina, Jon Paul Janet

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een schatzoeker bent die op zoek is naar de meest waardevolle edelstenen in een uitgestrekt, onontgonnen grottenstelsel. Deze grot vertegenwoordigt de "chemische ruimte"—een universum van biljoenen mogbare moleculen. Je doel is om nieuwe moleculen te ontwerpen die levensreddende medicijnen kunnen worden.

Om je bij te staan, heb je een Chemical Language Model (CLM). Denk aan dit model als een zeer bekwame, maar ietwat overmoedige gids die een kaart heeft uit het hoofd geleerd van een klein, goed verkend deel van de grot (de trainingsdata). Wanneer je de gids vraagt om een locatie van een nieuwe edelsteen voor te stellen, gebruikt hij zijn kennis om te voorspellen hoe waardevol die edelsteen zou kunnen zijn.

Het Probleem: De Overmoedige Gids

De paper wijst op een groot gebrek in de manier waarop we deze gidsen gewoonlijk gebruiken. In het verleden behandelden we de voorspellingen van de gids als absolute feiten. Als de gids zei: "Deze plek heeft een diamant waard voor $1 miljoen!", geloofden we hem blindelings.

Echter, de gids is alleen zelfverzekerd over gebieden die dicht bij zijn oorspronkelijke kaart liggen. Als je hem naar een plek vraagt diep in de onbekende, donkere hoeken van de grot, kan hij nog steeds roepen: "Diamant!", met dezelfde overtuiging, ook al is hij maar aan het gokken. In werkelijkheid zijn die voorspellingen wankel en onbetrouwbaar.

Wanneer we de gids blindelings naar deze "hoog-score maar hoog-onzekerheid" zones laten leiden, verspillen we tijd aan nep-schatten. Het optimalisatieproces wordt instabiel, en we genereren moleculen die er op papier geweldig uitzien, maar in de echte wereld niet werken.

De Oplossing: De Gids Leren Zeggen "Ik Weet Het Niet Zeker"

De auteurs stellen een nieuwe manier voor om Reinforcement Learning (RL) te gebruiken, wat in essentie een trainingsmethode is waarbij de gids leert door middel van vallen en opstaan. Ze willen de gids leren om aandacht te besteden aan zijn eigen onzekerheid—zijn interne "onderbuikgevoel" over of hij wel weet waar hij het over heeft.

Ze testten twee creatieve strategieën om de overmoed van de gids te corrossen:

Strategie 1: De "Eerlijkheidsbonus" (Score Modulatie)

Stel je voor dat je een videogame speelt waarin je punten krijgt voor het vinden van edelstenen.

Oude manier: Je krijgt punten alleen voor de waarde van de edelsteen.
Nieuwe manier (Score Modulatie): Je krijgt punten voor de waarde van de edelsteen min een boete als de gids onzeker is over die edelsteen.
De Analogie: Het is alsof je tegen de gids zegt: "Als je 100% zeker weet dat dit een diamant is, geef ik je een enorme bonus. Maar als je maar wat gokt, trek ik punten af van je score." Dit moedigt de gieden aan om de donkere, onbekende hoeken te vermijden en vast te houden aan de goed verlichte, vertrouwde paden waar hij zeker van zijn bevindingen kan zijn.

Strategie 2: De "Volumehendel" (Loss Modulatie)

Deze aanpak is subtieler. Stel je voor dat de gids jou een lijst met suggesties geeft, en jij bent degene die ervan leert.

Oude manier: Je luistert naar elke suggestie met dezelfde intensiteit, of de gids nu zelfverzekerd is of aan het gokken is.
Nieuwe manier (Loss Modulatie): Je draait het volume omhoog bij de zelfverzekerde suggesties van de gids en draait het volume omlaag (of zet ze op mute) bij de wankele suggesties.
De Analogie: Als de gids zegt: "Ik ben voor 90% zeker dat dit een diamant is," dan leun je naar voren en leer je ervan. Als hij zegt: "Ik denk dat dit misschien een diamant is, maar ik weet het niet echt zeker," dan luister je nauwelijks. Dit voorkomt dat de wilde gokken van de gids je training verstoren.

De Resultaten: Beter Schatten

De onderzoekers testten deze ideeën in drie verschillende scenario's:

Een Gesimuleerde Grot: Een door de computer gegenereerde wereld waarin zij precies wisten hoe ver de gids van zijn kaart verwijderd was en hoeveel hij aan het gokken was.
Echte Medicijngegevens (ChemProp): Het gebruik van echte, reële modellen getraind op kleine versus grote datasets.
Een Statistische Veiligheidsnet (Conformal Prediction): Een methode die voorspellingen als "onzeker" markeert als ze niet voldoen aan de bekende patronen.

Wat gebeurde er?

Zonder de fix: De gids zou vaak "edelstenen" vinden die er geweldig uitzagen, maar eigenlijk illusies waren (valse hits). Hij zou vast komen te zitten in gebieden waar hij wild aan het gokken was.
Met de fix (vooral de Volumehendel-strategie): De gids stopte met het verspillen van tijd in de donkere hoeken. Hij concentreerde zich op gebieden waar hij zelfverzekerd over was.
- Het aantal echte, geldige hits (ware edelstenen) nam met 50% toe (van 0,5 naar 0,75).
- Het totale aantal ware hits werd bijna verdubbeld.
- Cruciaal was dat ze niet het vermogen verloren om hoogwaardige moleculen te vinden; ze stopten alleen met het vinden van de neppe exemplaren.

De Belangrijkste Les

De paper concludeert dat we onze AI-gidsen niet alleen niet alleen moeten vragen: "Wat is het beste molecuul?", maar ook: "Hoe zeker ben je?"

Door onzekerheid te behandelen als een hulpmiddel in plaats van het te negeren, kunnen we de chemische exploratie door AI veel robuuster maken. Het is also kind dat een schatzoeker een kompas geeft dat niet alleen naar goud wijst, maar hem ook waarschuwt wanneer hij van de kaart af loopt. Het resultaat is een snellere, veiligere en betrouwbaardere manier om nieuwe medicijnen te ontdekken.

Technische Samenvatting: Onzekerheidsbewuste Reinforcement Learning voor Chemische Taalmodellen

Probleemstelling

Reinforcement Learning (RL) is een krachtig paradigma geworden voor de novo moleculaire design, wat Chemical Language Models (CLMs) in staat stelt de chemische ruimte te verkennen en specifieke eigenschappen te optimaliseren. Bestaande RL-frameworks behandelen scoringfuncties echter doorgaans als deterministische orakels, waarbij de inherente onzekerheid in voorspellingen van moleculaire eigenschappen wordt genegeerd. Deze scoringfuncties vertrouwen op predictieve modellen die zijn getraind op beperkte, potentieel vertekende datasets, wat zowel aleatorische (dataruis) als epistemische (modelparameters/dekking) onzekerheid introduceert.

Wanneer RL-agenten uitsluitend optimaliseren op basis van punt-schattingen, kunnen ze regio's in de chemische ruimte verkennen die ver verwijderd zijn van de trainingsdistributie waar voorspellingen zeer onzeker zijn. Dit leidt tot de generatie van moleculen met hoge scores die slecht ondersteund worden door de trainingsdata, wat het optimalisatieproces kan destabiliseren en voorspellingen oplevert die ver afstaan van hun werkelijke waarden. Hoewel onzekerheidskwantificatie goed bestudeerd is binnen de Quantitative Structure-Activity Relationship (QSAR) modellering, heeft het beperkte aandacht gekregen in de context van RL-gebaseerde moleculaire generatie.

Methodologie

De auteurs stellen twee complementaire strategieën voor om voorspellende onzekerheid te integreren in de RL-loop binnen het REINVEINT4-framework. Het framework maakt gebruik van een Recurrent Neural Network (RNN) om moleculen te samplen, die vervolgens worden geëvalueerd door een Multi-Parameter Optimization (MPO) scoringfunctie.

1. Probabilistische Scoringfuncties

Voordat ze de onzekerheidsstrategieën introduceren, adresseren de auteurs een wiskundige inconsistentie in standaard REINVENT-implementaties. Wanneer scoringfuncties een volledige predictieve distributie leveren (bijv. via Mean-Variance Estimation), is het toepassen van niet-lineaire transformaties op enkel de verwachte waarde ( $f(E[X])$ ) wiskundig inconsistent met het eerst transformeren van de distributie ( $E[f(X)]$ ). De auteurs implementeren een probabilistische scoringbenadering waarbij de MPO als een willekeurige variabele wordt behandeld, benaderd via Monte Carlo-sampling om variantie correct te propageren.

2. Onzekerheidsintegratiestrategieën

Het artikel introduceert twee verschillende methoden om onzekerheid te gebruiken:

Score Modulatie (SM): Onzekerheid wordt behandeld als een expliciet extra optimalisatieobjectief. De voorspellende onzekerheid wordt direct in de MPO-scoringfunctie opgenomen naast activiteit en fysisch-chemische eigenschappen. Dit moedigt de policy aan om een afweging te maken tussen exploitatie (hoge score) en betrouwbaarheid (lage onzekerheid).
Loss Modulatie (LM): Onzekerheid wordt niet toegevoegd aan de score, maar wordt gebruikt om de omvang van de policy-updates te moduleren. De bijdrage van elk molecuul aan de gradiënt-update wordt invers gewogen ten opzichte van de onzekerheid ervan. Moleculen met een hoge onzekerheid hebben hun invloed op de policy verminderd, waardoor onbetrouwbare leersignalen worden afgezwakt.

3. Experimentele Opstellingen

De strategieën werden geëvalueerd in drie settings:

Gecontroleerd Model Systeem (MS): Een synthetische omgeving waar de voorspellingsfout wordt gemodelleerd als Gaussische ruis met een variantie die proportioneel is aan de afstand tot de trainingsdata (wat een Applicability Domain simuleert). De grondwaarheid (ground truth) is bekend, wat nauwkeurige foutmeting mogelijk maakt.
ChemProp Modellen: Scenario's met echte data waarbij gebruik wordt gemaakt van ChemProp-modellen getraind met Mean-Variance Estimation (MVE). Een "Predictor"-model (getraind op een kleine subset) dient als de scoringfunctie, terwijl een "Oracle"-model (getraind op de volledige dataset) dient als een grondwaarheid-proxy.
Conformal Prediction (CP): Een opstelling met een Random Forest classifier die is ingekapseld in een Mondrian Inductive Conformal Predictor. Onzekerheid wordt gekwantificeerd via prediction sets en p-waarden, zonder een externe grondwaarheid-oracle.

Belangrijkste Resultaten

Resultaten Model Systeem

In de gecontroleerde setting vertoonde de standaard "Noisy Component"-baseline een vorm van impliciete zelfregulering, waarbij het systeem naar regio's met een lagere onzekerheid bewoog door scoring-instabiliteit, hoewel dit traag was en afhankelijk van de begincondities.

SM en LM Prestaties: Beide expliciete strategieën versnelden de verschuiving naar regio's met lage onzekerheid vergeleken met de baseline.
Hit Kwaliteit: De LM-strategie leverde de beste prestaties op, waarbij de ratio van echte hits ten opzichte van het totaal aantal hits significant toenam vergeleken met de baseline.
Gecombineerde Aanpak (SM&LM): Hoewel deze aanpak het snelst naar regio's met lage onzekerheid verschoof, resulteerde dit in een significante reductie van het totale aantal geaccumuleerde hit-scaffolds, wat suggereert dat er sprake is van een overcorrectie die diversiteit en exploratie in de gecontroleerde setting in gevaar brengt.

Real-Data Resultaten (ChemProp)

In het ChemProp-scenario vertoonde de baseline (alleen Predictor) een sterke toename in voorspelde activiteit, maar een substantiële divergentie van de Oracle-score, wat aangeeft dat het model regio's met hoge onzekerheid exploiteert waar de Predictor de activiteit overschat.

Betrouwbaarheid: Onzekerheid-gestuurde strategieën (met name LM) behielden een kleinere, stabielere kloof tussen de Predictor- en Oracle-scores.
True Hits: De LM-strategie produceerde het hoogste aantal echte hits en de grootste verbetering in de ratio van echte hits versus het totaal (een stijging van 0,5 naar 0,75), wat bijna het aantal echte hits verdubbelde ten opzichte van de baseline.
Onzekerheid: Alle gestuurde strategieën slaagden erin de voorspellende onzekerheid van de gegenereerde moleculen te verminderen.

Real-Data Resultaten (Conformal Prediction)

Zonder een grondwaarheid-oracle werden "true hits" gedefinieerd als verbindingen die door de Conformal Predictor aan een unieke klasse (actief) zijn toegewezen.

Reductie van Ambiguïteit: De baseline-optimalisatie genereerde een groot deel aan ambigue voorspellingen (toegekend aan zowel actieve als inactieve klassen). Onzekerheid-gestuurde strategieën verminderden deze ambiguïteit aanzienlijk.
Hit Betrouwbaarheid: Hoewel het totaal aantal hits vergelijkbaar was tussen de strategieën, produceerden de onzekerheid-gestuurde benaderingen een hoger deel aan zelfverzekerde, unieke-klasse voorspellingen.

Betekenis en Claims

Het artikel claimt dat het integreren van voorspellende onzekerheid in RL-gestuurde moleculaire generatie consistente en betekenisvolle verbeteringen oplevert over diverse experimentele settings heen. De primaire betekenis ligt in het aantonen dat onzekerheid niet louter een diagnostisch hulpmiddel is, maar kan dienen als een actief onderdeel van het optimalisatieproces.

Stabiliteit en Betrouwbaarheid: Onzekerheidsbewuste strategieën stabiliseren exploratie door voorkeur te geven aan regio's waar scoringfuncties betrouwbaar zijn, wat het risico op het exploiteren van spookachtige voorspellingen vermindert.
Superioriteit van Loss Modulatie: De auteurs identificeren de Loss Modulatie (LM) strategie als de meest robuuste benadering. In tegen tegenstelling tot Score Modulatie, die de reward-landschappen verandert door scores met onzekerheidsschattingen te mengen, behoudt LM de integriteit van het oorspronkelijke scoring-doel terwijl het de invloed van onbetrouwbare samples op het leren van de policy dempt.
Praktische Impact: De aanpak verhoogt de betrouwbaarheid van hit-ontdekking zonder de moleculaire scores in gevaar te brengen, wat het breed toepasbaar maakt voor elk generatief framework waarbij RL moleculaire optimalisatie stuurt en voorspellende onzekerheid kan worden geschat.

De auteurs concluderen dat hun bevindingen de noodzaak benadrukken om rekening te houden met onzekerheid om de kwaliteit en betrouwbaarheid van de novo moleculaire design te verbeteren, met name wanneer regio's in de chemische ruimte worden verkend die ver verwijderd zijn van de trainingsdata.