🤖 AI

Confidence is the key: how conformal prediction enhances the generative design of permeable peptides

Dit artikel introduceert een onzekerheidsbewust generatief raamwerk dat conformale voorspelling integreert met versterkingsleer om de betrouwbaarheid en efficiëntie van het ontwerpen van permeabele cyclische peptiden te verbeteren, door te waarborgen dat gegenereerde moleculen binnen het toepassingsdomein van het voorspellende model blijven.

Oorspronkelijke auteurs: Laura van Weesep, Sunay Chankeshwara, Leonardo De Maria, Florian David, Ola Engkvist, Gökçe Geylan

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Laura van Weesep, Sunay Chankeshwara, Leonardo De Maria, Florian David, Ola Engkvist, Gökçe Geylan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert een nieuwe, magische soep te bedenken die door een gesloten deur (een celmembraan) kan gaan om een ziekte te genezen. Je hebt een superintelligente robotassistent (het Generatieve Model) die duizenden ingrediënten (aminozuren) kan mixen en matchen om nieuwe soeprecepten te creëren.

Er is echter een probleem: je hebt ook een Smaakproever (het Predictieve Model) die je vertelt of een soep door de deur zal gaan. Het probleem is dat deze Smaakproever alleen een expert is op soepen die hij eerder heeft geproefd. Als je hem vraagt een soep te beoordelen die volledig uit nieuwe, vreemde ingrediënten bestaat die hij nooit heeft gezien, kan hij zelfverzekerd gokken, maar zou hij volledig kunnen misgrijpen. Hij zou kunnen zeggen: "Dit zal zeker werken!" terwijl het in werkelijkheid een ramp is.

Dit artikel gaat over het leren van de robotkok hoe hij moet werken met een Wijze Mentor (Conformale Predictie) die precies weet wanneer de Smaakproever gokt en wanneer hij zeker is.

Het Probleem: De Zelfverzekerde Gok

In het verleden luisterde de robotkok gewoon naar de zelfverzekerde score van de Smaakproever. Als de proever zei: "Ik ben 90% zeker dat deze soep werkt", bleef de robot die soep maken.

Het Probleem: Soms gokt de proever alleen maar omdat de soep te vreemd is. De robot blijft deze "zelfverzekerde maar verkeerde" soepen maken, waardoor tijd en ingrediënten worden verspild. Het is alsof de robot blijft proberen een deur open te maken met een sleutel die eruitziet als een sleutel, maar eigenlijk een lepel is, omdat de slotenmaker zei: "Het lijkt op een sleutel!"

De Oplossing: De "Wijze Mentor" (Conformale Predictie)

De auteurs introduceerden Conformale Predictie (CP). Denk aan CP als een Wijze Mentor die naast de Smaakproever zit.

De Mentor zegt niet zomaar "Ja" of "Nee".
De Mentor zegt: "Ik ben 80% zeker dat deze soep zal werken," OF "Ik ben niet zeker genoeg om iets te zeggen."
Als de Mentor zegt: "Ik weet het niet zeker", weet de robotkok dat hij moet stoppen met dat specifieke recept en iets anders moet proberen dat er bekender en veiliger uitziet.

Het Experiment: Drie Manieren om te Luisteren

De onderzoekers testten verschillende manieren waarop de robotkok naar dit nieuwe Mentorsysteem kon luisteren:

De "Rauwe" Aanpak (Oude Manier): De robot luisterde gewoon naar de rauwe zelfverzekerdheid van de Smaakproever.
- Resultaat: De robot maakte veel soepen die er op papier goed uitzagen, maar veel waren eigenlijk "nep" (onbetrouwbare voorspellingen). Het was snel, maar de kwaliteit was wankel.
De "Harde" Aanpak: De robot accepteerde alleen een recept als de Mentor 100% zeker was dat het een "Goedkeuring" was en 100% zeker was dat het geen "Afkeuring" was.
- Resultaat: Dit was te streng. De robot kwam vast te zitten, kon niet leren en stopte met het maken van soepen omdat hij te bang was om een fout te maken.
De "Zachte" Aanpak (De Winnaar): Dit was de slimme middenweg.
- Als de Mentor superzeker was, kreeg de robot een grote beloning (1 punt).
- Als de Mentor een beetje zeker was (bijvoorbeeld: "Het is waarschijnlijk een goedkeuring, maar ik ben niet 100% zeker"), kreeg de robot een kleine beloning (0,5 punten).
- Als de Mentor niets wist, kreeg de robot nul punten.
- Resultaat: Dit werkte het beste! De robot leerde snel. Het vond het "sweet spot" waar het nieuwe, permeabele soepen kon uitvinden zonder de gevaarlijke zone van "vreemde ingrediënten" te betreden waar de Smaakproever alleen maar gokt.

De Resultaten: Wat Vonden Ze?

Betrouwbaarheid: Door de "Zachte" aanpak te gebruiken, genereerde de robot minder "nep" soepen. Het richtte zich op recepten die de Mentor daadwerkelijk vertrouwde.
Snelheid: De robot vond goede recepten sneller dan de oude methode omdat het geen tijd verspilde aan het achtervolgen van valse sporen.
De "Lengte"-Regel: Ze merkten op dat de Mentor erg goed was in het beoordelen van soepen met 6, 7 of 10 ingrediënten (omdat de Mentor er veel van eerder had geproefd). Maar als de robot probeerde een soep met 12 ingrediënten te maken, raakte de Mentor in de war en kon hij geen goed advies geven. Dit leerde de robot wanneer hij moet stoppen met het proberen van bepaalde soorten soepen.

De Conclusie

Dit artikel laat zien dat wanneer je AI gebruikt om nieuwe medicijnen te ontwerpen (zoals peptidemedicijnen), je niet zomaar moet vertrouwen op het "buikgevoel" van de AI. Je hebt een systeem nodig dat je vertelt hoe zeker de AI is.

Door deze "zelfverzekerdheidscontrole" (Conformale Predictie) toe te voegen aan de leerlus, wordt de AI een slimmer, voorzichtiger ontdekkingsreiziger. Het rent niet blindelings het onbekende in; het weet wanneer het bij het veilige pad moet blijven en wanneer het veilig is om iets nieuws te proberen. Dit leidt tot betere medicijndesigns die daadwerkelijk waarschijnlijk zullen werken, in plaats van alleen maar goed te lijken op een computerscherm.

Technische Samenvatting: Zekerheid is de sleutel: hoe conformale voorspelling de generatieve ontwerping van permeabele peptiden verbetert

Probleemstelling
Generatieve modellen gekoppeld aan versterkingslering (RL), zoals REINVENT en PepINVENT, zijn krachtige hulpmiddelen voor de novo moleculair ontwerp. Hun afhankelijkheid van voorspellende modellen als scorefuncties introduceert echter een kritieke kwetsbaarheid: het toepassingsdomein. Wanneer RL-agenten de chemische ruimte verkennen, stellen ze vaak moleculen voor die buiten de trainingsverdeling van het voorspellende model liggen. In deze gebieden worden voorspellingen onbetrouwbaar, wat de optimalisatie mogelijk kan sturen naar chemische ruimtes met hoge beloning maar ook hoge onzekerheid. Dit probleem is bijzonder acuut voor cyclische peptiden, die therapeutische belofte tonen maar in vergelijking met kleine moleculen ondervertegenwoordigd zijn in trainingsdata. De uitdaging ligt in het onderscheid maken tussen echt permeabele ontwerpen en artefacten van model-extrapolatie, waarbij hoge voorspelde kansen gebrek kunnen hebben aan kalibratie en betrouwbaarheid.

Methodologie
De auteurs stellen een onzekerheidsbewust generatief kader voor dat Conformale Voorspelling (CV) direct integreert in de RL-lus voor het ontwerp van cel-permeabele cyclische peptiden.

Generatief Kader: De studie maakt gebruik van PepINVENT, een transformer-gebaseerd model getraind op semi-synthetische data (natuurlijke en niet-natuurlijke aminozuren in CHUCKLES-notatie). Het RL-proces omvat het maskeren van aminozuurposities in invoer-cyclische peptiden en het genereren van vervangingen.
Voorspellend Model: Een XGBoost-classificator, getraind op de CycPeptMPDB-database (6.876 cyclische peptiden), voorspelt passieve membraanpermeabiliteit (PAMPA-assay-gegevens). Het model gebruikt Extended Connectivity Fingerprints (ECFP) als beschrijvers.
Kwantificering van Onzekerheid: In plaats van ruwe modelkansen gebruiken de auteurs Mondriaanse Inductieve Conformale Voorspelling (ICP). Dit kader kalibreert voorspellingen om geldige betrouwbaarheidsschattingen te bieden voor individuele instanties. Het genereert twee p-waarden: $P_1$ $P_{1}$ (betrouwbaarheid dat het molecuul permeabel is) en $P_0$ $P_{0}$ (betrouwbaarheid dat het molecuul niet-permeabel is).
- Een voorspelling wordt beschouwd als "conformaal efficiënt" (betrouwbaar) als $P_1 > 0,2$ en $P_0 < 0,2$ (corresponderend met een betrouwbaarheidsniveau van 80%).
- Een Aggregated Conformal Predictor (ACP) met 10 ICP-modellen werd gebruikt om de efficiëntie te verbeteren.
Scorestrategieën: De studie evalueerde zes scorefuncties binnen de RL-lus:
1. Ruwe Model (RM): Kans op de permeabele klasse (basislijn).
2. CV P1: maximaliseren van de p-waarde voor de permeabele klasse.
3. CV 1-P0: maximaliseren van het complement van de niet-permeabele p-waarde.
4. CV P1-P0: maximaliseren van het verschil tussen de twee p-waarden.
5. Harde Functie: Een binaire beloning (1 of 0) alleen als zowel $P_1 > 0,2$ als $P_0 < 0,2$ .
6. Zachte Functie: Een stapfunctie die een gedeeltelijke beloning (0,5) geeft als aan één van de voorwaarden is voldaan, en een volledige beloning (1) als aan beide is voldaan.

De RL-lus optimaliseert deze scores over 350 epochen voor 150 testqueries (cyclische peptiden met 6–12 residuen), waarbij 1–4 posities per query worden gemaskeerd.

Belangrijkste Resultaten

Beperkingen van Ruwe Kansen: Hoewel de RL-agent succesvol de ruwe modelkansen verhoogde (van 0,51 naar 0,87), bleef het aantal conformaal efficiënte voorspellingen laag. Hoge ruwe kansen garandeerden niet dat de moleculen binnen het toepassingsdomein van de voorspeller vielen, aangezien $P_0$ vaak boven de significantiedrempel bleef.
Superioriteit van CV-gebaseerde Scoren:
- Enkele p-waarde-doelen (P1 of 1-P0) toonden marginale verbeteringen en slaagden er niet in om gezamenlijke betrouwbaarheid te garanderen.
- De "Zachte" scorefunctie presteerde beter dan alle andere methoden. Het bereikte de snelste convergentie (het bereiken van het doel van 50% conformaal efficiënte permeabele voorspellingen in ongeveer 150 epochen) en genereerde het hoogste aandeel moleculen met betrouwbare permeabele labels.
- De "Harde" functie was leerbaar maar minder efficiënt in vroege verkenning vanwege schaarse beloningen.
Validiteit versus Efficiëntie: De zachte scorefunctie genereerde minder totaal unieke geldige moleculen in vergelijking met het ruwe model of methoden met enkele p-waarden, maar een significant hoger ratio van die moleculen waren conformaal efficiënte permeabele voorspellingen. Dit geeft aan dat het ruwe model hit-rates opblaast met onbetrouwbare voorspellingen, terwijl de CV-zachte aanpak betrouwbare hits target.
Lengte-afhankelijkheid: De prestaties varieerden per peptidelengte. De zachte scorefunctie optimaliseerde effectief peptiden van lengte 6, 7, 8 en 10 (goed vertegenwoordigd in trainingsdata). Voor lengtes 9, 11 en 12 (minder vertegenwoordigd) had het model moeite om binnen 350 epochen hoge betrouwbaarheidsniveaus te bereiken, wat de capaciteit van het kader aantoont om te signaleren wanneer een ontwerpdoelstelling het toepassingsdomein van de voorspeller overstijgt.

Betekenis en Claims
Het artikel claimt het eerste kader te presenteren dat conformale voorspelling direct integreert in door versterkingslering geleid generatief ontwerp. De auteurs betogen dat deze aanpak:

De Kloof Overbrugt: Het verbindt de inherente onzekerheid van voorspellende modellen met de strategische verkenning van RL, waardoor wordt voorkomen dat de agent onbetrouwbare gebieden van de chemische ruimte exploiteert.
Betrouwbaarheid Verhoogt: Door ontwerpen te belonen op basis van gekalibreerde betrouwbaarheid in plaats van ruwe kans, zorgt het kader ervoor dat gegenereerde peptiden niet alleen hoog scoren, maar ook statistisch geldig zijn binnen het domein van het model.
Efficiëntie Verbeterd: De "zachte" scorestrategie versnelt de convergentie naar chemische ruimtes met hoge beloning en vertrouwen, in vergelijking met traditionele methoden die geen rekening houden met onzekerheid.
Praktisch Nut: De methode biedt een instelbaar mechanisme (via significantieniveaus) om de afweging tussen verkenning en de strengheid van het toepassingsdomein te controleren, en biedt zo een robuuste strategie voor moleculair ontwerptaken waarbij voorspellende betrouwbaarheid van het grootste belang is.

De studie concludeert dat hoewel de specifieke optimale scorefunctie kan variëren per taak, het synergetische effect van het combineren van CV, RL en generatieve modellen een generaliseerbaar pad biedt naar betrouwbaarder en efficiënter de novo moleculair ontwerp.