🤖 machine learning

Conformal Prediction for Molecular Properties under Label Shift

Dit artikel introduceert een conform voorspellingsframework dat is afgestemd op labelverschuiving en dat statistisch rigoureuze voorspellingsintervallen genereert voor moleculaire eigenschappen door scores te wegen met marginale labelwaarschijnlijkheidsratio's, waardoor de betrouwbaarheid en de naleving van regelgeving van AI-gestuurde medicijnontdekking worden verbeterd zonder dat hertraining van het model vereist is.

Oorspronkelijke auteurs: Hyeonsu Lee, Juyeon Kim, Erkhembayar Jadamba, Seungjin Choi, Hyunjin Shin

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hyeonsu Lee, Juyeon Kim, Erkhembayar Jadamba, Seungjin Choi, Hyunjin Shin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De reis van het transformeren van een chemische verbinding naar een levensreddend medicijn is een marathon van onzekerheid. Het is een proces dat meer dan een decennium kan duren en miljarden dollars kan kosten, en dat vaak eindigt in falen omdat een molecuul dat er in een computermodel perfect uitzag, zich onvoorspelbaar gedraagt in een levend lichaam. Om dit te versnellen, vertrouwen wetenschappers steeds vaker op kunstmatige intelligentie om te voorspellen hoe een nieuw molecuul zal reageren, zoals of het oplosbaar is in water of een cel vergiftigt. Deze digitale voorspellingen zijn echter slechts zo goed als de gegevens waarop ze zijn getraind. Wanneer een model een nieuw type molecuul tegenkomt dat significant verschilt van de voorbeelden die het heeft bestudeerd, kan de zekerheid ervan een last worden, waarbij het een enkel, precies getal biedt dat met vol vertrouwen fout is. Om deze tools veilig te maken voor gebruik in de echte wereld, hebben onderzoekers een manier nodig om niet alleen de uitkomst te meten, maar ook de betrouwbaarheid van die uitkomst, vooral wanneer de regels van het spel veranderen.

In een recente studie pakten onderzoekers van het Mogam Institute for Biomedical Research en Intellicode dit specifieke probleem van veranderende regels aan, wat in technische termen bekend staat als label shift. Dit gebeurt wanneer de distributie van de eigenschappen die een model probeert te voorspellen verandert tussen de trainingsfase en de toepassing in de echte wereld. Bijvoorbeeld, een model kan getraind zijn op een grote verscheidenheid aan veelvoorkomende moleculen, maar vervolgens gevraagd worden om zeldzame verbindingen met een uitzonderlijk hoge potentie te vinden. In dit scenario faalt de standaardmanier om onzekerheid te meten, wat vaak leidt tot voorspellingsintervallen die te nauw zijn om de werkelijke waarde te vangen. Het team ontwikkelde een nieuw framework dat de betrouwbaarheidsintervallen van deze AI-voorspellingen aanpast zonder de dure onderliggende modellen opnieuw te hoeven trainen. Door een statistische techniek genaamd conformal prediction te gebruiken, die een bereik van waarschijnlijke waarden construeert in plaats van een enkele puntinschatting, creëerden zij een systeem dat betrouwbaar blijft, zelfs wanneer de datadistributie verschuift.

De onderzoekers testten hun methode met behulp van een grote dataset van bijna tienduizend verbindingen met bekende oplosbaarheidsniveaus, een cruciale factor in medicijnontwerp. Ze gebruikten een geavanceerd taalmodel, getraind op honderden miljoenen chemische structuren, om de initiële voorspellingen te doen. Om de uitdaging van label shift in de echte wereld te simuleren, veranderden ze de testdata kunstmatig, zodat de distributie van de oplosbaarheidswaarden verschilde van de trainingsset. Wanneer ze de standaard, niet-aangepaste methode op deze verschoven data toepasten, slaagde het systeem er niet in om de werkelijke waarden binnen de voorspelde bereiken te vangen zoals het dat wel zou moeten doen, waardoor de resultaten gevaarlijk overmoedig waren. De traditionele aanpak, die ervan uitgaat dat de testdata er hetzelfde uitziet als de trainingsdata, kon simpelweg niet meekomen met de verandering.

Om dit op te lossen, introduceerde het team een wegingssysteem dat fungeert als een corrigerende lens voor de voorspellingen. Ze verdeelden de beschikbare data eerst in drie afzonderlijke groepen: één om het model te trainen, één om te schatten hoe de datadistributie was verschoven, en een derde om de uiteindelijke voorspellingsbereiken te kalibreren. Met behulp van de tweede groep berekenden ze de ratio tussen de verwachte frequentie van verschillende oplosbaarheidsniveaus in de nieuwe omgeving versus de oude. Vervolgens pasten ze deze ratio's toe als gewichten op de fouten die het model maakte tijdens de kalibratie. Dit proces vertelde het systeem effectief dat het meer aandacht moest besteden aan de soorten fouten die in de nieuwe data gebruikelijker werden, en minder aandacht aan de fouten die aan het afnemen waren. Door dit te doen, konden ze voorspellingsintervallen construeren die hun statistische validiteit behielden, waardoor de werkelijke waarde binnen het gewenste betrouwbaarheidsniveau viel, ongeacht hoe de data was verschoven.

De resultaten van hun simulaties, die duizend keer werden herhaald om robuustheid te garanderen, toonden een duidelijke verbetering. Terwijl de standaardmethode intervallen produceerde die onder label shift regelmatig de werkelijke waarden misten, herstelde de nieuwe gewogen aanpak de dekking consistent naar het streefpeil. De onderzoekers ontdekten dat de methode het beste werkte wanneer ze een specifieke statistische techniek genaamd maximum likelihood estimation gebruikten om de noodzakelijke gewichten te berekenen, hoewel andere methoden ook veelbelovend waren. Interessant genoeg neigde de meest nauwkeurige methode voor het herstellen van de dekking ertoe iets bredere intervallen te produceren dan de andere, een afruil die een eerlijkere beoordeling van onzekerheid reflecteert. De studie toonde aan dat het mogelijk is om bestaande, krachtige AI-modellen aan te passen aan nieuwe, verschuivende chemische landschappen zonder de evenredig hoge kosten van het volledig opnieuw trainen ervan.

Dit werk biedt een praktisch pad voor de integratie van kunstmatige intelligentie in de hoogwaardige omgeving van medicijnontwikkeling. Door een manier te bieden om statistisch rigoureuze betrouwbaarheidsmaten te genereren die zich aanpassen aan veranderende omstandigheden, helpt het framework de kloof te overbruggen tussen de theoretische prestaties van modellen en de regelgevende vereisten voor transparantie. Het zorgt ervoor dat wanneer wetenschappers kijken naar een voorspelling voor een nieuw molecuul, ze niet alleen een getal zien, maar een realistische beoordeling van de potentie, compleet met een duidelijk begrip van de betrokken risico's. Deze verschuiving van blinde zelfverzekerdheid naar gemeten betrouwbaarheid is een cruciale stap om AI tot een vertrouwde partner te maken in de miljarden kostende onderneming van het brengen van nieuwe medicijnen naar patiënten.

Technische Samenvatting: Conformal Predictie voor Moleculaire Eigenschappen onder Label Shift

Probleemstelling
De toepassing van Kunstmatige Intelligentie (AI) in de ontdekking van geneesmiddelen staat voor een kritieke betrouwbaarheidsbottleneck: distributieverschuiving (distribution shift). Hoewel AI-modellen de voorspelling van moleculaire eigenschappen (bijv. oplosbaarheid, potentie, toxiciteit) versnellen, verslechtert hun prestatie vaak wanneer de testdata afwijkt van de trainingsdistributies. Specifiek richt dit werk zich op label shift, een scenario waarin de marginale distributie van de doelvariabele ( $P(y)$ ) verandert tussen de bron- (training) en de doelgebieden (target domains), terwijl de conditionele distributie van kenmerken gegeven de label ( $P(x|y)$ ) invariant blijft. Dit komt veel voor in de ontdekking van geneesmiddelen wanneer de onderzoeksprioriteiten verschuiven naar het ontdekken van moleculen met eigenschapswaarden (bijv. extreme potentie of lage toxiciteit) die ondervertegenwoordigd waren in de oorspronkelijke trainingsdata.

Standaard conformal predictie, een raamwerk voor het genereren van statistisch rigoureuze voorspellingsintervallen met eind-steekproef-validiteit, vertrouwt op de aanname van uitwisselbaarheid (exchangeability) tussen trainings- en testdata. Onder label shift wordt deze aanname geschonden, wat leidt tot overmoedige maar onbetrouwbare voorspellingen waarbij de dekkingspercentages (coverage rates) aanzienlijk onder het nominale betrouwbaarheidsniveau vallen. Bovendien bieden conventionele puntvoorspellingen beperkte sturing voor hoogwaardig experimenteel ontwerp, en vereisen bestaande oplossingen voor distributieverschuiving vaak kostbare hertraining van modellen of richten zij zich primair op covariate shift in plaats van label shift bij continue regressietaken.

Methodologie
De auteurs stellen een Weighted Conformal Prediction (WCP) raamwerk voor dat specifiek is afgestemd op het afhandelen van label shift in moleculaire eigenschapsregressie zonder het basismodel te hoeven hertrainen. De methodologie verloopt via de volgende stappen:

Datapartitiering: De brondataset ( $D_s$ ) wordt gesplitst in drie disjuncte subsets om datalekken te voorkomen:
- Trainingsset ( $D_{train}$ ): Gebruikt voor het trainen van het basisvoorspellingsmodel ( $f$ ).
- Gewichtenset ( $D_{weight}$ ): Gebruikt voor het schatten van de belangrijksgewichten die de ratio van de doel- tot de bronlabeldistributie vertegenwoordigen.
- Kalibratieset ( $D_{cal}$ ): Gebruikt voor het berekenen van nonconformiteitsscores.
- De doeldataset ( $D_t$ ) wordt gesplitst in niet-verschoven en verschoven subsets voor evaluatie.
Discretisatie en Gewichtsschatting: Omdat de doelvariabele continu is, wordt de respons-variabele $y$ gediscretiseerd in $K$ bins om pseudo-labels te creëren. Belangrijksgewichten ( $w$ ) worden geschat als de ratio van de marginale labelwaarschijnlijkheid van de doel- versus de bron-marginale labelwaarschijnlijkheid ( $w(\tilde{y}) = q(\tilde{y})/p(\tilde{y})$ ). De auteurs hanteren drie verschillende technieken om de doelverdeling $q(\tilde{y})$ te schatten uit ongelabelde doeldata:
- Black Box Shift Estimation (BBSE)
- Regularized Learning under Label Shifts (RLLS)
- Maximum Likelihood Estimation (MLE) met bias-gecorrigeerde temperature scaling (BCTS).
- Voor MLE modelleert een probabilistische benadering voorspellingen als Gaussische verdelingen gecentreerd rond de modeloutput met een standaarddeviatie gelijk aan de RMSE, waarbij bin-waarschijnlijkheden worden berekend via verschillen in de cumulatieve distributiefunctie (CDF).
Weighted Conformal Prediction:
- Nonconformiteitsscores ( $s_i$ ) worden berekend voor de kalibratieset, doorgaans als absolute residuen ( $|y_i - f(x_i)|$ ).
- Elke score krijgt een geschat belangrijksgewicht ( $\hat{w}_i$ ) gebaseerd op de bin van de ware label.
- Een gewogen kwantiel ( $\hat{q}_w$ ) wordt berekend zodanig dat de gewogen proportie van scores onder de drempelwaarde voldoet aan het gewenste betrouwbaarheidsniveau ( $1-\alpha$ ).
- Het uiteindelijke voorspellingsinterval voor een nieuw testpunt $x_t$ wordt geconstrueerd als $C(x_t) = [f(x_t) - \hat{q}_w, f(x_t) + \hat{q}_w]$ .

Belangrijkste Bijdragen

Label Shift Adaptatie: Het artikel introduceert een specifieke adaptatie van conformal predictie voor continue regressietaken onder label shift, een gat dat minder verkend is vergeleken met covariate shift.
Model-Agnostisch Raamwerk: De methode is compatibel met diverse basismodellen (gedemonstreerd met een Large Language Model) en vereist geen kostbare hertraining van het model. Het steunt uitsluitend op het herwegen van de kalibratiestap.
Integratie van Schattings-technieken: Het raamwerk evalueert en integreert systematisch BBSE, RLLS en MLE voor het schatten van marginale waarschijnlijkheidsratio's, en demonstreert hoe deze technieken kunnen worden toegepast om distributieve verschuivingen te corrigeren met enkel de outputs van voorspellende modellen.
Statistische Rigor: De aanpak herstelt de marginale dekking garantie ( $P(y_{test} \in C(x_{test})) \geq 1-\alpha$ ), zelfs wanneer eigenschapsdistributies driften, wat zorgt voor statistisch valide onzekerheidskwantificatie.

Experimentele Resultaten
Het raamwerk werd geëvalueerd op de AqSolDB dataset (9.982 verbindingen) met behulp van een chemische Large Language Model (LLM) gebaseerd op een BART-architectuur, die gepre-trained is op ~200 miljoen SMILES-strings en gefine-tuned voor oplosbaarheidsprognose (logS).

Baseline Falen: Standaard split conformal prediction (CP) vertoonde een significante afname in dekking op label-verschoven testdata, waarbij de gemiddelde dekking substantieel onder het nominale doelniveau zakte.
Prestatieherstel: De voorgestelde Weighted Conformal Prediction (WCP) methoden slaagden erin de dekking te herstellen. De dekkingverdelingen voor WCP verschoven naar rechts ten opzichte van standaard CP, wat aangeeft dat de intervallen vaker de ware labels bevatten.
Vergelijking van Estimators: Onder de technieken voor gewichtsschatting behaalde MLE de hoogste dekking, gevolgd door RLLS en BBSE. MLE demonstreerde robuustheid met betrekking tot het aantal bins gebruikt voor discretisatie.
Trade-offs: Hoewel MLE de beste dekking herstelde, resulteerde dit in iets bredere voorspellingsintervallen vergeleken met BBSE en RLLS.

Betekenis en Claims
De auteurs positioneren dit werk als een cruciale stap richting de regelgevende naleving (regulatory compliance) en de praktische adoptie van AI in de ontdekking van geneesmiddelen. Door verder te gaan dan enkelvoudige nauwkeurigheid en het bieden van actieven, statistisch rigoureuze betrouwbaarheidsmaten, adresseert de methode de 2025-richtlijnen van de FDA die "gepaste betrouwbaarheidsintervallen" en "onzekerheidsschattingen" vereisen voor AI-systemen in regelgevende indieningen.

Het artikel claimt dat dit raamwerk het vertrouwen in AI-gestuurde voorspellingen in miljarden dollars tellende ontwikkelingsprocessen versterkt. Het maakt robuuste onzekerheidskwantificatie mogelijk, zelfs wanneer eigenschapsdistributies driften, en pakt hiermee direct een hardnekkig obstakel aan bij het toepassen van AI in nieuwe chemische ruimtes. Uiteindelijk biedt het werk een generaliseerbare, model-agnostische oplossing die ervoor zorgt dat modellen betrouwbaar blijven bij het navigeren door de onzekere grenzen van de farmaceutische ontwikkeling, waarbij voorspellende modellering wordt afgestemd op de eisen van transparantie en betrouwbaarheid in hoog-risico wetenschappelijke besluitvorming.

Meer zoals dit