🤖 machine learning

Conformal Prediction for Molecular Properties under Label Shift

Questo articolo introduce un framework di previsione conforme adattato allo shift delle etichette che genera intervalli di previsione statisticamente rigorosi per le proprietà molecolari pesando i punteggi con i rapporti di probabilità marginale delle etichette, migliorando così l'affidabilità e la conformità normativa della scoperta di farmaci guidata dall'IA senza richiedere il riaddestramento del modello.

Autori originali: Hyeonsu Lee, Juyeon Kim, Erkhembayar Jadamba, Seungjin Choi, Hyunjin Shin

Pubblicato 2026-08-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hyeonsu Lee, Juyeon Kim, Erkhembayar Jadamba, Seungjin Choi, Hyunjin Shin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il viaggio che trasforma un composto chimico in un farmaco salvavita è una maratona di incertezza. È un processo che può durare più di un decennio e costare miliardi di dollari, finendo spesso in un fallimento perché una molecola che appariva perfetta in un modello informatico si comporta in modo imprevedibile in un organismo vivente. Per accelerare questo processo, gli scienziati si affidano sempre più all'intelligenza artificiale per prevedere come agirà una nuova molecola, ad esempio se si scioglierà in acqua o avvelenerà una cellula. Tuttavia, queste previsioni digitali sono buone solo quanto i dati su cui sono state addestrate. Quando un modello incontra un nuovo tipo di molecola che differisce significativamente dagli esempi studiati, la sua fiducia può diventare un limite, offrendo un numero singolo e preciso che è erroneamente sicuro di sé. Per rendere questi strumenti sicuri per l'uso nel mondo reale, i ricercatori hanno bisogno di un modo per misurare non solo la risposta, ma l'affidabilità di quella risposta, specialmente quando le regole del gioco cambiano.

In uno studio recente, i ricercatori del Mogam Institute for Biomedical Research e di Intellicode hanno affrontato questo specifico problema del cambiamento delle regole, noto in termini tecnici come "label shift" (spostamento dell'etichetta). Ciò accade quando la distribuzione delle proprietà che un modello sta cercando di prevedere cambia tra la fase di addestramento e l'applicazione nel mondo reale. Ad esempio, un modello potrebbe essere addestrato su una grande varietà di molecole comuni, ma poi essere chiamato a trovare composti rari con una potenza eccezionalmente alta. In questo scenario, il modo standard di misurare l'incertezza fallisce, portando spesso a intervalli di previsione troppo stretti per catturare il valore reale. Il team ha sviluppato un nuovo framework che regola gli intervalli di confidenza di queste previsioni dell'IA senza dover riaddestrare i costosi modelli sottostanti. Utilizzando una tecnica statistica chiamata "conformal prediction" (predizione conforme), che costruisce un intervallo di valori probabili piuttosto che una singola stima puntuale, hanno creato un sistema che rimane affidabile anche quando la distribuzione dei dati deriva.

I ricercatori hanno testato il loro metodo utilizzando un vasto dataset di quasi diecimila composti con livelli di solubilità noti, un fattore critico nella progettazione di farmaci. Hanno impiegato un sofisticato modello linguistico, addestrato su centinaia di milioni di strutture chimiche, per effettuare le loro previsioni iniziali. Per simulare la sfida del mondo reale dello spostamento dell'etichetta, hanno alterato artificialmente i dati di test in modo che la distribuzione dei valori di solubilità differisse dal set di addestramento. Quando hanno applicato il metodo standard, non regolato, a questi dati spostati, il sistema non è riuscito a catturare i valori reali entro i propri intervalli previsti con la frequenza necessaria, lasciando i risultati pericolosamente eccessivamente sicuri. L'approccio tradizionale, che assume che i dati di test siano simili ai dati di addestramento, semplicemente non riusciva a tenere il passo con il cambiamento.

Per risolvere il problema, il team ha introdotto un sistema di pesatura che agisce come una lente correttiva per le previsioni. Hanno prima diviso i dati disponibili in tre gruppi distinti: uno per addestrare il modello, uno per stimare come la distribuzione dei dati fosse cambiata e un terzo per calibrare gli intervalli di previsione finali. Utilizzando il secondo gruppo, hanno calcolato il rapporto tra la frequenza attesa di diversi livelli di solubità nell'ambiente nuovo rispetto a quello vecchio. Hanno poi applicato questi rapporti come pesi agli errori commessi dal modello durante la calibrazione. Questo processo ha comunicato efficacemente al sistema di prestare maggiore attenzione ai tipi di errori che stavano diventando più comuni nei nuovi dati e meno attenzione a quelli che stavano svanendo. In questo modo, hanno potuto costruire intervalli di previsione che mantenessero la loro validità statistica, garantendo che il valore reale rientrasse nell'intervallo previsto al livello di confidenza desiderato, indipendentemente da come i dati fossero mutati.

I risultati delle loro simulazioni, ripetute mille volte per garantirne la robustezza, hanno mostrato un chiaro miglioramento. Mentre il metodo standard produceva intervalli che frequentemente mancavano i valori reali sotto lo spostamento dell'etichetta, il nuovo approccio pesato ha costantemente ripristinato la copertura al livello target. I ricercatori hanno scoperto che il metodo funzionava meglio quando utilizzavano una specifica tecnica statistica chiamata "maximum likelihood estimation" (stima della massima verosimiglianza) per calcolare i pesi necessari, sebbene anche altri metodi mostrassero potenziale. Interessante notare che il metodo più accurato per recuperare la copertura tendeva a produrre intervalli leggermente più ampi degli altri, un compromesso che riflette una valutazione più onesta dell'incertezza. Lo studio ha dimostrato che è possibile adattare i modelli di IA esistenti e potenti a nuovi paesaggi chimici mutevoli senza il costo proibitivo di riaddestrarli da zero.

Questo lavoro offre una via pratica per integrare l'intelligenza artificiale nell'ambiente ad alto rischio della scoperta di farmaci. Fornendo un modo per generare misure di confidenza statisticamente rigorose che si adattano alle condizioni mutevoli, il framework aiuta a colmare il divario tra le prestazioni teoriche del modello e i requisiti normativi di trasparenza. Assicura che, quando gli scienziati osservano la previsione di una nuova molecola, non vedano solo un numero, ma una valutazione realistica del suo potenziale, completa di una chiara comprensione dei rischi coinvolti. Questo passaggio dalla fiducia cieca alla affidabilità misurata è un passo cruciale verso la trasformazione dell'IA in un partner fidato nella sforzo da miliardi di dollari di portare nuovi medicinali ai pazienti.

Sintesi Tecnica: Predizione Conforme per le Proprietà Molecolari sotto Label Shift

Enunciato del Problema
L'applicazione dell'Intelligenza Artificiale (IA) nella scoperta di farmaci affronta un collo di bottiglia critico per l'affidabilità: lo shift della distribuzione. Mentre i modelli di IA accelerano la previsione delle proprietà molecolari (ad esempio, solubilità, potenza, tossicità), le loro prestazioni spesso degradano quando i dati di test divergono dalle distribuzioni di addestramento. Nello specifico, questo lavoro affronta il label shift (spostamento dell'etichetta), uno scenario in cui la distribuzione marginale della proprietà target ( $P(y)$ ) cambia tra il dominio sorgente (addestramento) e quello target, mentre la distribuzione condizionale delle caratteristiche date l'etichetta ( $P(x|y)$ ) rimane invariante. Ciò è comune nella scoperta di farmaci quando le priorità di ricerca si spostano verso la scoperta di molecole con valori di proprietà (ad esempio, estrema potenza o bassa tossicità) che erano sottorappresentati nei dati di addestramento originali.

La predizione conforme standard, un framework per generare intervalli di predizione statisticamente rigorosi con validità su campioni finiti, si basa sull'assunto di scambiabilità tra i dati di addestramento e quelli di test. Sotto il label shift, questo assunto viene violato, causando l'emissione da parte dei metodi standard di predizioni eccessivamente sicure ma inaffidabili, con tassi di copertura che scendono significativamente al di sotto del livello di confidenza nominale. Inoltre, le convenzionali predizioni puntuali offrono una guida limitata per la progettazione sperimentale ad alto rischio, e le soluzioni esistenti per lo shift della distribuzione richiedono spesso costosi riaddestramenti del modello o si concentrano principalmente sullo shift delle covariate piuttosto che sul label shift in compiti di regressione continua.

Metodologia
Gli autori propongono un framework di Weighted Conformal Prediction (WCP) adattato per gestire il label shift nella regressione delle proprietà molecolari senza riaddestrare il modello base. La metodologia procede attraverso i seguenti passaggi:

Partizione dei Dati: Il dataset sorgente ( $D_s$ ) è suddiviso in tre sottoinsiemi disgiunti per prevenire la fuga di dati (data leakage):
- Set di Addestramento ( $D_{train}$ ): Utilizzato per addestrare il modello di predizione base ( $f$ ).
- Set dei Pesi ( $D_{weight}$ ): Utilizzato per stimare i pesi di importanza che rappresentano il rapporto tra le distribuzioni delle etichette del target e della sorgente.
- Set di Calibrazione ( $D_{cal}$ ): Utilizzato per calcolare i punteggi di non conformità.
- Il dataset target ( $D_t$ ) è suddiviso in sottoinsiemi non spostati e spostati per la valutazione.
Discretizzazione e Stima dei Pesi: Poiché la proprietà target è continua, la variabile risposta $y$ viene discretizzata in $K$ bin per creare pseudo-etichette. I pesi di importanza ( $w$ ) sono stimati come il rapporto tra la probabilità marginale dell'etichetta target e la probabilità marginale dell'etichetta sorgente ( $w(\tilde{y}) = q(\tilde{y})/p(\tilde{y})$ ). Gli autori impiegano tre tecniche distinte per stimare la distribuzione target $q(\tilde{y})$ da dati target non etichettati:
- Black Box Shift Estimation (BBSE)
- Regularized Learning under Label Shifts (RLLS)
- Maximum Likelihood Estimation (MLE) con bias-corrected temperature scaling (BCTS).
- Per l'MLE, un approccio probabilistico modella le predizioni come Gaussiane centrate sull'output del modello con deviazione standard uguale all'RMSE, calcolando le probabilità dei bin tramite differenze di Funzione di Distribuzione Cumulata (CDF).
Weighted Conformal Prediction:
- I punteggi di non conformità ( $s_i$ ) sono calcolati per il set di calibrazione, tipicamente come residui assoluti ( $|y_i - f(x_i)|$ ).
- Ogni punteggio riceve un peso di importanza stimato ( $\hat{w}_i$ ) basato sul bin della vera etichetta.
- Un quantile pesato ( $\hat{q}_w$ ) viene calcolato in modo che la proporzione pesata di punteggi al di sotto della soglia soddisfi il livello di confidenza desiderato ( $1-\alpha$ ).
- L'intervallo di predizione finale per un nuovo punto di test $x_t$ è costruito come $C(x_t) = [f(x_t) - \hat{q}_w, f(x_t) + \hat{q}_w]$ .

Contributi Chiave

Adattamento al Label Shift: Il documento introduce una specifica adattazione della predizione conforme per compiti di regressione continua sotto label shift, un vuoto precedentemente poco esplorato rispetto allo shift delle covariate.
Framework Model-Agnostic: Il metodo è compatibile con vari modelli base (dimostrato qui con un Large Language Model) e non richiede costosi riaddestramenti del modello. Si basa esclusivamente sul ri-pesamento della fase di calibrazione.
Integrazione di Tecniche di Stima: Il framework valuta e integra sistematicamente BBSE, RLLS e MLE per stimare i rapporti di probabilità marginale, dimostrando come tali tecniche possano essere applicate per correggere gli shift distribuzionali utilizzando solo gli output dei modelli predittivi.
Rigore Statistico: L'approccio ripristina la garanzia di copertura marginale ( $P(y_{test} \in C(x_{test})) \geq 1-\alpha$ ) anche quando le distribuzioni delle proprietà derivano, fornendo una quantificazione dell'incertezza statisticamente valida.

Risultati Sperimentali
Il framework è stato valutato sul dataset AqSolDB (9.982 composti) utilizzando un modello di linguaggio chimico (LLM) basato su un'architettura BART, pre-addestrato su circa 200 milioni di stringhe SMILES e perfezionato per la predizione della solubilità (logS).

Fallimento del Baseline: La standard split conformal prediction (CP) ha mostrato un declino significativo della copertura sui dati di test con label-shift, con la copertura media che scendeva sostanzialmente al di sotto del target nominale.
Recupero delle Prestazioni: I metodi di Weighted Conformal Prediction (WCP) proposti hanno recuperato con successo la copertura. Le distribuzioni di copertura per WCP si sono spostate verso destra rispetto alla CP standard, indicando che gli intervalli contenevano più frequentemente le etichette reali.
Confronto tra Stimatori: Tra le tecniche di stima dei pesi, l'MLE ha ottenuto la copertura più elevata, seguito da RLLS e BBSE. L'MLE ha dimostrato robustezza riguardo al numero di bin utilizzati per la discretizzazione.
Trade-off: Sebbene l'MLE abbia fornito il miglior recupero della copertura, ha comportato intervalli di predizione leggermente più ampi rispetto a BBSE e RLLS.

Significatività e Rivendicazioni
Gli autori posizionano questo lavoro come un passo critico verso la conformità normativa e l'adozione nel mondo reale dell'IA nella scoperta di farmaci. Andando oltre la singola accuratezza del valore per fornire misure di confidenza azionabili e statisticamente rigorose, il metodo affronta la guida FDA del 2025 che richiede "intervalli di confidenza appropriati" e "stime di incertezza" per i sistemi di IA nelle sottomissioni regolatorie.

Il documento afferma che questo framework migliora l'affidabilità delle predizioni guidate dall'IA nei processi di sviluppo da miliardi di dollari. Consente una quantificazione dell'incertezza robusta anche quando le distribuzioni delle proprietà derivano, affrontando direttamente un ostacolo pervasivo nell'applicazione dell'IA a nuovi spazi chimici. In definitiva, il lavoro offre una soluzione generalizzabile e model-agnostic che assicura che i modelli rimangano affidabili mentre navigano nelle frontiere incerte dello sviluppo di farmaci, allineando la modellazione predittiva alle richieste di trasparenza e affidabilità nel processo decisionale scientifico ad alto rischio.

Articoli simili