ConfHit: Conformal Generative Design with Oracle Free Guarantees

Il paper introduce ConfHit, un framework generativo senza distribuzione che fornisce garanzie di validità statistiche per la scoperta di farmaci senza richiedere un oracolo sperimentale, permettendo di certificare la presenza di molecole efficaci e di ottimizzare l'insieme dei candidati mantenendo livelli di confidenza predefiniti.

L'essenziale

Immagina di essere un chef stellato che deve inventare una nuova ricetta per un piatto speciale (un farmaco). Hai un'intelligenza artificiale (il tuo "cuoco robot") che ti suggerisce migliaia di varianti di ingredienti ogni secondo. Il problema? Non puoi assaggiare tutte queste varianti: costano troppo, ci vuole troppo tempo e alcune potrebbero essere velenose.

Come fai a essere sicuro che, tra le mille idee del robot, ce ne sia almeno una che funziona davvero, senza doverle tutte testare in laboratorio?

Fino a oggi, la risposta era: "Non ne sei sicuro, devi provarle tutte". Ma il paper CONFHIT cambia le regole del gioco.

1. Il Problema: Il "Cuoco" che non ha assaggiato

Immagina che il tuo robot cuoco generi 100 nuove ricette.

• Il vecchio metodo: Ti dice: "Ehi, ho generato 100 ricette! C'è una probabilità che una sia buona". Ma non ti dà garanzie. Potrebbe essere che nessuna funzioni, e tu sprechi soldi per comprarle tutte.
• Il problema dell'Oracle (Il "Gusto Divino"): I metodi precedenti richiedevano un "Oracle", ovvero qualcuno che assaggiasse ogni singola ricetta prima di dirti se è buona. Nella scienza dei farmaci, questo significa sintetizzare e testare chimicamente ogni molecola. È come se dovessi cucinare e assaggiare 100 piatti prima di sapere quale ordinare al cliente. Impossibile con budget limitati.

2. La Soluzione: CONFHIT (Il "Detective Statistico")

CONFHIT è un nuovo sistema che agisce come un detective statistico. Non ha bisogno di assaggiare le ricette (non ha bisogno dell'Oracle). Invece, usa la logica e i dati del passato per dirti: "Con il 95% di certezza, in questo gruppo di 10 ricette che il robot ha creato, ce n'è almeno una che funziona".

Ecco come funziona, passo dopo passo, con delle metafore:

A. Il Controllo di Qualità (Certificazione)

Immagina di avere un vecchio archivio di ricette che sai già funzionare (i dati di calibrazione). Il robot ne genera di nuove.

• Il trucco: CONFHIT guarda le nuove ricette e le confronta con quelle vecchie. Se le nuove ricette sembrano "strane" o molto diverse dalle vecchie (c'è uno spostamento di distribuzione), il sistema applica un "filtro di correzione".
• L'analogia: È come se il detective dicesse: "Ok, queste nuove ricette sembrano un po' diverse dalle classiche, quindi devo essere più severo nel mio calcolo. Ma ho un metodo matematico per aggiustare il tiro".
• Il risultato: Il sistema calcola un "punteggio di fiducia". Se il punteggio è abbastanza alto, ti dice: "Sì, puoi fidarti! In questo gruppo c'è sicuramente un successo."

B. Il Taglio Intelligente (Design)

Una volta che il detective ti ha detto "Sì, c'è un successo in questo gruppo di 100", il passo successivo è: "Quanti ne devo comprare davvero?".

• Il vecchio metodo: Ti direbbe: "Tieni tutti e 100, tanto c'è un successo". Ma è uno spreco.
• Il metodo CONFHIT: Usa un processo a "nido" (come le scatole cinesi). Guarda il gruppo di 100, poi di 50, poi di 10, poi di 5.
• L'analogia: Immagina di avere 100 chiavi e sai che una apre la porta. Invece di provarle tutte, CONFHIT le raggruppa e dice: "Proviamo solo le prime 10. Se il punteggio di fiducia scende sotto una certa soglia, fermiamoci lì".
• Il risultato: Invece di darti 100 ricette da provare, ti dà un elenco corto e preciso (magari solo 3 o 4). Sai con certezza che almeno una di quelle 3 funziona, ma hai risparmiato il 97% dei soldi e del tempo.

3. Perché è rivoluzionario?

1. Niente "Gusto Divino" (Oracle-Free): Non devi testare chimicamente ogni cosa per avere la garanzia. Risparmi risorse enormi.
2. Adattabile: Funziona anche se il robot cambia idea e inizia a creare ricette molto diverse dal passato (gestisce lo "spostamento di distribuzione").
3. Garanzia Matematica: Non è un "scommessa". È una garanzia matematica. Se il sistema dice "c'è un successo", c'è. Se dice "non sono sicuro", ti avvisa di non sprecare soldi.

In sintesi

CONFHIT è come avere un consulente esperto che guarda il lavoro di un'intelligenza artificiale e ti dice:

"Non serve che provi tutte queste 100 idee. Fidati, ne ho controllate le statistiche e posso garantirti che tra queste 4 specifiche ce n'è una che cambierà il mondo. Prendi solo queste 4 e vai a testarle."

È un modo per rendere la scoperta scientifica (come trovare nuovi farmaci) più veloce, economica e, soprattutto, affidabile.

Sommario tecnico

1. Il Problema: Generazione Affidabile in Scenari a Risorse Limitate

Il successo dei modelli generativi profondi nella scoperta scientifica (es. design di farmaci, ingegneria proteica) richiede non solo la capacità di generare candidati innovativi, ma anche garanzie statistiche affidabili sul fatto che questi candidati soddisfino le proprietà desiderate.

Tuttavia, l'applicazione diretta dei metodi esistenti di Conformal Prediction (CP) alla scoperta di farmaci è limitata da tre sfide fondamentali:

1. Vincoli di Budget: Spesso non è possibile generare un numero infinito di campioni per garantire che almeno uno sia valido.
2. Mancanza di Accesso all'Oracolo: I metodi CP tradizionali richiedono un "oracolo" (un esperimento di laboratorio o una simulazione costosa) per valutare i nuovi campioni generati e calibrare il modello. Nella scoperta di farmaci, sintetizzare e testare sperimentalmente ogni candidato è spesso impossibile per limiti di risorse.
3. Shift di Distribuzione: I candidati generati seguono spesso una distribuzione diversa rispetto ai dati di calibrazione storici (es. vecchi dati di assay), violando l'assunzione di scambiabilità (exchangeability) necessaria per la validità statistica.

L'obiettivo centrale è: Data una generativa, come costruire batch di campioni che, con un alto livello di confidenza statistica, contengano almeno un "hit" (un candidato valido), senza dover testare sperimentalmente ogni singolo campione?

2. Metodologia: Il Framework CONFHIT

CONFHIT è un framework model-agnostic (indipendente dal modello generativo sottostante) che affronta due domande fondamentali:

1. Certificazione: È possibile garantire che un batch generato contenga almeno un hit con un livello di confidenza $1-\alpha$?
2. Design: È possibile rifinare questo batch in un insieme compatto (più piccolo) mantenendo la stessa garanzia statistica?

Componenti Chiave del Metodo:

A. Scambio Pesato e Stima del Rapporto di Densità
Per gestire lo shift di distribuzione senza un oracolo, CONFHIT sfrutta la struttura di scambiabilità tra i dati storici (etichettati) e i campioni generati.

• Assume uno shift di covariate dove il rapporto di densità $w(x) = dQ/dP$ tra la distribuzione dei dati generati ($Q$) e quella storica ($P$) può essere stimato.
• Utilizza tecniche di stima della densità (es. Kernel Density Estimation su feature latenti) per calcolare pesi che correggono lo shift, rendendo i campioni "scambiabili" in senso pesato.

B. P-Value Conformale Pesato per Campioni Multipli
Per il problema della Certificazione, CONFHIT costruisce un p-value congiunto per un intero batch di $N$ campioni generati.

• Definisce una funzione di conformità $V$ basata su un modello predittivo delle proprietà (addestrato su dati indipendenti).
• Utilizza una permutazione randomizzata dei dati di calibrazione (inattivi) e dei campioni di test, ponderando le permutazioni con il rapporto di densità stimato.
• Il p-value risultante quantifica l'evidenza contro l'ipotesi nulla che nessuno dei campioni nel batch sia un hit. Se il p-value è $\le \alpha$, si certifica la presenza di almeno un hit.

C. Testing Annidato (Nested Testing) per il Design
Per il problema del Design, CONFHIT propone un algoritmo iterativo per trovare il sottoinsieme più piccolo che mantiene la garanzia.

• Considera una sequenza annidata di batch (da 1 campione fino a $N$).
• Calcola una sequenza di p-value $p_k$ per ogni sottobatch di dimensione $k$.
• Applica una procedura di arresto: si seleziona il primo $k$ tale che $p_k \le \alpha$.
• Teorema di Validità: Il metodo garantisce che la probabilità di restituire un batch vuoto (senza hit) sia limitata da $\alpha$, indipendentemente dal modello generativo o dalla funzione di punteggio, purché i p-value siano validi e monotoni.

3. Contributi Principali

1. Formalizzazione del Problema: Ha definito rigorosamente il problema della generazione condizionata con garanzie di validità conformale in scenari privi di oracolo e con shift di distribuzione.
2. Nuova Statistica di Test: Ha introdotto una classe di p-value conformali pesati per campioni multipli, che estendono la teoria esistente per gestire batch di campioni sotto shift di distribuzione.
3. Framework di Testing Annidato: Ha proposto un metodo generale per la selezione di sottoinsiemi compatti che garantisce il controllo dell'errore di tipo I (falsa certificazione) senza bisogno di correzioni multiple conservative (come Bonferroni).
4. Indipendenza dal Modello: Il framework è agnostico rispetto al modello generativo (VAE, Diffusion, Transformers, ecc.) e richiede solo la stima di uno scalare (il rapporto di densità).

4. Risultati Sperimentali

Il metodo è stato valutato su due task rappresentativi di design molecolare:

• Ottimizzazione Molecolare Vincolata (CMO): Generare molecole simili a un "seed" ma con proprietà migliorate (es. legame DRD2 o punteggio QED).
• Scoperta di Farmaci Basata sulla Struttura (SBDD): Generare ligandi attivi per un pocket proteico specifico.

Performance Chiave:

• Controllo dell'Errore: CONFHIT ha mantenuto tassi di errore empirici (falsi positivi) strettamente al di sotto del livello target $\alpha$ in tutti i test, dimostrando garanzie di copertura valide.
• Efficienza (Design): Rispetto ai metodi basati solo sulla certificazione (che restituiscono batch grandi) o alla correzione di Bonferroni (che spesso restituiscono insiemi vuoti), CONFHIT è riuscito a produrre insiemi certificati molto più compatti (spesso riducendo il numero di candidati da 15 a 2-5) mantenendo la validità statistica.
• Robustezza: Il metodo ha dimostrato robustezza anche con stime imperfette del rapporto di densità e con modelli predittivi delle proprietà di qualità variabile. Le garanzie di validità sono mantenute anche se il potere statistico (la capacità di trovare hit) diminuisce.

5. Significato e Impatto

CONFHIT rappresenta un passo avanti cruciale per l'uso pratico dei modelli generativi nella scienza dei materiali e nella scoperta di farmaci.

• Riduzione dei Costi: Eliminando la necessità di un oracolo sperimentale per la calibrazione, permette di filtrare i candidati promettenti prima di qualsiasi sintesi chimica costosa.
• Affidabilità Statistica: Fornisce un quadro teorico rigoroso per gestire l'incertezza in scenari dove i dati di addestramento e i dati generati provengono da distribuzioni diverse.
• Praticità: Offre un compromesso ottimale tra la dimensione del set di candidati da testare e la confidenza statistica, rendendo i flussi di lavoro di scoperta scientifica più efficienti e meno rischiosi.

In sintesi, CONFHIT trasforma i modelli generativi da "scatole nere" probabilistiche in strumenti di progettazione affidabili, garantendo che le risorse sperimentali siano investite solo su candidati che hanno una garanzia statistica di successo.