Confidence is the key: how conformal prediction enhances the generative design of permeable peptides

Riepilogo Tecnico: La fiducia è la chiave: come la previsione conformale potenzia la progettazione generativa di peptidi permeabili

Enunciazione del Problema
I modelli generativi accoppiati all'apprendimento per rinforzo (RL), come REINVENT e PepINVENT, sono strumenti potenti per la progettazione molecolare de novo. Tuttavia, la loro dipendenza da modelli predittivi come funzioni di punteggio introduce una vulnerabilità critica: il dominio di applicabilità. Quando gli agenti RL esplorano lo spazio chimico, spesso propongono molecole che ricadono al di fuori della distribuzione di addestramento del modello predittivo. In queste regioni, le previsioni diventano inaffidabili, potenzialmente indirizzando l'ottimizzazione verso spazi chimici ad alta ricompensa ma ad alta incertezza. Questo problema è particolarmente acuto per i peptidi ciclici, che mostrano promesse terapeutiche ma sono sottorappresentati nei dati di addestramento rispetto alle piccole molecole. La sfida risiede nel distinguere tra design genuinamente permeabili e artefatti dell'estrapolazione del modello, dove alte probabilità previste possono mancare di calibrazione e affidabilità.

Metodologia
Gli autori propongono un framework generativo consapevole dell'incertezza che integra la Previsione Conformale (CP) direttamente nel ciclo RL per la progettazione di peptidi ciclici permeabili alle cellule.

• Framework Generativo: Lo studio utilizza PepINVENT, un modello basato su transformer addestrato su dati semi-sintetici (aminoacidi naturali e non naturali nella notazione CHUCKLES). Il processo RL comporta l'oscuramento delle posizioni degli aminoacidi nei peptidi ciclici di input e la generazione di sostituzioni.
• Modello Predittivo: Un classificatore XGBoost addestrato sul database CycPeptMPDB (6.876 voci di peptidi ciclici) prevede la permeabilità passiva della membrana (dati dell'assay PAMPA). Il modello utilizza le Impronte Digitali di Connessione Estesa (ECFP) come descrittori.
• Quantificazione dell'Incertezza: Invece di utilizzare le probabilità grezze del modello, gli autori impiegano la Previsione Conformale Induttiva Mondriana (ICP). Questo framework calibra le previsioni per fornire stime di fiducia valide per singole istanze. Genera due valori p: $P_1$ (fiducia che la molecola sia permeabile) e $P_0$ (fiducia che la molecola non sia permeabile).
  • Una previsione è considerata "conformalmente efficiente" (affidabile) se $P_1 > 0.2$ e $P_0 < 0.2$ (corrispondente a un livello di fiducia dell'80%).
  • È stato utilizzato un Predittore Conformale Aggregato (ACP) che impiega 10 modelli ICP per migliorare l'efficienza.
• Strategie di Punteggio: Lo studio ha valutato sei funzioni di punteggio all'interno del ciclo RL:
  1. Modello Grezzo (RM): Probabilità della classe permeabile (baseline).
  2. CP P1: Massimizzazione del valore p per la classe permeabile.
  3. CP 1-P0: Massimizzazione del complemento del valore p non permeabile.
  4. CP P1-P0: Massimizzazione della differenza tra i due valori p.
  5. Funzione Severa: Ricompensa binaria (1 o 0) solo se sia $P_1 > 0.2$ che $P_0 < 0.2$.
  6. Funzione Morbida: Una funzione a gradino che fornisce una ricompensa parziale (0.5) se è soddisfatta una delle due condizioni, e una ricompensa completa (1) se entrambe sono soddisfatte.

Il ciclo RL ottimizza questi punteggi per 350 epoche su 150 query di test (peptidi ciclici con 6–12 residui), oscurando 1–4 posizioni per query.

Risultati Chiave

• Limiti delle Probabilità Grezze: Sebbene l'agente RL abbia aumentato con successo le probabilità del modello grezzo (da 0.51 a 0.87), il numero di previsioni conformalmente efficienti è rimasto basso. Alte probabilità grezze non garantivano che le molecole ricadessero all'interno del dominio di applicabilità del predittore, poiché $P_0$ rimaneva spesso al di sopra della soglia di significatività.
• Superiorità del Punteggio Basato su CP:
  • Gli obiettivi con singolo valore p (P1 o 1-P0) hanno mostrato miglioramenti marginali e non sono riusciti a garantire la fiducia congiunta.
  • La funzione di punteggio "Morbida" ha superato tutti gli altri metodi. Ha raggiunto la convergenza più rapida (raggiungendo l'obiettivo del 50% di previsioni permeabili conformalmente efficienti in circa 150 epoche) e ha generato la frazione più alta di molecole con etichette permeabili certe.
  • La funzione "Severa" era apprendibile ma meno efficiente nella fase iniziale di esplorazione a causa di ricompense sparse.
• Validità vs. Efficienza: La funzione di punteggio morbida ha generato un numero totale inferiore di molecole uniche valide rispetto al modello grezzo o ai metodi a singolo valore p, ma una ratio significativamente più alta di tali molecole era costituita da previsioni permeabili conformalmente efficienti. Ciò indica che il modello grezzo gonfia i tassi di successo con previsioni inaffidabili, mentre l'approccio CP-morbido mira a successi affidabili.
• Dipendenza dalla Lunghezza: Le prestazioni variavano in base alla lunghezza del peptide. La funzione di punteggio morbida ha ottimizzato efficacemente peptidi di lunghezze 6, 7, 8 e 10 (ben rappresentati nei dati di addestramento). Per le lunghezze 9, 11 e 12 (meno rappresentate), il modello ha faticato a raggiungere livelli di fiducia elevati entro 350 epoche, dimostrando la capacità del framework di segnalare quando un obiettivo di progettazione supera il dominio di applicabilità del predittore.

Significato e Affermazioni
Il documento afferma di presentare il primo framework che integra la previsione conformale direttamente nella progettazione generativa guidata dall'apprendimento per rinforzo. Gli autori sostengono che questo approccio:

1. Colma il Divario: Collega l'incertezza intrinseca dei modelli predittivi con l'esplorazione strategica del RL, impedendo all'agente di sfruttare regioni inaffidabili dello spazio chimico.
2. Potenzia l'Affidabilità: Premiando i design basati sulla fiducia calibrata piuttosto che sulla probabilità grezza, il framework garantisce che i peptidi generati non siano solo ad alto punteggio, ma anche statisticamente validi all'interno del dominio del modello.
3. Migliora l'Efficienza: La strategia di punteggio "morbida" accelera la convergenza verso spazi chimici ad alta ricompensa e affidabili rispetto ai metodi tradizionali non consapevoli dell'incertezza.
4. Utilità Pratica: Il metodo fornisce un meccanismo regolabile (tramite livelli di significatività) per controllare il compromesso tra esplorazione e rigidità del dominio di applicabilità, offrendo una strategia robusta per compiti di progettazione molecolare in cui l'affidabilità predittiva è fondamentale.

Lo studio conclude che, sebbene la specifica funzione di punteggio ottimale possa variare a seconda del compito, l'effetto sinergico della combinazione di CP, RL e modelli generativi offre una strada generalizzabile verso una progettazione molecolare de novo più affidabile ed efficiente.