ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

Riepilogo Tecnico: ISAAC – Audit del Ragionamento Causale nei Modelli Profondi per la Predizione delle Interazioni Farmaco-Target

1. Enunciato del Problema

I modelli di deep learning raggiungono frequentemente un'elevata accuratezza predittiva su benchmark scientifici, tuttavia tale performance non implica necessariamente che i modelli abbiano appreso un ragionamento fondato su meccanismi. Al contrario, i modelli possono fare affidamento su correlazioni spurie, artefatti specifici del dataset o caratteristiche "scorciatoia" che correlano con il target nella distribuzione in esame ma mancano di validità causale. Questo problema è particolarmente critico in domini scientifici come la predizione delle Interazioni Farmaco-Target (DTI), dove gli output validi devono dipendere da meccanismi molecolari sottostanti (ad esempio, interazioni localizzate proteina-ligando) piuttosto che da pattern statistici di superficie.

I paradigmi di valutazione attuali si affidano pesantemente all'accuratezza predittiva, una metrica osservazionale che valuta l'accordo con le etichette su una distribuzione di dati fissa. L'accuratezza da sola non può distinguere tra dipendenza causale e associazione spuria. Sebbene i metodi esistenti di interpretabilità (ad esempio, mappe di salienza) offrano spiegazioni correlazionali, non garantiscono la validità causale, e gli approcci basati sulla robustezza si concentrano spesso sugli obiettivi di addestramento piuttosto che sull'audit del comportamento di ragionamento di modelli congelati e già addestrati. Di conseguenza, manca un quadro standard per testare esplicitamente se le predizioni siano guidate da componenti di input strutturalmente significativi.

2. Metodologia: Il Quadro ISAAC

Per colmare questa lacuna, gli autori introducono ISAAC (Intervention-based Structural Auditing Approach for Causal Reasoning, Approccio di Audit Strutturale basato su Interventi per il Ragionamento Causale). ISAAC è un quadro di audit strutturale post-hoc che valuta il ragionamento di un modello come proprietà comportamentale condizionata al suo regime predittivo, utilizzando interventi controllati a livello di input.

Concetti Chiave:

• Comportamento Interventivo: Il ragionamento viene sondato applicando operatori deterministici $I$ agli input $x$, creando input intervenuti $x^I$. Il modello $f_\theta$ è trattato come un sistema fisso; le variazioni nell'output sono indotte esclusivamente dall'intervento.
• Input Strutturati: Gli input sono decomposti in componenti identificabili (ad esempio, residui di aminoacidi in una sequenza proteica).
• Classi di Intervento Abbinate: Il quadro definisce due classi di interventi basati su un prior strutturale specificato esternamente (ad esempio, tasche di legame note):
  • Interventi Meccanicistici ($I_{mech}$): Perturbazioni applicate a componenti identificati come rilevanti dal prior strutturale ($S \subseteq S_{prior}$).
  • Interventi Spuri ($I_{spur}$): Perturbazioni applicate a componenti al di fuori della regione definita dal prior ($S' \subseteq S_{comp}$), abbinate per cardinalità e operatore al set meccanicistico.
• Differenza di Risposta Interventiva: Definita come $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$, cattura la variazione relativa nell'output del modello.

Metriche:
ISAAC quantifica la coerenza del ragionamento attraverso tre metriche:

1. Punteggio di Ragionamento (RS): Una misura per input definita come $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$, dove $m$ rappresenta la mediana delle risposte interventive con segno. RS quantifica la preferenza relativa per perturbazioni allineate meccanicisticamente rispetto a quelle non allineate.
2. Coefficiente di Separazione ($C_{sep}$): Misura la separazione geometrica tra le distribuzioni delle risposte meccanicistiche e spurie, normalizzata dalla variabilità intrinseca degli effetti meccanicistici.
3. Tasso di Sovrapposizione: La frazione di risposte spurie che rientrano nell'intervallo interquartile delle risposte meccanicistiche.

3. Configurazione Sperimentale

Il quadro è stato istanziato nel contesto della predizione delle Interazioni Farmaco-Target (DTI) utilizzando il benchmark Davis (interazioni di inibitori delle chinasi).

• Modelli: Sono stati sottoposti ad audit tre architetture basate su sequenza con bias induttivi variabili: DeepDTA, DeepConvDTI e TAPB (Target-Aware Prediction Benchmark).
• Progettazione degli Interventi: Gli interventi sono stati applicati esclusivamente alla sequenza del target proteico ($t$), mentre il farmaco ($d$) è rimasto fisso.
  • Prior Strutturale: Derivato dalle annotazioni delle tasche di legame di KLIFS per identificare i residui meccanicisticamente rilevanti.
  • Interventi: Hanno incluso mascheramento e sostituzioni vincolate fisicamente. Gli ambiti meccanicistici sono stati campionati dalle tasche KLIFS; gli ambiti spuri sono stati campionati da residui non appartenenti alle tasche con cardinalità abbinata.
• Protocollo: I modelli sono stati addestrati e validati utilizzando procedure standard. La performance predittiva (AUROC) è stata verificata per garantire che tutti i modelli operassero entro un regime comparabile. L'audit è stato eseguito post-hoc su un sottoinsieme strutturalmente valido dei dati di test (208 target) senza re-addestramento.

4. Risultati Chiave

Gli esperimenti hanno rivelato una significativa dissociazione tra accuratezza predittiva e comportamento di ragionamento:

• Performance Predittiva: Tutti e tre i modelli hanno raggiunto punteggi AUROC quasi indistinguibili sul sottoinsieme di audit (variabili da 0,876 a 0,907), confermando che operavano in un regime predittivo comparabile.
• Punteggi di Ragionamento (RS): Nonostante una precisione simile, i modelli hanno mostrato differenze sostanziali e riproducibili nei loro punteggi di ragionamento:
  • TAPB: Ha ottenuto il RS più alto (0,521) e un alto Coefficiente di Separazione (0,458), indicando una separazione coerente tra risposte meccanicistiche e spurie.
  • DeepDTA: Ha mostrato un RS intermedio (0,441) ma una bassa separazione.
  • DeepConvDTI: Ha esibito il RS più basso (0,414) e una separazione vicina allo zero (0,061), indicando una debole sensibilità alle perturbazioni meccanicistiche e una mancanza di preferenza coerente per strutture allineate.
• Conclusione sull'Accuratezza: La differenza di circa il 3% nell'AUROC non ha correlato con l'entità delle differenze nei punteggi di ragionamento (che spaziavano da 0,414 a 0,521). Ciò dimostra che la valutazione basata sull'accuratezza non riesce a rilevare differenze nell'organizzazione strutturale delle risposte del modello.

5. Significato e Affermazioni

Il paper afferma che l'accuratezza predittiva da sola è insufficiente per caratterizzare il ragionamento del modello nell'apprendimento automatico scientifico. I contributi principali sono:

• Quadro ISAAC: Un protocollo di audit basato su interventi, fondato su principi, che valuta la sensibilità strutturale relativa al prior indipendentemente dall'accuratezza predittiva.
• Distinzione Comportamentale: La capacità di rivelare differenze sistematiche nel comportamento di ragionamento (ad esempio, affidamento su siti di legame localizzati rispetto a statistiche globali della sequenza) che rimangono invisibili sotto la valutazione standard basata sull'accuratezza.
• Audit Indipendente dal Modello: Il metodo opera post-hoc su modelli congelati, non richiedendo re-addestramento, accesso interno al modello o supervisione a livello di intervento, rendendolo applicabile attraverso architetture e domini con input strutturati.

Gli autori sottolineano che le loro scoperte evidenziano una distinzione tra "successo predittivo" e "organizzazione del ragionamento". Mettendo a confronto le risposte a perturbazioni strutturalmente allineate rispetto a quelle non allineate, ISAAC fornisce una base per distinguere modelli indistinguibili sotto i benchmark convenzionali, offrendo una valutazione più trasparente per applicazioni scientifiche in cui la validità meccanicistica è critica.

Limitazioni Riconosciute:

• Il prior strutturale (KLIFS) potrebbe non catturare tutti i residui determinanti l'affinità; pertanto, le metriche riflettono una sensibilità relativa al prior piuttosto che una validità causale assoluta.
• I controlli spuri sono stati abbinati per cardinalità ma non per contiguità spaziale, introducendo un'asimmetria geometrica.
• Lo studio attuale è limitato a interventi sul lato target su un singolo dataset e tre architetture specifiche.