I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models

Riepilogo Tecnico: I-SAFE – Interventale, Sicuro, Accurato, Equo e Spiegabile

1. Enunciato del Problema

Nell'apprendimento automatico scientifico, i modelli di deep learning sono frequentemente valutati in base alle prestazioni predittive su dati tenuti da parte (ad esempio, accuratezza, AUROC). Tuttavia, un'elevata prestazione sui benchmark è un indicatore fragile di un comportamento scientificamente significativo. I modelli possono ottenere punteggi predittivi elevati sfruttando caratteristiche "scorciatoia", regolarità specifiche del dataset o bias distribuzionali (come il bias di destinazione o gli effetti dello scaffold) piuttosto che apprendere le proprietà strutturali sottostanti del dominio.

I metodi di valutazione standard non riescono a distinguere tra un modello che ha appreso la struttura scientifica rilevante e uno che ha semplicemente memorizzato correlazioni statistiche. Inoltre, i metodi esistenti di audit post-hoc si basano spesso su riassunti scalari (ad esempio, sensibilità media o attribuzione a singolo punto), che possono non cogliere come l'intera distribuzione di output si riorganizzi quando le strutture di input scientificamente rilevanti vengono perturbate. È necessario un framework che passi dalla valutazione osservazionale alla valutazione interventale, valutando non solo se un modello predice correttamente, ma come le sue previsioni cambiano sotto perturbazioni controllate e guidate strutturalmente.

2. Metodologia: Il Framework I-SAFE

Gli autori introducono I-SAFE (Interventale, Sicuro, Accurato, Equo e Spiegabile), un framework di audit post-hoc, agnostico rispetto al modello, per predittori scientifici a scatola nera. Il framework valuta la coerenza della distribuzione di output di un modello sotto interventi guidati da un prior strutturale esterno.

Componenti Principali:

• Predittore a Scatola Nera ($f_{BB}$): Un modello addestrato accessibile solo tramite la sua mappa input-output.
• Prior Strutturale ($P$): Una mappa esterna derivata dalla conoscenza del dominio (indipendente dal modello) che identifica quali componenti di input sono scientificamente rilevanti per un dato compito. Ad esempio, nell'interazione farmaco-target (DTI), questo prior identifica specifici residui di amminoacidi in una tasca di legame proteica.
• Progettazione dell'Intervento: Il framework costruisce coppie di perturbazione accoppiate:
  • Perturbazioni Meccanicistiche ($\phi_{mech}$): Modifiche applicate alle componenti selezionate dal prior strutturale ($P(x)$).
  • Perturbazioni Spurie ($\phi_{spur}$): Modifiche applicate alle componenti fuori dal prior ($S_{spur} \subset P(x)^c$), utilizzando lo stesso operatore di perturbazione e cardinalità.
• Profilo di Risposta Interventale: Il framework confronta le distribuzioni di output grezze del modello prima e dopo queste perturbazioni su un insieme di audit fisso.

Le Tre Metriche di Coerenza:
I-SAFE quantifica la "coerenza di ranking" della distribuzione di output utilizzando tre metriche complementari. A differenza dei riassunti scalari, queste metriche catturano la geometria dello spostamento distribuzionale.

1. Metrica Basata sui Quantili (QBM): Misura la coerenza a livello di posizione. Confronta lo spostamento dei quantili empirici (ad esempio, quartili) tra gli output originali e perturbati contro l'errore quadratico medio totale. Valori più bassi indicano uno spostamento maggiore nella posizione distribuzionale.
2. Metrica di Coerenza di Wasserstein (WCM): Misura la coerenza ordinale. Basata sulla teoria del trasporto ottimale, valuta quanto bene l'accoppiamento naturale tra input e output viene preservato dopo la perturbazione. Confronta lo spostamento sotto la corrispondenza naturale rispetto al riordinamento ottimale (permutazione) degli output. È invariante alla scala e normalizzata.
3. WCM Invariante per Traslazione (TI-WCM): Misura la coerenza di forma. Questa variante rimuove l'effetto degli spostamenti globali della media (traslazione), isolando i cambiamenti nella forma della distribuzione (varianza e momenti di ordine superiore).

Logica dell'Audit:
L'audit calcola un contrasto relativo al prior ($\Delta M = M_{spurio} - M_{meccanistico}$) per ogni metrica. Un contrasto positivo indica che le perturbazioni delle componenti selezionate dal prior inducono una riorganizzazione della distribuzione di output più coerente (cioè più strutturata e prevedibile) rispetto alle perturbazioni delle componenti non prioritarie.

3. Contributi Chiave

• Introduzione del Framework: La proposta di I-SAFE come strumento di audit post-hoc che sposta l'oggetto di valutazione dai riassunti scalari ai cambiamenti completi della distribuzione di output sotto intervento.
• Definizione delle Metriche: La formalizzazione di tre metriche specifiche (QBM, WCM, TI-WCM) che decompongono la risposta distribuzionale in posizione, struttura ordinale e forma. Queste metriche sono fondate sulla teoria del trasporto ottimale e sono progettate per essere agnostiche rispetto al modello.
• Contrasto Relativo al Prior: L'introduzione di una strategia di valutazione contrastiva che isola l'effetto dei priori strutturali confrontando le perturbazioni meccanistiche con controlli spurii accoppiati, controllando per le regole di perturbazione e la cardinalità.
• Proprietà Teoriche: Dimostrazioni che stabiliscono che le metriche sono limitate nell'intervallo $[0, 1]$, invariate alla scala (per WCM) e capaci di distinguere tra diversi tipi di riorganizzazione distribuzionale.

4. Risultati Sperimentali

Il framework è stato istanziato sul benchmark delle chinasi Davis per la previsione dell'interazione farmaco-target (DTI).

• Configurazione: Tre modelli DTI basati su sequenza sono stati sottoposti ad audit: DeepDTA, DeepConvDTI e TAPB. Il prior strutturale è stato derivato dalle annotazioni della tasca di legame di KLIFS (Kinase–Ligand Interaction Fingerprints and Structures).
• Regime Predittivo: Tutti e tre i modelli hanno dimostrato prestazioni predittive comparabili (AUROC) sul set di test Davis, operando all'interno di un regime predittivo simile.
• Risultati:
  • TAPB: Ha mostrato contrasti relativi al prior significativamente positivi sia per QBM che per WCM ($\Delta QBM \approx +0.093$, $\Delta WCM \approx +0.063$). Ciò indica che, quando i residui della tasca di legame KLIFS sono stati perturbati, la distribuzione di output di TAPB si è riorganizzata in modo altamente coerente (preservando posizione e rango) rispetto alla perturbazione di residui non appartenenti alla tasca.
  • DeepDTA & DeepConvDTI: Hanno mostrato contrasti trascurabili o negativi. DeepDTA non ha mostrato alcun vantaggio allineato al prior, mentre DeepConvDTI ha mostrato un contrasto ordinale negativo, suggerendo che le sue risposte coerenti non erano specificamente legate alla struttura della tasca di legame.
  • Analisi della Forma: I contrasti TI-WCM sono stati negativi o vicini allo zero per tutti i modelli, indicando che i segnali coerenti rilevati in TAPB erano guidati da spostamenti di posizione e ranking piuttosto che dalla preservazione residua della forma.

Conclusione degli Esperimenti: Nonostante una precisione simile, i modelli hanno esibito comportamenti interventali fondamentalmente diversi. Solo TAPB ha dimostrato che le sue previsioni erano organizzate attorno alla struttura scientificamente rilevante della tasca di legame, una distinzione invisibile alla valutazione standard basata sull'accuratezza.

5. Significato e Affermazioni

Il documento afferma che I-SAFE fornisce un test statisticamente fondato e relativo al prior per valutare come i predittori scientifici addestrati operano sotto perturbazioni strutturalmente significative.

• Distinzione dalle Affermazioni Causali: Gli autori dichiarano esplicitamente che I-SAFE non stabilisce la validità causale di un modello né prova che il modello abbia recuperato il vero meccanismo causale. Invece, fornisce metriche riutilizzabili per valutare se la distribuzione di output di un modello è organizzata in modo coerente rispetto a un prior esterno e specifico del dominio.
• Oltre l'Audit Scalare: Il framework affronta il limite dell'audit scalare catturando la geometria degli spostamenti distribuzionali (posizione, ordine, forma) che sono invisibili alle metriche di prestazione aggregate.
• Utilità Agnostica rispetto al Modello: Il metodo è applicabile a qualsiasi dominio in cui gli input ammettono una decomposizione strutturata e sia disponibile un prior strutturale esterno, rendendolo uno strumento generale per l'audit strutturale dell'IA scientifica a scatola nera.
• Portata Modesta: Gli autori sottolineano che l'audit è uno strumento diagnostico per modelli esistenti, non una procedura di addestramento. Aiuta a identificare se il successo di un modello è guidato da caratteristiche strutturali rilevanti o da correlazioni spurie, supportando affermazioni valutative più precise nell'IA scientifica.