A Comparative Study of Counterfactual Explainers for Graph Neural Networks Enabling Multiple Types of Graph Edit

Nel mondo dell'intelligenza artificiale, c'è una crescente domanda di comprendere come le macchine prendano decisioni, specialmente quando tali decisioni influenzano vite reali. Immaginate un programma informatico che esamina una rete complessa di connessioni — come una mappa di come diversi farmaci interagiscono tra loro, o di come le persone siano collegate in un social network — e predice un risultato. Questi programmi, noti come reti neurali grafiche, sono incredibilmente potenti, ma spesso operano come scatole nere, offrendo una previsione senza spiegare il perché. Per risolvere questo problema, i ricercatori hanno sviluppato un metodo chiamato spiegazione controfattuale. Invece di limitarsi a indicare quali parti della rete sono state importanti per la risposta finale, questo metodo pone una domanda del tipo "e se": quale sarebbe il cambiamento più piccolo e realistico che potremmo apportare alla rete per ottenere un risultato completamente diverso? Per esempio, se un sistema predice che due farmaci sono sicuri da assumere insieme, una spiegazione controfattuale mostrerebbe esattamente quale nuova connessione, se esistesse, farebbe sì che il sistema predica una reazione pericolosa. Questo approccio aiuta medici, scienziati e ingegneri a fidarsi della macchina, mostrando loro le leve precise che controllano la sua logica.

Un team di ricercatori presso l'Istituto di Informatica in Grecia si è recentemente proposto di testare i migliori strumenti attualmente disponibili per generare questi scenari "e se" nelle reti grafiche. Si sono concentrati su una nuova generazione di strumenti che possono fare di più del semplice eliminare connessioni; possono anche aggiungerne di nuove. Questa capacità di aggiungere e rimuovere legami è fondamentale perché le reti del mondo reale sono raramente fisse; esse evolvono, e comprendere come modificarle richiede di guardare in entrambe le direzioni. I ricercatori hanno raccolto sei dei programmi informatici più avanzati progettati per questo compito e li hanno sottoposti a una serie rigorosa di test. Hanno eseguito questi programmi su una vasta gamma di dati, inclusi network sintetici costruiti per avere schemi specifici e dataset del mondo reale che rappresentano tutto, dai modelli chimici ai post sui social media e alle citazioni scientifiche. L'obiettivo non era solo vedere quale programma trovasse una risposta, ma giudicare la qualità di tale risposta: il cambiamento era abbastanza piccolo da essere credibile? Ha effettivamente ribaltato la previsione? E ha richiesto troppo tempo per essere calcolato?

Lo studio ha rivelato che non esiste un singolo campione che vinca in ogni categoria. I ricercatori hanno scoperto un costante compromesso tra la velocità della spiegazione, la dimensione del cambiamento richiesto e l'affidabilità del risultato. Alcuni programmi erano eccellenti nel trovare cambiamenti minimi e minuscoli che ribaltavano la previsione, ma spesso fallivano nel trovare una soluzione per i dati complessi del mondo reale. Altri erano molto affidabili e riuscivano quasi sempre a trovare un modo per cambiare l'esito, ma i cambiamenti che suggerivano erano spesso così grandi e complicati da essere impossibili da interpretare o di cui un essere umano non avrebbe potuto fidarsi. Un programma, che utilizzava una tecnica ispirata al modo in cui vengono generate le immagini, era molto scrupoloso e trovava risposte di alta qualità, ma era così lento che richiedeva ore per elaborare un singolo grafo, rendendolo impraticabile per molti utilizzi. Un altro programma era incredibilmente veloce ed efficiente, ma tendeva a produrre spiegazioni troppo ampie per essere utili.

Forse il risultato più sorprendente è stato che anche i migliori strumenti faticavano a concentrarsi sulla parte giusta della rete. Nei test sintetici, dove i ricercatori sapevano esattamente quale schema di connessioni era responsabile della previsione, molti dei programmi suggerivano comunque modifiche ad aree della rete irrilevanti. Aggiungevano o rimuovevano archi lontani dal modello critico, praticamente tirando a indovinare al buio invece di individuare la vera causa. Ciò suggerisce che, sebbene questi strumenti stiano migliorando nel trovare una soluzione, non sono ancora in grado di trovare costantemente la soluzione giusta. I ricercatori hanno inoltre osservato che la maggior parte degli strumenti esistenti era progettata principalmente per classificare interi network, come determinare se una molecola è tossica, ma otteneva prestazioni significativamente peggiori quando gli veniva chiesto di spiegare il comportamento di un singolo nodo all'interno di una rete, come predire l'argomento di un particolare articolo di ricerca.

In definitiva, questo lavoro funge da controllo di realtà per un campo che si sta muovendo molto rapidamente. Gli autori concludono che, sebbene la capacità di aggiungere e rimuovere connessioni sia un grande passo avanti, l'attuale generazione di strumenti è ancora un lavoro in corso. Nessun metodo offre attualmente il perfetto equilibrio tra velocità, accuratezza e semplicità. Lo studio evidenzia che la ricerca futura deve andare oltre il semplice trovare una risposta e concentrarsi sulla generazione di spiegazioni che siano non solo corrette, ma anche significative ed efficienti. Finché non verrà trovato un metodo capace di identificare costantemente i cambiamenti minimi e precisi necessari per alterare una previsione senza restare intrappolati nella complessità o nel tempo, il pieno potenziale di questi potenti sistemi di IA rimarrà parzialmente nascosto dietro un velo di incertezza.