NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption

Nel mondo dell'intelligenza artificiale, esiste una classe crescente di sistemi noti come Reti Neurali a Grafo (Graph Neural Networks). Questi non sono i comuni strumenti di riconoscimento d'immagine presenti nel tuo telefono; sono invece progettati per comprendere dati che esistono come una rete di connessioni, come le molecole in un composto chimico, le reti sociali o le rotte del traffico. Per prendere una decisione, questi sistemi trasmettono informazioni lungo i collegamenti tra i nodi, molto simile a come un piove un pettegolezzo in una folla. Poiché questi sistemi sono incredibilmente complessi e la loro logica interna è spesso una scatola nera intricata, gli scienziati hanno sviluppato degli "esplicatori". Questi sono strumenti progettati per guardare una decisione conclusa e indicare quali specifiche connessioni o pezzi di informazione siano stati i più importanti. Il modo standard in cui questi strumenti operano è giocando a un gioco di "e se". Prendono una specifica connessione, la rimuovono o la silenziano, e poi chiedono all'IA: "La tua risposta cambia?". Se la risposta cambia drasticamente, lo strumento assume che quella connessione fosse vitale. Questo metodo è stato lo standard del settore per anni, ma si basa su un'ipotesi fragile: che l'atto di rimuovere una connessione non rompa accidentalmente l'intero sistema in un modo che non ha nulla a che vedere con la connessione stessa.

Un team di ricercatori della Central South University, della Hong Kong Polytechnic University e della Griffith University ha scoperto che questo metodo standard è fondamentalmente difettoso. Hanno scoperto che il modo in cui questi esplicatori silenziano le connessioni introduce una distorsione nascosta che rende le risposte dell'IA inaffidabili. Quando un esplicatore cerca di "spegnere" un collegamento nella rete, tipicamente moltiplica l'informazione che scorre attraverso quel collegamento per un numero vicino allo zero. Sebbene ciò riesca a fermare il messaggio specifico, riduce anche il volume complessivo di informazione che si muove attraverso l'intera rete. I ricercatori chiamano questo fenomeno "Scale Drift" (deriva di scala). Immaginate una conversazione in cui chiedete a una persona di sussurrare un segreto a un amico, ma nel farlo, accidentalmente costringete tutti nella stanza a parlare a una frazione del loro volume normale. Il segreto potrebbe essere sparito, ma l'intera conversazione è diventata anche debole e distorta. L'IA, ricevendo questo segnale rimpicciolito, potrebbe cambiare idea non perché il segreto fosse importante, ma semplicemente perché l'intera stanza è diventata troppo silenziosa per sentire chiaramente qualsiasi cosa. I ricercatori hanno dimostrato che questa deriva si accumula a ogni passo che l'informazione compie attraverso la rete, il che significa che più la rete è profonda, più lo stato interno dell'IA si allontana dalla realtà, rendendo la spiegazione inattendibile.

Per risolvere questo problema, i ricercatori hanno proposto un nuovo modo per testare l'IA che evita il rimpicciolimento del segnale. Invece di silenziare semplicemente una connessione, hanno introdotto un metodo chiamato "Noise Corruption" (corruzione da rumore). Invece di abbassare il volume a zero, questo metodo sostituisce il messaggio chiaro con una versione casuale e rimescolata che ha la stessa forza o "potenza" complessiva del messaggio originale. È come prendere una frase chiara e sostituirla con un colpo di statica che è forte quanto la voce originale. L'informazione è corrotta, ma l'energia che scorre attraverso la rete rimane stabile. Mantenendo il volume costante, i ricercatori si sono assicurati che qualsiasi cambiamento nella risposta dell'IA fosse dovuto alla perdita di un significato specifico, non a un collasso della potenza complessiva del sistema. Hanno costruito un nuovo framework attorno a questa idea, che hanno chiamato NICE. Questo sistema apprende prima un confine di quanta informazione debba essere ripristinata per riportare l'IA alla sua decisione originale e poi calcola esattamente quali connessioni hanno contribuito di più a tale ripristino.

I risultati di questo nuovo approccio sono stati significativi. Quando testato su otto diversi benchmark che coinvolgono molecole chimiche e altre strutture complesse, il nuovo metodo ha superato i migliori strumenti esistenti. È stato in grado di identificare le corrette connessioni critiche con maggiore precisione, migliorando la sua capacità di trovare le risposte giuste di quasi il nove per cento rispetto ai precedenti metodi migliori. Ancora più importante, i ricercatori hanno confermato che la loro nuova tecnica elimina con successo il problema dello "Scale Drift". Quando hanno confrontato il vecchio metodo di silenziare le connessioni con il loro nuovo metodo di aggiungere rumore, il vecchio metodo spingeva costantemente lo stato interno dell'IA lontano dal suo normale intervallo operativo, mentre il nuovo metodo manteneva lo stato interno dell'IA molto più vicino al suo comportamento precedente a qualsiasi modifica. Ciò suggerisce che per anni, molte spiegazioni generate dall'IA potrebbero essere state fuorvianti, non perché l'IA fosse sbagliata, ma perché gli strumenti utilizzati per spiegarla stavano involontariamente rompendo il sistema stesso che cercavano di comprendere. Fissando il modo in cui si perturba il dato, i ricercatori hanno fornito un modo più fedele per guardare dentro la mente di queste reti complesse.