Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation

Immagina di cercare di spiegare un trucco di magia a un amico scettico. Dici: "Il mago non ha solo agitato una bacchetta; ha usato una specifica leva nascosta sotto il palco". Ma poi il tuo amico ti chiede: "Come facciamo a sapere che è quella leva? E se guardassi sotto una parte diversa del palco, o usassi una torcia diversa, o chiedessi a un mago diverso di controllare?". Se la tua spiegazione cambia completamente a seconda di come cerchi il segreto, puoi davvero chiamarla un fatto? Questo è il cuore di un nuovo studio nel mondo dell'Intelligenza Artificiale (IA).

Nel campo della "interpretabilità meccanicistica", gli scienziati cercano di sbirciare dentro i cervelli dell'IA (come il famoso modello GPT-2) per trovare i "circuiti" specifici — minuscole reti di connessioni — che fanno sì che l'IA faccia ciò che fa. È come cercare di mappare l'esatto cablaggio elettrico in una casa per spiegare perché si è accesa una luce. L'Unione Europea ha una nuova legge che stabilisce che se un'IA prende una decisione ad alto rischio (come negare un prestito), l'azienda deve presentare un rapporto che spieghi come l'IA ha deciso. Il modo ovvio per farlo è presentare una mappa dei circuiti interni dell'IA. Ma questo articolo pone una domanda difficile: se due esperti intelligenti usano la stessa IA e gli stessi strumenti, ma fanno scelte leggermente diverse e ragionevoli su come cercare i circuiti, troveranno la stessa mappa? O troveranno due storie totalmente diverse?

L'autore di questo articolo ha deciso di testare questo punto impostando un enorme esperimento "scegli la tua avventura". Non ha guardato l'IA una sola volta; l'ha guardata 15.840 volte diverse. Ha creato una griglia di sette modi diversi per analizzare l'IA, prendendo ogni singola impostazione dagli strumenti esistenti e pubblicati. Ha chiesto: "Se cambiamo la metrica, il seed, la dimensione del circuito o il modo in cui lo testiamo, la storia che raccontiamo sul cervello dell'IA rimane la stessa?".

La risposta, purtroppo, è un rumoroso "No".

Quando i ricercatori hanno eseguito il loro esperimento, hanno scoperto che le prove sono incredibilmente fragili. Di tutti i modi diversi in cui avrebbero potuto analizzare i dati, la storia che raccontavano sul circuito dell'IA è cambiata in una versione completamente diversa il 73,2% delle volte. Ciò significa che se due auditor guardassero la stessa IA con gli stessi strumenti ma con impostazioni leggermente diverse, probabilmente presenterebbero due rapporti completamente diversi. Anche quando hanno cercato di essere super rigorosi e standardizzare le scelte più importanti, il tasso di inversione è sceso solo al 59,4%.

Per assicurarsi che non fosse solo un colpo di fortuna, hanno controllato se i circuiti che avevano trovato fossero effettivamente la stessa cosa descritta con parole diverse. Non lo erano. I circuiti erano strutturalmente quasi del tutto diversi (condividendo solo circa il 4% delle loro parti) e funzionalmente non correlati. È come se un auditor avesse trovato la mappa del cablaggio della cucina e l'altro la mappa dell'idraulica, e entrambi dichiarassero: "Questo è il segreto per capire come funziona la casa!".

L'articolo ha anche scoperto che uno dei sette strumenti principali utilizzati per trovare questi circuiti non funzionava affatto sul compito che stavano testando; è crashato immediatamente. Inoltre, più della metà delle potenziali spiegazioni è stata scartata perché non rispettava le regole rigide del test.

Quindi, cosa significa questo per il futuro? L'autore non sta dicendo che l'IA sia rotta o che non possiamo capirla. Sta dicendo che le "ricevute" che abbiamo oggi per dimostrare come funziona l'IA non sono pronte per essere depositate presso un regolatore governativo. Se consegni a un giudice la mappa di un circuito oggi, e un secondo giudice usa gli stessi strumenti ma un metodo leggermente diverso, potrebbe scartare la tua mappa e dire: "Questa non è la spiegazione corretta". L'evidenza, così come sta in questo momento, fallisce il test di essere abbastanza affidabile da essere un documento legale. Lo studio suggerisce che, prima di poter fidarci di queste spiegazioni dell'IA in tribunale o nei controlli di sicurezza, dobbiamo capire come rendere le mappe stabili, indipendentemente da chi tiene la torcia.