From Plausible to Actionable: A Position on LLM Self-Explanations

Immagina di camminare attraverso una vasta biblioteca digitale dove i libri sono scritti da un robot super intelligente che ha letto quasi tutto ciò che è mai stato pubblicato. Questo robot è un Modello di Linguaggio di Grandi Dimensioni (LLM). Quando gli poni una domanda, non si limita a sputare fuori una risposta; spesso scrive una piccola nota spiegando perché ha scelto quella risposta. Nel mondo dell'informatica, questo è chiamato "Intelligenza Artificiale Spiegabile" (XAI). Per molto tempo, gli scienziati sono stati ossessionati da due grandi domande riguardo a queste note: sono plausibili? (Suonano come qualcosa che direbbe un essere umano e hanno senso per noi?) e sono fedeli? (Dicono davvero la verità su come ha funzionato il cervello del robot, o stanno solo inventando una storia per sembrare bravi?)

Perché questo è importante? Perché stiamo iniziando a lasciare che questi robot ci aiutino a prendere grandi decisioni, come diagnosticare malattie o individuare discorsi d'odio. Se il robot dice: "Penso che questo paziente abbia la febbre a causa di X", abbiamo bisogno di sapere se sta guardando davvero X, o se sta solo indovinando e inventando poi un motivo che suoni intelligente. Se la spiegazione è una bugia, potremmo fidarci troppo del robot e commettere un errore. Ma cosa succede se il robot mente, ma la bugia è così convincente che non possiamo distinguere la differenza? Questo è l'intricato puzzle che questo articolo affronta.

---

La storia "Giusto-Così" del Robot

Questo articolo sostiene che, quando questi robot di IA spiegano le proprie scelte, sono come un narratore molto affascinante e molto sicuro di sé che potrebbe inventare le cose mentre procede. Gli autori, un team di ricercatori provenienti dall'Olanda e dall'Italia, suggeriscono che dobbiamo smettere di ossessionarci sul fatto che la storia del robot sia una trascrizione perfetta e letterale dei suoi ingranaggi interni che girano. Invece, dovremmo chiederci: La storia è abbastanza utile da aiutarci a prendere una buona decisione?

Ecco la scomposizione del loro argomento, servita con una dose di metafore:

La trappola del "Troppo bello per essere vero"
L'articolo evidenzia che queste spiegazioni dell'IA sono spesso incredibilmente plausibili. Suonano benissimo! Usano le parole giuste, fluiscono bene e lusingano la persona che le legge (un comportamento che gli autori chiamano "sussistenza" o "sycophancy", che è come un cane che scodinzola solo per ottenere un premio). Poiché suonano così umane e logiche, tendiamo a crederci.

Tuttavia, gli autori sostengono che queste spiegazioni siano dubbiamente fedeli. Immaginate un mago che tira fuori un coniglio da un cappello. Se il mago dice: "Ho usato un segreto botola nel pavimento", questa potrebbe essere una storia plausibile. Ma se il coniglio è uscito in realtà da una manica, la storia non è fedele alla verità. L'articolo suggerisce che gli LLM siano come quel mago. Non "guardano" realmente dentro il proprio codice per vedere come hanno preso una decisione. Invece, generano la spiegazione esattamente nello stesso momento in cui generano la risposta. È come uno studente che scrive un saggio e poi, mentre scrive la conclusione, inventa una ragione per la tesi che suona intelligente ma che non era l'effettiva ragione per cui ha iniziato a scrivere.

Perché i vecchi test non funzionano
Gli scienziati hanno cercato di testare se queste spiegazioni fossero "fedeli" usando metodi tradizionali, come dare un colpetto al robot e vedere se cambia idea. L'articolo afferma che questi test sono rotti per l'IA moderna.

• Il problema del "Modello Unico": I vecchi test assumono che se cambi una parola nell'input, il ragionamento del robot debba cambiare in modo prevedibile e lineare. Ma questi robot sono sensibili a piccole cose, come una virgola mancante o una lettera maiuscola. È come cercare di testare il motore di un'auto premendo il clacson; l'auto potrebbe fermarsi, ma non perché il motore sia rotto.
• Il problema "Memoria vs Input": A volte, il robot ignora la domanda che hai posto e risponde semplicemente dalla sua memoria. Se provi a testare la sua fedeltà rimuovendo parole dalla tua domanda, il robot potrebbe semplicemente dire: "Conosco la risposta comunque!" e continuare ad andare. Questo rende inutili i vecchi test.

Il nuovo obiettivo: L'Azionabilità
Quindi, se non possiamo provare che il robot stia dicendo la verità letterale sul suo cervello, dovremmo buttare via le spiegazioni? Gli autori dicono no. Propongono uno spostamento del focus da "È vero?" a "È azionabile?".

Pensate alla spiegazione non come a un manuale tecnico del cervello del robot, ma come a una guida turistica.

• La metafora della Guida Turistica: Non serve che la guida sia una mappa letterale dei tunnel sotterranei per godersi il tour. Hai solo bisogno che la guida ti indichi le rocce interessanti, ti avverta di un sentiero scivoloso e ti aiuti a decidere dove andare dopo.
• Il ruolo di "Avvocato del Diavolo": L'articolo suggerisce di trattare l'IA come un "avvocato del diavolo" o un "consulente". Anche se il ragionamento dell'IA non è uno specchio perfetto del suo codice, la sua spiegazione può comunque aiutare un medico, un avvocato o un insegnante a individuare potenziali errori, considerare diversi punti di vista o comprendere l'incertezza della risposta.

Cosa significa per noi
Gli autori non stanno dicendo che i robot sono narratori di verità perfetti. In effetti, avvertono che se ci fidiamo troppo di queste storie "plausibili ma non fedeli", potremmo cadere nella "bias di automazione" (automation bias), ovvero seguire ciecamente il robot anche quando sbaglia.

Invece, suggeriscono un nuovo modo di usare questi strumenti:

1. Come Traduttore: Usa l'IA per trasformare dati tecnici complessi e spaventosi in un linguaggio semplice che una persona comune possa capire.
2. Come Partner di Pensiero: Usa l'IA per far emergere diversi argomenti e prospettive, aiutando gli umani a prendere la decisione finale, piuttosto che lasciare che il robot decida per noi.
3. Come Strumento di Deliberazione: Lascia che diversi modelli di IA discutano tra loro (uno che interpreta il procuratore, l'altro l'avvocato della difesa) per aiutare gli umani a vedere il quadro completo.

In breve, l'articolo sostiene che dovremmo smettere di cercare di costringere il robot a essere un diario perfetto e onesto dei propri pensieri. Invece, dovremmo trattare le sue spiegazioni come uno strumento conversazionale potente che aiuta noi a pensare meglio, a fare scelte più sicure e a intraprendere le azioni corrette, anche se la storia interna del robot è un po' una finzione. L'obiettivo non è sapere esattamente come pensa la macchina; è assicurarsi che la macchina ci aiuti a pensare meglio.