🤖 AI

CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations

Questo articolo introduce il modello utente CoAX, che impiega la modellazione cognitiva per analizzare e simulare le strategie di ragionamento umano nell'interpretazione delle spiegazioni fornite dall'IA per dati tabellari, offrendo così un metodo scalabile per diagnosticare perché i metodi XAI attuali spesso non riescono a migliorare la comprensione dell'utente e per guidare lo sviluppo di spiegazioni più efficaci.

Autori originali: Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Pubblicato 2026-05-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un amico robot molto intelligente, ma misterioso, che prende decisioni per te—come dirti se un vino è "buono" o "cattivo", o se una richiesta di prestito dovrebbe essere approvata. Vuoi fidarti di questo robot, quindi ti consegna un piccolo appunto che spiega perché ha preso quella scelta. Questo si chiama Intelligenza Artificiale Spiegabile (XAI).

Ma ecco il problema: anche con l'appunto, le persone spesso rimangono ancora confuse o fanno congetture sbagliate su cosa farà il robot dopo. È come se il robot parlasse una lingua che non capisci del tutto, anche se le parole sono lì, ben visibili.

Questo articolo, intitolato CoAX, è come un "traduttore" e un "debugger" per il modo in cui gli umani pensano quando cercano di capire questi appunti robotici. I ricercatori hanno costruito un umano virtuale (un programma informatico che si comporta come una persona) per capire esattamente come i nostri cervelli elaborano queste spiegazioni e perché a volte ci sbagliamo.

Ecco la storia della loro scoperta, spiegata in modo semplice:

1. Il Problema: La "Scatola Nera" e l'Utente Confuso

I ricercatori hanno notato che, anche se gli scienziati hanno inventato molti modi per spiegare le decisioni dell'IA, le persone reali faticano ancora a utilizzarli. Alcune spiegazioni rendono le persone peggiori nel prevedere cosa farà l'IA. Gli autori si sono chiesti: "Perché? Cosa succede dentro il cervello umano quando guardano questi grafici e numeri?"

2. La Soluzione: Costruire un "Umano Virtuale" (CoAX)

Invece di limitarsi a indovinare, i ricercatori hanno costruito CoAX (Attribution eXplanation Orientata alla Cognizione). Pensa a CoAX come a un personaggio di un videogioco programmato per pensare esattamente come un vero umano.

Come funziona: I ricercatori hanno prima osservato persone reali (in uno "studio formativo") e chiesto loro di "pensare ad alta voce" mentre guardavano le spiegazioni dell'IA. Hanno notato che le persone usavano specifici trucchi mentali, o "strategie", per dare senso ai dati.
Le Strategie:
- La Strategia "Ignora il Resto": Alcune persone scelgono solo una o due caratteristiche che ritengono importanti (come "contenuto di alcol") e ignorano tutto il resto.
- La Strategia "Evidenziatore": Quando ricevono un grafico che mostra quali caratteristiche sono "importanti", le persone si concentrano solo sulle barre più alte e cercano di ricordare casi passati simili.
- La Strategia "Somma Matematica": Quando ricevono una scomposizione dettagliata (punteggi positivi e negativi), le persone cercano di sommare i numeri a mente per vedere quale lato vince.
Il Modello: CoAX prende queste strategie e le trasforma in matematica. Simula un umano che ha una memoria limitata (dimentica gli esempi vecchi) e un'attenzione limitata (può guardare solo poche cose alla volta).

3. L'Esperimento: Testare l'Umano Virtuale

I ricercatori hanno poi condotto un enorme esperimento con oltre 300 persone reali. Hanno chiesto a queste persone di indovinare cosa avrebbe previsto un'IA per diversi scenari (come la qualità del vino o i livelli di reddito) in tre condizioni:

Nessun Aiuto: Solo i dati.
Aiuto Semplice: Un elenco di caratteristiche "Importanti".
Aiuto Dettagliato: Un elenco di caratteristiche con punteggi positivi e negativi (Attribuzione).

Hanno confrontato le risposte delle persone reali con quelle dell'Umano Virtuale.

La Grande Scoperta:
L'Umano Virtuale (CoAX) era molto migliore nel prevedere cosa avrebbero fatto le persone reali rispetto ai programmi informatici standard (come i tipici modelli di Machine Learning).

I modelli informatici standard cercano solo pattern nei dati.
CoAX cerca pattern di ragionamento. Ha capito che gli umani non stanno solo calcolando; stanno usando scorciatoie mentali, confondendosi per troppe informazioni o fraintendendo l'"importanza" di una caratteristica.

4. Cosa Hanno Scoperto sul Pensiero Umano

Usando il loro Umano Virtuale, hanno scoperto alcune cose interessanti su come falliamo nel capire l'IA:

La "Somma Matematica" è la Migliore: Quando alle persone venivano fornite spiegazioni dettagliate di "Attribuzione" (che mostravano esattamente quanto ogni fattore spingeva la decisione verso l'alto o verso il basso), tendevano a usare una strategia di "somma". Questo funzionava meglio. È come sommare pro e contro su un foglio di carta.
La "Lista Semplice" è Ingannevole: Quando alle persone veniva fornita una semplice lista di caratteristiche "Importanti" (senza mostrare se erano buone o cattive), si confondevano. Alcune cercavano di indovinare la direzione dell'influenza, altre ignoravano semplicemente l'elenco e tornavano alle loro vecchie abitudini.
La Confusione Porta all'Ignorare: Se una spiegazione era troppo confusa, le persone la buttavano semplicemente via e indovinavano basandosi su ciò che ricordavano dal passato, ignorando di fatto l'aiuto dell'IA.

5. Perché Questo è Importante (Il "Laboratorio Virtuale")

La parte più bella di questo articolo è che, una volta costruito questo Umano Virtuale, potevano usarlo come un laboratorio di simulazione.

Invece di assumere 300 persone, pagarle e condurre settimane di esperimenti per testare una nuova idea, i ricercatori possono ora semplicemente "chiedere" all'Umano Virtuale.

Esempio: "Cosa succede se mostriamo 9 caratteristiche invece di 5?" L'Umano Virtuale può simulare questo istantaneamente e dirti: "Oh, le persone si sentiranno sopraffatte e la loro accuratezza diminuirà".
Questo permette ai progettisti di debuggare le spiegazioni dell'IA prima di mostrarle mai a una persona reale. Possono prima correggere le parti confuse nel modello informatico.

La Conclusione

L'articolo sostiene che per migliorare le spiegazioni dell'IA, dobbiamo smettere di trattare gli umani come semplici elaboratori di dati. Dobbiamo capire che gli umani hanno memoria limitata, attenzione selettiva e abitudini mentali specifiche.

Costruendo un Umano Virtuale che imita queste abitudini, possiamo capire perché le attuali spiegazioni dell'IA falliscono e progettarne di migliori che aiutino davvero le persone a capire la mente del robot, invece di confonderle ulteriormente. È come sintonizzare una radio sulla frequenza giusta in modo che il cervello umano possa finalmente sentire il segnale chiaramente.

1. Enunciazione del Problema

Nonostante significativi progressi nell'AI spiegabile (XAI), persiste un divario critico: molte tecniche XAI non migliorano la reale comprensione dell'utente o il processo decisionale. Studi precedenti hanno dimostrato che le spiegazioni possono talvolta confondere gli utenti, portare a un'eccessiva dipendenza o non aiutare a rilevare errori del modello.

Il Problema Centrale: La ricerca esistente si basa spesso su metriche comportamentali superficiali (es. accuratezza) o congetture per spiegare perché gli utenti faticano. Manca una rigorosa modellazione meccanicistica che spieghi i processi cognitivi e le strategie di ragionamento che gli utenti impiegano nell'interpretare la XAI.
La Conseguenza: Senza comprendere i meccanismi cognitivi sottostanti (es. come gli utenti elaborano l'importanza delle caratteristiche rispetto all'attribuzione delle caratteristiche), è difficile progettare spiegazioni efficaci o diagnosticare perché specifici metodi XAI falliscono.

2. Metodologia

Gli autori propongono CoAX, un modello cognitivo che integra la teoria dell'Apprendimento Basato su Istanze (IBL) con vincoli cognitivi (decadimento della memoria, limiti di attenzione) per simulare il ragionamento umano sulla XAI. La ricerca segue un processo di progettazione centrato sull'utente in cinque fasi:

A. Studio Formativo con Utenti (Elicitazione delle Strategie)

Obiettivo: Identificare come gli umani ragionano effettivamente quando utilizzano la XAI.
Partecipanti: 20 studenti universitari.
Compito: "Simulazione in avanti" (prevedere l'output dell'AI dato un'istanza di input e una spiegazione).
Condizioni: Nessuna XAI, Importanza delle Caratteristiche (punteggi non negativi) e Attribuzione delle Caratteristiche (punteggi con segno, es. SHAP/LIME).
Metodo: Protocolli "pensare ad alta voce" analizzati tramite teoria fondata.
Risultato: Identificazione di quattro distinte strategie di ragionamento:
1. Categorizzazione delle caratteristiche sensibili: Concentrarsi su un sottoinsieme fisso di attributi ritenuti importanti, ignorando gli altri.
2. Categorizzazione delle caratteristiche salienti: Selezionare dinamicamente le top- $k$ caratteristiche con i punteggi di importanza più alti e richiamare istanze passate simili.
3. Somma delle attribuzioni: Sommare i punteggi di attribuzione con segno (o stimarli) per pesare le prove a favore o contro un'etichetta.
4. Categorizzazione dell'importanza: Interpretare erroneamente i punteggi di importanza come valori diretti degli attributi per il matching di pattern (una strategia difettosa).

B. Implementazione del Modello Cognitivo CoAX

Il modello simula il processo decisionale umano utilizzando l'IBL:

Memoria: Memorizza esempi passati (istanze) con livelli di attivazione basati sulla recenza e sulla frequenza.
Recupero: Recupera istanze passate simili basandosi sulla distanza euclidea, ponderata per l'attivazione.
Estensioni delle Strategie: Il modello IBL di base è esteso per implementare le quattro strategie identificate:
- Sensibili/Salienti: Modifica la metrica di distanza per focalizzarsi solo su sottoinsiemi specifici di caratteristiche.
- Somma delle Attribuzioni: Calcola un punteggio di log-odds sommando i contributi ponderati delle caratteristiche.
- Categorizzazione dell'Importanza: Tratta i punteggi di importanza come valori delle caratteristiche anziché come pesi.
Parametri: Include sensibilità alla distanza ( $\alpha$ ), soglia di recupero ( $\rho$ ), numero di caratteristiche a cui prestare attenzione ( $k$ ) e sensibilità alla classe delle caratteristiche ( $\zeta$ ).

C. Studio Sommativo con Utenti (Validazione)

Partecipanti: 335 partecipanti (Prolific).
Disegno: Tra-soggetti per tipo di XAI (Nessuna, Importanza, Attribuzione) e intra-soggetti per condizione di test (Con/Senza XAI).
Dataset: Qualità del Vino, Tipo di Copertura Forestale, Reddito degli Adulti (classificazione binaria, 5 attributi).
Obiettivo: Validare CoAX adattando il modello ai dati decisionali umani e confrontando il suo potere predittivo con proxy ML standard (Alberi Decisionali, KNN, MLP).

D. Test di Ipotesi Virtuali

Obiettivo: Utilizzare il modello CoAX validato per eseguire "esperimenti virtuali" che sarebbero troppo costosi o lenti da condurre con umani reali.
Variabili: Numero di istanze di addestramento, numero di attributi e diversi algoritmi XAI (SHAP, LIME, Gradienti Integrati, Gradienti di Input).

3. Contributi Chiave

Tassonomia delle Strategie di Ragionamento: Elicitazione empirica e categorizzazione di quattro distinte strategie cognitive che gli utenti impiegano nell'interpretare la XAI basata su attribuzione, inclusi specifici modi di fallimento (es. interpretazione errata dei punteggi di importanza).
Modello Cognitivo CoAX: Sviluppo di un modello cognitivo formale che simula queste strategie utilizzando l'Apprendimento Basato su Istanze, catturando la logica procedurale del ragionamento umano piuttosto che semplici correlazioni statistiche.
Superiorità rispetto ai Proxy ML: Dimostrazione che CoAX si adatta ai dati decisionali umani in modo significativamente migliore rispetto ai proxy ML standard (DT, KNN, MLP), provando che il ragionamento umano nei contesti XAI è guidato da euristiche cognitive specifiche, non solo da pattern di dati.
Framework di Sperimentazione Virtuale: Istituzione di una pipeline per utilizzare CoAX per la generazione di ipotesi e il debug dell'usabilità XAI, riducendo la dipendenza da costosi studi con soggetti umani per la prototipazione nelle fasi iniziali.

4. Risultati Chiave

Adattamento del Modello: CoAX ha raggiunto un Negative Log-Likelihood (NLL) e un Criterio di Informazione Bayesiano (BIC) molto più bassi rispetto ai baseline ML, indicando che cattura il processo decisionale umano sottostante con maggiore accuratezza.
Efficacia delle Strategie:
- Somma delle Attribuzioni (utilizzando punteggi con segno) è stata la strategia più efficace, portando alla più alta accuratezza predittiva.
- XAI di Importanza (punteggi non negativi) ha portato a strategie diverse e spesso sub-ottimali, inclusa la difettosa "Categorizzazione dell'importanza".
- Trasferimento dell'Apprendimento: I partecipanti addestrati con XAI di Attribuzione hanno mantenuto la strategia "Somma delle attribuzioni" anche quando la XAI è stata rimossa, mentre quelli addestrati con XAI di Importanza spesso sono tornati a strategie di "Caratteristiche sensibili".
Impatto del Tipo di XAI:
- XAI di Attribuzione ha costantemente superato la XAI di Importanza e l'assenza di XAI.
- Numero di Caratteristiche: L'aumento del numero di attributi ha degradato le prestazioni per "Nessuna XAI" e "XAI di Importanza" (sovraccarico informativo), ma ciò è stato mitigato dalla "XAI di Attribuzione".
Esperimenti Virtuali: Il modello ha simulato con successo come l'aumento delle istanze di addestramento migliori la comprensione (effetto di plateau) e come diversi algoritmi XAI (es. LIME vs SHAP) influenzino le prestazioni dell'utente, validando l'utilità del modello per test scalabili.

5. Significato e Implicazioni

Debug della XAI: CoAX fornisce uno strumento diagnostico per identificare perché una spiegazione fallisce (es. innesca una strategia difettosa di "Categorizzazione dell'importanza"?).
Raccomandazioni di Progettazione:
- Design dell'Interfaccia: I progettisti dovrebbero incoraggiare le strategie "Somma delle attribuzioni" (es. mostrando valori con segno) e scoraggiare la "Categorizzazione dell'importanza" (es. evitando la presentazione dei punteggi di importanza come valori grezzi).
- Formazione: I tutorial dovrebbero insegnare esplicitamente agli utenti come aggregare le attribuzioni con segno invece di guardare solo le caratteristiche "più importanti".
Riduzione dei Costi: Validando le ipotesi con umani virtuali (CoAX) prima di eseguire studi su larga scala con utenti, i ricercatori possono iterare i design XAI più rapidamente ed economicamente.
Direzioni Future: Il framework può essere esteso ad altre modalità (immagini, testo), diversi compiti decisionali (fiducia, affidamento) e popolazioni di utenti diversificate per superare la XAI "taglia unica".

In sintesi, CoAX colma il divario tra scienza cognitiva e XAI, offrendo una comprensione meccanicistica dell'interazione uomo-AI che va oltre il "funziona?" per arrivare al "come pensa l'utente?".