Joint Distribution-Informed Shapley Values for Sparse Counterfactual Explanations

Il paper introduce COLA, un framework post-hoc che ottimizza le spiegazioni controfattuali sparse calcolando un accoppiamento tramite trasporto ottimo e utilizzando attribuzioni Shapley per ridurre drasticamente il numero di modifiche necessarie mantenendo l'effetto target.

L'essenziale

🎭 COLA: Il "Sarto Intelligente" per le Spiegazioni dell'IA

Immagina di avere un'intelligenza artificiale (come un medico digitale o un consulente finanziario) che ti dice: "No, non puoi ottenere quel prestito" o "No, la tua domanda di lavoro è stata rifiutata".

Ora, vuoi sapere: "Cosa devo cambiare per ottenere un 'Sì'?".
Qui entrano in gioco le Spiegazioni Controfattuali. Sono come scenari del "E se...?".

• Esempio: "Se avessi speso 50 euro in meno e avessi cliccato un link in più, saresti stato approvato."

🚧 Il Problema: Troppi Consigli, Troppo Confusi

Il problema è che molti sistemi attuali ti danno consigli esagerati. Ti dicono: "Cambia il tuo indirizzo, cambia il tuo nome, cambia il tuo lavoro, cambia il tuo hobby...".
È come se un sarto ti dicesse: "Per farti stare bene in questo vestito, dobbiamo rifarti tutto il corpo, cambiare le ossa e ridisegnare la pelle". È inutile, costoso e impossibile da fare. L'utente si sente sopraffatto e non sa da dove iniziare.

✂️ La Soluzione: COLA (Il Taglio di Precisione)

Gli autori di questo paper hanno creato un nuovo metodo chiamato COLA (COunterfactuals with Limited Actions).
Pensa a COLA come a un sarto di lusso che usa un righello magico e un paio di forbici intelligenti.

Il suo obiettivo non è dirti tutto ciò che potresti cambiare, ma dirti esattamente il minimo indispensabile per ottenere il risultato desiderato.

🧩 Come Funziona? (L'Analogia del "Ponte Magico")

Immagina due isole:

1. L'Isola della Realtà (Fattuale): Dove sei tu ora (con i tuoi dati attuali).
2. L'Isola del Desiderio (Controfattuale): Dove vorresti essere (con il prestito approvato).

Spesso, i metodi vecchi costruiscono un ponte gigante e goffo che collega le due isole, toccando ogni singolo albero e sasso lungo la strada. È un ponte enorme, ma inefficiente.

COLA fa qualcosa di diverso:

1. Mappa il Territorio (Trasporto Ottimo): Prima di costruire il ponte, COLA usa una tecnica matematica chiamata "Trasporto Ottimo". Immagina di dover spostare un carico di mobili da una casa all'altra. Non vuoi spostare tutti i mobili, ma solo quelli necessari per rendere la nuova casa abitabile. COLA calcola il modo più economico e veloce per collegare la tua situazione attuale a quella desiderata, creando un "ponte" perfetto e sottile.
2. Assegna i Ruoli (Valori di Shapley): Una volta creato questo ponte, COLA chiede: "Chi è il vero responsabile del successo?". Usa una tecnica chiamata p-SHAP (basata sui "Valori di Shapley", che sono come un modo equo per dividere una torta tra i giocatori di una squadra).
   • Invece di dire "Cambia tutto", il sistema dice: "Guarda, il ponte funziona perché abbiamo spostato solo il divano e la lampada. Non toccare il letto o il frigorifero!".
3. Il Risultato: Ti restituisce una lista brevissima di azioni. Forse solo "Aumenta il tuo risparmio di 200 euro" invece di "Cambia lavoro, casa e auto".

📊 Cosa dice la Scienza?

Gli autori hanno provato questo metodo su molti dati reali (come richieste di prestiti bancari o prenotazioni di hotel) e su molti modelli diversi.
I risultati sono stati sorprendenti:

• Risparmio: COLA ha raggiunto lo stesso risultato (l'approvazione) usando solo il 26-45% dei cambiamenti richiesti dai metodi tradizionali.
• Efficienza: In pratica, ti dice di fare meno della metà delle modifiche necessarie, rendendo il consiglio molto più facile da seguire.

🌟 Perché è Importante?

Nella vita reale, le persone non possono cambiare la loro etnia, il loro sesso o la loro storia passata. Possono però cambiare piccole cose (come risparmiare di più o aggiornare il CV).
Se un'IA ti dice di cambiare cose impossibili, è inutile.
COLA è importante perché:

1. È Realistico: Ti dà consigli che puoi davvero mettere in pratica.
2. È Onesto: Non ti spinge a fare cose inutili.
3. È Universale: Funziona con qualsiasi tipo di "cervello" artificiale, sia che sia semplice o molto complesso.

In Sintesi

Pensa a COLA come a un navigatore GPS intelligente.
Mentre un GPS vecchio ti dice: "Gira a destra, poi a sinistra, poi fai un giro completo, poi torna indietro..." (perché non sa quale strada è la più breve), COLA è quel GPS che ti dice: "Vai dritto per 200 metri e sei arrivato".

È uno strumento per rendere l'Intelligenza Artificiale più umana, più chiara e più utile per le persone comuni.

Sommario tecnico

1. Il Problema

Le spiegazioni controfattuali (Counterfactual Explanations - CE) mirano a rivelare come piccoli cambiamenti negli input possano invertire la previsione di un modello. Tuttavia, molti metodi esistenti tendono a modificare un numero eccessivo di caratteristiche (feature) rispetto a quanto necessario. Questo riduce la chiarezza e l'azionabilità delle spiegazioni per l'utente finale.

Il problema centrale affrontato dal paper è: Data un'istanza fattuale (o un gruppo di istanze), come si può elaborare un piano d'azione che richieda il minor numero possibile di modifiche alle caratteristiche per ottenere un risultato controfattuale desiderato?

Le sfide principali sono:

• Nessun singolo algoritmo CE esistente soddisfa tutti i casi d'uso (alcuni lavorano su istanze singole, altri su gruppi o distribuzioni).
• Le soluzioni non dovrebbero dipendere da assunzioni forti sul modello (es. differenziabilità).
• L'uso isolato dell'attribuzione delle feature (Feature Attribution - FA, come i valori di Shapley) senza considerare la struttura controfattuale può portare a modifiche non ottimali o controproducenti, poiché le feature "importanti" non sempre corrispondono al percorso più efficiente per raggiungere l'obiettivo.

2. Metodologia: Il Framework COLA

Gli autori introducono COLA (COunterfactuals with Limited Actions), un framework post-hoc agnostico rispetto al modello e al generatore di CE. COLA affina qualsiasi spiegazione controfattuale esistente riducendo le modifiche necessarie.

Il processo si articola in tre fasi principali:

1. Generazione Iniziale: Un algoritmo CE esistente ($A_{CE}$) genera un set di istanze controfattuali $r$ partendo dai dati fattuali $x$ per raggiungere un target $y^*$.
2. Accoppiamento Ottimale (Optimal Transport - OT):
   • Invece di trattare le istanze fattuali e controfattuali come distribuzioni indipendenti o allinearle casualmente, COLA utilizza l'Optimal Transport (OT) per calcolare un accoppiamento (coupling) ottimale tra $x$ e $r$.
   • Questo accoppiamento minimizza il costo del trasporto (distanza tra le istanze) e definisce una distribuzione congiunta $p$ che rappresenta l'allineamento più efficiente tra i dati reali e quelli controfattuali.
3. Attribuzione Shapley Informata (p-SHAP):
   • Viene introdotta una nuova variante dei valori di Shapley chiamata p-SHAP.
   • A differenza dei metodi tradizionali (come RB-SHAP o CF-SHAP) che usano baseline casuali o distribuzioni controfattuali non allineate, p-SHAP utilizza la distribuzione congiunta $p$ ottenuta dall'OT.
   • Questo permette di calcolare l'attribuzione delle feature basandosi su un allineamento specifico tra ogni istanza fattuale e la sua controparte controfattuale più rilevante.
4. Selezione delle Azioni:
   • I valori di Shapley calcolati vengono normalizzati per creare una matrice di probabilità $\phi$.
   • Vengono selezionate le modifiche (azioni) campionando secondo $\phi$, limitandosi a un numero massimo $C$ di modifiche.
   • I valori delle feature selezionate vengono sostituiti con quelli delle istanze controfattuali allineate (tramite una funzione $A_{Value}$), generando la spiegazione raffinata $z$.

Aspetti Teorici:

• Teorema 4.1: Dimostra che l'uso dell'OT in p-SHAP minimizza un limite superiore della divergenza $W_1$ (Wasserstein-1) tra l'output del modello fattuale e quello target, sotto l'assunzione di continuità di Lipschitz del modello.
• Teorema 5.1 (Prossimità): Garantisce che la spiegazione raffinata $z$ prodotta da COLA sia sempre più vicina (o alla stessa distanza) all'input originale $x$ rispetto alla proposta controfattuale grezza, assicurando che il processo di raffinamento non introduca ulteriore divergenza.

3. Contributi Chiave

• COLA: Il primo framework generale che raffina le spiegazioni controfattuali senza richiedere un algoritmo CE specifico o assunzioni sul modello, utilizzando un approccio basato sulla distribuzione congiunta.
• p-SHAP: Una nuova metodologia di attribuzione che unifica i metodi Shapley esistenti sotto un'unica formulazione, utilizzando l'OT per risolvere il problema di allineamento tra dati fattuali e controfattuali.
• Garanzie Teoriche: Prove matematiche che l'approccio minimizza i costi di modifica e garantisce la vicinanza alle istanze originali.
• Efficienza: Riduzione drastica del numero di feature modificate mantenendo l'efficacia della spiegazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 4 dataset (HELOC, German Credit, Hotel Bookings, COMPAS), 12 modelli (da alberi decisionali a reti neurali profonde) e 5 generatori di CE diversi.

• Riduzione delle Azioni: COLA con p-SHAP raggiunge lo stesso effetto controfattuale target utilizzando solo il 26-45% delle modifiche alle feature rispetto alle spiegazioni originali. In alcuni scenari, è possibile ottenere l'80% dell'effetto con solo il 13-25% delle modifiche.
• Superiorità di p-SHAP: Rispetto ad altri metodi Shapley (RB-SHAP, CF-SHAP con allineamento casuale o uniforme), p-SHAP mostra prestazioni nettamente superiori in termini di sparsità (minore numero di modifiche).
• Ottimalità: Su un benchmark su piccola scala (German Credit) confrontato con la soluzione ottima ottenuta tramite Programmazione Lineare Interatta Mista (MILP), COLA dimostra prestazioni vicine all'ottimo globale, specialmente quando l'allineamento è noto o derivato tramite OT.
• Robustezza: Il metodo funziona efficacemente sia per spiegazioni basate su singole istanze che su gruppi/distribuzioni.

5. Significato e Impatto

Questo lavoro è significativo perché affronta il compromesso fondamentale tra spiegabilità e azionabilità. Le spiegazioni controfattuali sono spesso inutilizzabili nella pratica se richiedono cambiamenti troppo drastici o irrealistici.

• Praticità: COLA trasforma spiegazioni teoriche in piani d'azione concreti e minimi, aumentando la fiducia degli utenti (es. in ambito bancario o sanitario).
• Generalità: Essendo agnostico rispetto al generatore di CE, può essere applicato a qualsiasi pipeline esistente di XAI per migliorarne l'output.
• Etica: Il framework include meccanismi per escludere attributi sensibili (come razza o genere) e garantire che le modifiche siano fattibili, mitigando i rischi di suggerire azioni discriminatorie o impossibili.

In sintesi, il paper propone una soluzione elegante che combina la teoria del trasporto ottimo con l'attribuzione causale (Shapley) per produrre spiegazioni controfattuali che sono non solo accurate, ma anche minimali e pratiche.