PACE: A Neuro-Symbolic Framework for Plausible and Actionable Counterfactual Explanations

Sintesi Tecnica: PACE – Un Framework Neuro-Simbolico per Spiegazioni Controfattuali Plausibili e Azionabili

Definizione del Problema
Le spiegazioni controfattuali (CE) sono un approccio prominente nell'IA Spiegabile (XAI) progettato per fornire raccomandazioni azionabili identificando i cambiamenti minimi a un'istanza di input che altererebbero la previsione di un modello di apprendimento automatico. Sebbene i metodi esistenti generino efficacemente alternative che cambiano la previsione, essi producono frequentemente raccomandazioni irrealistiche o impraticabili. Ciò accade perché molti approcci ottimizzano primariamente il cambiamento della previsione e la prossimità all'istanza originale, spesso mancando di meccanismi espliciti per incorporare la conoscenza del dominio o i vincoli di intervento. Di conseguenza, le spiegazioni generate possono violare le regole specifiche del dominio (ad esempio, suggerendo un cambiamento impossibile in attributi immutabili come età o sesso) o non riuscire a rappresentare azioni umane realistiche. Esiste una critica necessità di metodi che garantiscano che le spiegazioni siano non solo valide (cambiando la previsione), ma anche plausibili e fattibili all'interno dei vincoli del dominio di applicazione.

Metodologia
Il documento propone PACE (Plausible and Actionable Counterfactual Explanations), un framework neuro-simbolico modulare che integra modelli predittivi basati sui dati con il ragionamento simbolico per imporre la fattibilità. La metodologia è strutturata attorno a tre componenti principali:

1. Formulazione del Problema:
   La generazione di un controfattuale è formalizzata come un problema di ricerca vincolato. Dato un modello black-box $f$ e un input $x$ con previsione $y$, l'obiettivo è trovare un controfattuale $x_{cf}$ tale che $f(x_{cf}) \neq f(x)$. La ricerca minimizza una metrica di distanza $d$ (definita come il numero di caratteristiche modificate) soggetta al vincolo che $x_{cf}$ debba trovarsi all'interno di uno spazio di intervento fattibile $\Omega$. Questo spazio è rigorosamente definito da regole specifiche del dominio, garantendo che gli attributi immutabili rimangano invariati e che gli attributi modificabili seguano dipendenze logiche.

2. Architettura Neuro-Simbolica:

   • Componente Neurale: Un modello predittivo (ad esempio, un Multilayer Perceptron) funge da oracolo per valutare le istanze candidate e verificare se la condizione di inversione della previsione è soddisfatta.
   • Componente Simbolica: Uno strato di ragionamento simbolico, implementato tramite Answer Set Programming (ASP), codifica la conoscenza del dominio. Questo strato definisce lo spazio fattibile $\Omega$ partizionando le caratteristiche in insiemi immutabili ($X_I$) ed editabili ($X_E$). Esso impone regole logiche, come invarianti direzionali (ad esempio, i livelli di istruzione possono cambiare solo verso livelli adiacenti) e invarianti relazionali (ad esempio, specifiche transizioni di occupazione).
   • Procedura di Ricerca: Il framework impiega un ciclo iterativo di "generazione e verifica". Il motore simbolico genera interventi candidati entro un budget specifico $K$ (limitando il numero di cambiamenti simultanei delle caratteristiche). I candidati vengono filtrati rispetto ai vincoli simbolici prima di essere valutati dal modello neurale. La ricerca parte da un budget minimo ed espande incrementalmente finché non viene trovato un controfattuale valido o viene raggiunto il limite massimo.

Caso di Studio e Setup Sperimentale
Il framework è stato valutato sul dataset Adult Income, un benchmark per la classificazione tabulare. Il compito consisteva nel prevedere se un individuo avesse un reddito superiore a 50.000 dollari.

• Modello: Un Multilayer Perceptron (MLP) con un'accuratezza dell'82% ha servito come modello predittivo.
• Caratteristiche: Sono state utilizzate cinque caratteristiche: Età e Sesso (immutabili), e Istruzione, Occupazione e Ore per Settimana (editabili).
• Vincoli: La base di conoscenza simbolica ha imposto regole quali:
  • L'età e il sesso non possono essere modificati.
  • I cambiamenti di istruzione sono limitati a livelli adiacenti.
  • I cambiamenti di occupazione devono seguire un grafo di transizione predefinito.
  • Le ore lavorative devono cambiare entro passi delimitati.
• Baseline: PACE è stato confrontato con approcci di Random Search, DiCE, ottimizzazione in stile Wachter, approcci in stile VCNet e approcci in stile C-CHVAE.

Risultati Chiave
Gli esperimenti, condotti su 1.000 istanze di test, hanno evidenziato un netto compromesso tra validità (cambiare con successo la previsione) e plausibilità (soddisfare i vincoli del dominio):

• Plausibilità: PACE ha raggiunto il 100% di plausibilità, poiché tutte le spiegazioni generate aderivano rigorosamente ai vincoli simbolici. Al contrario, i metodi non vincolati come Random Search (2,7% di plausibilità) e DiCE (4,2% di plausibilità) hanno prodotto frequentemente raccomandazioni impraticabili.
• Validità: I metodi non vincolati hanno generalmente ottenuto punteggi di validità più elevati (ad esempio, Random Search a 0,778, DiCE a 0,742) rispetto a PACE (0,240). Ciò indica che restringere lo spazio di ricerca a interventi fattibili riduce il numero di istanze per le quali è possibile trovare un controfattuale.
• Minimalità: PACE ha generato spiegazioni relativamente compatte, richiedendo in media 1,242 modifiche alle caratteristiche, un valore inferiore alla maggior parte delle baseline (ad esempio, DiCE a 1,953).
• Efficienza di Ricerca: PACE ha dimostrato un'alta efficienza, richiedendo in media 5,271 iterazioni per invertire una previsione e un tempo di esecuzione di 0,076 secondi per istanza, superando significativamente la baseline in stile Wachter.
• Analisi Aggiuntiva: Quando tutti i metodi sono stati limitati allo stesso spazio fattibile $\Omega$, i loro punteggi di plausibilità sono confluite verso 1,0, confermando che i guadagni di plausibilità in PACE derivano dalla specifica esplicita dei vincoli. Inoltre, i controfattuali di PACE sono risultati più vicini al manifold dei dati empirici (distanza media dai vicini più prossimi: 0,354) rispetto alla ricerca non vincolata (0,944).

Significatività e Contributi
Il documento sostiene che PACE affronta il divario tra la generazione di controfattuali ad alta validità e l'applicazione esplicita della fattibilità. I suoi principali contributi sono:

1. Un Framework Modulare: Integra l'apprendimento automatico con il ragionamento simbolico per consentire la generazione di controfattuali vincolati.
2. Formulazione Consapevole della Fattibilità: Definisce la generazione di controfattuali come una ricerca in cui i vincoli simbolici delineano esplicitamente lo spazio di intervento ammissibile.
3. Implementazione: Fornisce un'implementazione basata su ASP che impone vincoli specifici del dominio durante il processo di ricerca.
4. Evidenza Empirica: Dimostra, attraverso il caso di studio Adult Income, che l'incorporazione di vincoli simbolici produce spiegazioni che soddisfano meglio i requisiti di fattibilità specifici del dominio, sebbene vi sia un compromesso nel tasso di ritrovamento di controfattuali validi per tutte le istanze.

Gli autori concludono che, sebbene esista un compromesso tra validità e plausibilità, i metodi neuro-simbolici come PACE offrono una direzione promettente per la generazione di spiegazioni trasparenti e consapevoli della fattibilità nei sistemi di supporto alle decisioni ad alto rischio. Il documento riconosce i limiti, notando la dipendenza da un singolo dataset e da vincoli specificati manualmente, e suggerisce che il lavoro futuro dovrebbe esplorare l'acquisizione automatica dei vincoli e forme più ricche di conoscenza del dominio.