WISCA: A Consensus-Based Approach to Harmonizing Interpretability in Tabular Datasets

1. Enunciato del Problema

Sebbene i modelli di Machine Learning (ML) raggiungano un'elevata accuratezza predittiva, la loro natura "scatola nera" pone sfide significative in settori ad alto rischio come la sanità e la finanza, dove trasparenza e interpretabilità sono richieste legalmente ed eticamente.

• Il Conflitto Centrale: Gli algoritmi esistenti di Intelligenza Artificiale Spiegabile (XAI) (ad es. SHAP, LIME, Importanza per Permutazione) producono spesso spiegazioni conflittuali per la stessa previsione del modello. Algoritmi diversi possono evidenziare caratteristiche diverse o assegnare magnitudini di importanza variabili.
• Limiti dei Metodi di Consenso Attuali: Per risolvere questi conflitti, i ricercatori hanno tentato di aggregare le spiegazioni utilizzando semplici funzioni di consenso (ad es. media aritmetica, votazione, media geometrica). Tuttavia, questi metodi tradizionali soffrono di difetti critici:
  • Spesso ignorano l'accuratezza del modello (trattando una previsione affidabile allo stesso modo di una congettura casuale).
  • Non riescono a normalizzare le scale di attribuzione tra algoritmi diversi (ad es. valori SHAP vs. importanza per permutazione).
  • Non distinguono tra spiegazioni globali (su tutto il dataset) e locali (specifiche per il campione), portando a bias durante l'aggregazione.
  • Faticano a gestire valori negativi o attribuzioni nulle, che possono distorcere i risultati (ad es. la media geometrica collassa a zero se un valore è zero).

2. Metodologia

Gli autori propongono un nuovo framework per valutare e migliorare il consenso nell'interpretabilità.

A. Configurazione Sperimentale

• Dataset: Sono stati creati sei dataset sintetici con verità fondamentali note (specifiche caratteristiche utilizzate per generare la variabile target). Ciò consente una valutazione oggettiva di whether una spiegazione identifica correttamente le caratteristiche rilevanti.
  • 2 Classificazioni Binarie, 2 Classificazioni Multiclasse, 2 Regressioni.
  • Le caratteristiche includevano variabili rilevanti e rumore significativo (variabili irrilevanti).
• Modelli ML: Sono stati addestrati sei modelli diversi: Regressione Logistica (LR), K-Nearest Neighbors (KNN), Random Forests (RF), Support Vector Machines (SVM), Extreme Gradient Boosting (XGB) e Artificial Neural Networks (ANN).
• Algoritmi di Interpretabilità: È stata utilizzata una miscela di metodi globali e locali, agnostici rispetto al modello:
  • Globali: Diminuzione Media dell'Impurità (MDI), Importanza per Permutazione.
  • Locali: LIME, SHAP, Gradienti Integrati, Spiegazioni Controfattuali.

B. La Soluzione Proposta: WISCA

Gli autori introducono WISCA (Weighted Scaled Consensus Attributions), una nuova funzione di consenso progettata per armonizzare le spiegazioni affrontando i limiti dei metodi esistenti.

Componenti Chiave di WISCA:

1. Scalatura Min-Max: Tutte le attribuzioni provenienti da algoritmi diversi sono normalizzate in un intervallo di $[0, 1]$ per garantire un confronto equo.
2. Differenziazione tra Globale e Locale:
   • I metodi globali forniscono un valore per caratteristica.
   • I metodi locali forniscono valori per campione. WISCA aggrega le attribuzioni locali dividendo per il numero totale di campioni ($N$) per garantire che contribuiscano proporzionalmente ai metodi globali.
3. Ponderazione dell'Accuratezza (Fattori di Correzione):
   • Classificazione: Pondera le attribuzioni in base alla probabilità di classe ($\pi$). Le previsioni ad alta confidenza (probabilità vicine a 0 o 1) sono pesate fortemente, mentre le previsioni incerte (probabilità vicina a 0,5) sono penalizzate. Gli autori hanno selezionato una funzione parabolica ($1 - 4p(1-p)$) per questa correzione.
   • Regresione: Pondera le attribuzioni in base all'errore di previsione ($|y - \hat{y}|$). Le previsioni con basso errore (alta affidabilità) mantengono il loro peso di attribuzione, mentre le previsioni ad alto errore sono penalizzate utilizzando un fattore di decadimento esponenziale ($e^{-\alpha|y-\hat{y}|}$).

Formulazione:
$$\phi(f) = \sum_{s \in S} \frac{\phi'(f)}{N} \times \text{FattoreCorrezione}$$
Dove $\phi'(f)$ è l'attribuzione scalata e il fattore di correzione dipende dal tipo di problema (probabilità di classificazione o errore di regressione).

C. Metriche di Valutazione

• Metrica Hit Rate: Una metrica personalizzata che calcola la precisione del ranking delle caratteristiche. Assegna punteggi più alti se le caratteristiche "verità fondamentale" appaiono in cima alla lista di consenso.
• Distanza di Separazione: Misura il divario tra l'attribuzione minima delle caratteristiche attese e l'attribuzione massima delle caratteristiche di rumore.
• Correlazione Statistica: Correlazione di Spearman e divergenza Jensen-Shannon sono state utilizzate per confrontare WISCA con algoritmi individuali.

3. Contributi Chiave

1. Nuova Funzione di Consenso (WISCA): Un metodo robusto che integra l'accuratezza del modello (tramite probabilità o errore) e scala le attribuzioni, superando i bias della semplice media o della votazione.
2. Benchmarking Completo: Una valutazione sistematica di cinque funzioni di consenso esistenti (Media Aritmetica, Media Armonica, Media Geometrica, Votazione, Posizione Relativa) contro WISCA attraverso diversi scenari sintetici.
3. Identificazione di Difetti nei Metodi Esistenti: Lo studio dimostra che:
   • La Media Armonica è inadatta poiché pesa inversamente l'importanza.
   • La Media Geometrica fallisce quando qualsiasi attribuzione è zero o negativa.
   • La Votazione è altamente sensibile all'accuratezza del modello e ignora la magnitudine dei contributi.
4. Validazione su Dati Reali: Applicazione di WISCA a dataset reali (Rischio di Cancro alla Cervice, Origine del Vino, Noleggio Bici) per dimostrare la coerenza logica nella selezione delle caratteristiche.

4. Risultati

• Dataset Sintetici: WISCA ha costantemente superato gli altri metodi di consenso.
  • Nei dataset di Regresione, WISCA è stata l'unica funzione a identificare correttamente tutte le caratteristiche attese attraverso tutti i modelli.
  • Nei dataset di Classificazione, WISCA e la Votazione hanno funzionato bene, ma WISCA ha mostrato una deviazione standard inferiore (attribuzioni più compatte/consistenti) e prestazioni migliori in scenari multiclasse complessi.
  • I metodi tradizionali come le medie Geometrica e Armonica hanno performato male.
• Correlazione con la Verità Fondamentale: WISCA ha mostrato un'alta correlazione di Spearman con il "migliore" algoritmo di interpretabilità individuale per ogni modello specifico, indicando che sintetizza efficacemente i segnali più affidabili.
• Confronto con Modelli Lineari: I ranking delle caratteristiche di WISCA sono stati comparabili, e in alcuni casi migliori, a quelli di un modello di Regressione Logistica (che è intrinsecamente interpretabile), validando la sua capacità di estrarre vere caratteristiche causali.
• Applicazione nel Mondo Reale:
  • Cancro alla Cervice: Ha identificato correttamente il test "Schiller" come un marcatore chiave.
  • Vino: Ha identificato correttamente la "Prolina" come marcatore per l'origine del vino.
  • Noleggio Bici: Ha identificato correttamente gli "Utenti Registrati" come il principale motore per i noleggi.

5. Significato e Conclusione

Il documento stabilisce che il consenso è essenziale per un XAI affidabile, ma che la semplice media è insufficiente. Incorporando la confidenza del modello e la normalizzazione, WISCA fornisce una spiegazione più affidabile dei modelli a scatola nera.

• Impatto: Questo approccio riduce l'incertezza per gli stakeholder in settori critici (medicina, finanza) fornendo spiegazioni non solo coerenti tra gli algoritmi, ma anche ponderate in base all'affidabilità della previsione sottostante.
• Lavori Futuri: Gli autori suggeriscono di estendere WISCA per gestire probabilità specifiche per multiclasse e di esplorare l'uso di modelli ML per prevedere le attribuzioni delle caratteristiche basandosi su interpretazioni esistenti.

In sintesi, WISCA rappresenta un passo significativo verso l'armonizzazione dell'interpretabilità, passando da spiegazioni soggettive o conflittuali a un consenso robusto e ponderato per l'accuratezza che si allinea strettamente con la vera logica decisionale dei modelli ML.