Alike Parts: A Feature-Informed Approach to Local and Global Prototype Explanations

Sintesi Tecnica: PARTI SIMILI: UN APPROCCIO BASATO SULLE CARATTERISTICHE PER SPIEGAZIONI DI PROTOTIPO LOCALI E GLOBALI

Enunciazione del Problema
Le spiegazioni basate su prototipi offrono un metodo intuitivo, fondato su esempi, per interpretare classificatori di machine learning a scatola nera collegando le previsioni a istanze rappresentative del training set. Tuttavia, esiste una limitazione significativa: mentre i prototipi forniscono una visione d'insieme, spesso mancano di granularità a livello di caratteristiche. Gli utenti faticano a identificare quali caratteristiche specifiche all'interno di un prototipo siano più rilevanti per una previsione, portando a un sovraccarico cognitivo quando si gestiscono dati tabulari ad alta dimensionalità. Inoltre, la selezione globale dei prototipi spesso dà priorità alla distribuzione spaziale o alla minimizzazione della distanza senza garantire la diversità nelle attribuzioni delle caratteristiche dei prototipi selezionati, rischiando di trascurare confini decisionali critici e diversificati.

Metodologia
Gli autori propongono un framework che integra i punteggi di importanza delle caratteristiche a due livelli distinti per colmare queste lacune: affinamento delle spiegazioni locali e potenziamento della selezione globale dei prototipi.

1. Spiegazioni Locali: "Parti Simili"
   Il documento introduce un metodo per identificare le "parti simili", definite come i sottoinsiemi di caratteristiche più rilevanti e condivisi tra un'istanza classificata ($x_i$) e il suo prototipo più vicino ($p_j$).

   • Processo: Vengono calcolati i punteggi di importanza delle caratteristiche ($\phi$) sia per l'istanza che per il prototipo utilizzando stimatori indipendenti dal modello o specifici del modello (ad esempio, Tree SHAP, Tree Interpreter).
   • Allineamento: Il metodo calcola un vettore di pesi ($w$) che rappresenta la similarità dell'importanza tra l'istanza e il prototipo. Ciò viene ottenuto tramite un operatore di similarità ($\circ$), come il prodotto di Hadamard (moltiplicazione elemento per elemento), le distanze $l_1$ o $l_2$ elemento per elemento.
   • Mascheramento: Viene generata una maschera binaria per evidenziare le caratteristiche in cui l'allineamento dell'importanza supera una soglia. Le strategie includono la soglia media o la selezione adattiva Top-$k$ (ad esempio, $k = \lceil\sqrt{d}\rceil$ o $k = \lceil\log(d)\rceil$).
   • Output: Ciò indirizza l'attenzione dell'utente verso un sottoinsieme limitato e ad alta rilevanza di caratteristiche condivise dall'istanza e dal prototipo, anziché presentare l'intero vettore delle caratteristiche.

2. Spiegazioni Globali: Funzione Obiettivo Potenziata
   Gli autori modificano la funzione obiettivo standard per la selezione dei prototipi per promuovere attivamente la diversità nelle attribuzioni delle caratteristiche.

   • Obiettivo Standard: Gli approcci tradizionali $k$-medoidi minimizzano la distanza $d(x_i, p_j)$ tra le istanze di training e i loro prototipi più vicini.
   • Obiettivo Potenziato: Gli autori introducono un termine di importanza delle caratteristiche ($f_i$) derivato dai punteggi di allineamento utilizzati nel metodo locale. La nuova funzione obiettivo è:
     $$f(P) = \sum_{i=1}^{|S|} \min_{p_j \in P} (d(x_i, p_j) + \beta \cdot f_i(x_i, p_j))$$
     Qui, $\beta$ agisce come parametro di compromesso tra la distanza metrica e l'allineamento dell'importanza delle caratteristiche. Ciò favorisce la selezione di prototipi che non solo coprono lo spazio dei dati, ma rappresentano anche sottoinsiemi diversificati di caratteristiche importanti.

Contributi Chiave

• Identificazione delle Parti Simili: Un metodo innovativo per generare maschere binarie che evidenziano le caratteristiche condivise ad alta importanza tra un'istanza e il suo prototipo più vicino, migliorando l'interpretabilità locale.
• Selezione di Prototipi Diversificati per Caratteristiche: Un'estensione degli algoritmi di generazione dei prototipi (in particolare G-KM, SM-A e A-PETE) che incorpora l'importanza delle caratteristiche nel ciclo di ottimizzazione per garantire la diversità globale nelle attribuzioni delle caratteristiche.
• Valutazione Completa: Lo studio valuta molteplici algoritmi di generazione dei prototipi insieme a nuove funzioni di valutazione, esplora un insieme più ampio di algoritmi di importanza delle caratteristiche (Tree SHAP, Tree Interpreter) e conduce un'analisi di sensibilità estesa sugli iperparametri (ad esempio, $\beta$, operatori di similarità, strategie di mascheramento).
• Indipendenza dal Modello: Il framework è progettato per essere compatibile con vari componenti sottostanti, sebbene gli esperimenti si concentrino su ensemble Random Forest e metriche di distanza basate su alberi.

Risultati Sperimentali
Gli esperimenti sono stati condotti su sei dataset di riferimento (Qualità delle Mele, Pioggia in Australia, Cancro al Seno, Diabete, Soddisfazione dei Passeggeri, Qualità del Vino) utilizzando Random Forest come modello a scatola nera.

• Fedeltà: Il processo di selezione potenziato ha mantenuto o, in diversi casi, aumentato la fedeltà predittiva del modello surrogato 1-Nearest Neighbor (1-NN) rispetto alla selezione dei prototipi originale (grezza). L'analisi statistica (test dei ranghi con segno di Wilcoxon) ha indicato una tendenza positiva verso una fedeltà migliorata ($p \approx 0.068$) e un miglioramento significativo rispetto a baseline interpretabili standard come Naive Bayes, Regressione Logistica e Alberi Decisionali ($p < 0.05$).
• Diversità delle Caratteristiche: L'approccio informato dall'importanza delle caratteristiche (FI) ha identificato con successo prototipi con una maggiore diversificazione delle caratteristiche. Ad esempio, nel dataset Diabete, il metodo informato dall'FI ha evidenziato caratteristiche clinicamente rilevanti (Età, Funzione di Pedigree del Diabete) che il metodo basato solo sulla distanza grezza aveva trascurato.
• Sensibilità degli Iperparametri: Il prodotto di Hadamard è risultato essere la metrica di similarità più efficace tra i dataset. Lo studio ha notato che, sebbene alcune tendenze fossero globali, era necessario un tuning personalizzato degli iperparametri (come ignorare la direzione o la normalizzazione) per specifici dataset.
• Frequenza di Attivazione: L'analisi delle frequenze di attivazione delle caratteristiche ha confermato che l'obiettivo informato dall'FI riduce la varianza nell'uso delle caratteristiche, costringendo alla selezione di un insieme di prototipi più diversificato.

Significato e Affermazioni
Il documento afferma che integrare l'importanza delle caratteristiche nella selezione dei prototipi non compromette la fedeltà del modello; al contrario, cercare attribuzioni di caratteristiche diversificate può essere complementare alla copertura basata sulla distanza. Il significato principale risiede nel colmare il divario tra esempi di prototipi di alto livello e ragionamenti sulle caratteristiche di basso livello. Identificando le "parti simili", il metodo guida l'attenzione dell'utente verso la logica specifica condivisa tra un'istanza e il suo prototipo, affrontando le sfide dell'interpretabilità dei dati tabulari ad alta dimensionalità. Gli autori sottolineano che questo approccio bilancia interpretabilità e diversità, migliorando sia le spiegazioni locali che il processo di selezione globale dei prototipi senza richiedere modifiche alla logica interna del modello a scatola nera sottostante.

Gli autori notano con modestia che, sebbene il metodo migliori la qualità della spiegazione (tramite metriche proxy come fedeltà e diversità delle caratteristiche), l'ipotesi centrale – secondo cui le "parti simili" migliorano la reale comprensione dell'utente – richiede una futura validazione attraverso studi formali di interazione uomo-computer. Inoltre, sebbene l'implementazione attuale si concentri sugli ensemble di alberi, il design modulare consente l'adattamento ad altre architetture (ad esempio, reti neurali) sostituendo i componenti di stima della distanza e dell'importanza.