A New Technique for AI Explainability using Feature Association Map

Riepilogo Tecnico: FAMeX – Una Nuova Tecnica per l'Esplicabilità dell'Intelligenza Artificiale tramite Mappa di Associazione delle Caratteristiche

Enunciato del Problema
L'adozione crescente dell'Intelligenza Artificiale (AI) in applicazioni critiche della vita reale – che spaziano dalla rilevazione di malattie e previsioni meteorologiche alla previsione dei prezzi delle azioni – ha evidenziato una sfida significativa: l'opacità dei sistemi "scatola nera". Sebbene gli algoritmi di apprendimento complessi spesso producano un'alta accuratezza predittiva, i loro processi decisionali mancano frequentemente di trasparenza. Questa mancanza di interpretabilità rende difficile determinare se le decisioni siano basate su fatti scientifici o coincidenze spurie, ostacolando così la fiducia, la responsabilità e l'affidabilità in ambienti ad alto rischio. I metodi esistenti di AI Esplicabile (XAI), come l'Importanza delle Caratteristiche per Permutazione (PFI) e le Spiegazioni Additive SHapley (SHAP), tentano di affrontare questo problema classificando l'importanza delle caratteristiche. Tuttavia, gli autori sostengono che tali metodi spesso non riescono a condurre un'analisi olistica degli aspetti critici delle caratteristiche, in particolare la rilevanza (contributo informativo all'obiettivo) e la ridondanza (somiglianza/sovrapposizione con altre caratteristiche).

Metodologia: L'Algoritmo FAMeX
Il documento propone FAMeX (eXplainability basata su Mappa di Associazione delle Caratteristiche), un nuovo algoritmo progettato per valutare l'importanza delle caratteristiche considerando simultaneamente rilevanza e ridondanza attraverso una formulazione basata sulla teoria dei grafi.

1. Mappa di Associazione delle Caratteristiche (FAM): Il cuore della metodologia è la FAM, un grafo in cui le caratteristiche sono modellate come vertici e le associazioni tra di esse sono rappresentate come archi.
2. Somiglianza delle Caratteristiche (Ridondanza): La ridondanza è misurata utilizzando il coefficiente di correlazione di Pearson. Le caratteristiche sono classificate in base alla loro correlazione con le altre caratteristiche:
   • Classe 1: Bassa ridondanza (correlazione < 0,67 con tutte le altre caratteristiche).
   • Classe 2: Ridondanza moderata (correlazione > 0,67 ma < 0,9 con almeno una caratteristica, ma meno di tre).
   • Classe 3: Alta ridondanza (correlazione > 0,9 con almeno una caratteristica OPPURE > 0,67 con tre o più caratteristiche).
     Viene calcolato un Punteggio di Somiglianza basato su queste classi, dove classi più elevate (che indicano una ridondanza maggiore) risultano in un punteggio più alto.
3. Rilevanza delle Caratteristiche: La rilevanza è misurata utilizzando l'Informazione Mutua (MI) tra una caratteristica e la variabile della classe target, normalizzata per calcolare un Punteggio di Rilevanza.
4. Punteggio di Importanza delle Caratteristiche: Il punteggio finale di importanza è derivato integrando le due metriche. L'algoritmo postula che una caratteristica sia più importante se ha alta rilevanza e bassa ridondanza. Di conseguenza, il punteggio è calcolato come:
   $$\text{Punteggio di Importanza delle Caratteristiche} = \frac{\text{Punteggio di Rilevanza}}{\text{Punteggio di Somiglianza}}$$
   Questa relazione inversa garantisce che le caratteristiche altamente ridondanti (alto punteggio di somiglianza) siano penalizzate, mentre le caratteristiche altamente rilevanti siano premiate.

L'algoritmo opera con una complessità temporale di $O(n^2)$, dove $n$ è il numero di caratteristiche.

Contributi Chiave

• Analisi Olistica delle Caratteristiche: A differenza dei metodi concorrenti che possono concentrarsi principalmente sul contributo marginale, FAMeX modella esplicitamente il compromesso tra rilevanza delle caratteristiche e ridondanza delle caratteristiche.
• Formulazione basata sulla Teoria dei Grafi: L'introduzione della Mappa di Associazione delle Caratteristiche fornisce un quadro visivo e matematico per comprendere le interdipendenze delle caratteristiche.
• Implementazione Algoritmica: Gli autori forniscono un algoritmo completo (Algoritmo 1) e uno strumento di Interfaccia Grafica Utente (GUI) indipendente dalla piattaforma per facilitare l'applicazione di FAMeX su vari dataset.

Risultati Sperimentali
Gli autori hanno valutato FAMeX rispetto a PFI e SHAP utilizzando otto dataset di riferimento dal repository UCI Machine Learning (ad esempio, Wisconsin, ILPD, WineQuality, WBDC). La valutazione ha coinvolto:

• Configurazione: Validazione incrociata a 10 fold ripetuta per 100 iterazioni.
• Metriche: L'accuratezza di classificazione è stata misurata utilizzando quattro classificatori standard: Macchina a Vettori di Supporto (SVM), Foreste Casuali (RF), Naive Bayes (NB) e Albero Decisionale (DT).
• Strategia di Validazione: Le migliori 30% e le peggiori 30% delle caratteristiche identificate da ciascun algoritmo sono state utilizzate per addestrare i classificatori. Un algoritmo XAI superiore dovrebbe produrre un'accuratezza significativamente più alta quando utilizza le sue caratteristiche meglio classificate rispetto alle sue caratteristiche peggiori classificate.

Risultati:

• Prestazioni Superiori: In tutti e quattro i classificatori e negli otto dataset, FAMeX ha generato costantemente un'accuratezza di classificazione più elevata utilizzando il 30% migliore delle caratteristiche rispetto a PFI e SHAP. Ad esempio, con il classificatore Random Forest, FAMeX ha raggiunto un'accuratezza media dell'80,16%, rispetto al 71,47% per PFI e al 71,82% per SHAP.
• Coerenza: FAMeX ha dimostrato una chiara distinzione tra caratteristiche importanti e non importanti. Nella maggior parte dei casi, il calo di accuratezza quando si utilizzava il 30% peggiore delle caratteristiche era significativo (spesso una differenza >10%).
• Limitazioni dei Concorrenti: Al contrario, PFI e SHAP hanno mostrato risultati incoerenti. In diversi casi (ad esempio, dataset WBDC con SVM), le caratteristiche "peggiori 30%" selezionate da PFI o SHAP hanno prodotto un'accuratezza più alta rispetto alle caratteristiche "migliori 30%", indicando un fallimento nell'identificare correttamente le caratteristiche critiche in quei contesti.

Significato e Affermazioni
Il documento afferma che FAMeX è un algoritmo promettente per spiegare le previsioni dell'AI perché valuta efficacemente l'importanza delle caratteristiche nel contesto della classificazione tenendo conto sia della rilevanza che della ridondanza. Gli autori dichiarano che i risultati sperimentali stabiliscono l'efficacia di FAMeX rispetto a PFI e SHAP. Il lavoro è presentato come un passo verso la promozione della fiducia nei sistemi AI fornendo una spiegazione trasparente e olistica dei processi decisionali. Gli autori concludono con modestia, suggerendo che il lavoro futuro dovrebbe coinvolgere l'applicazione di FAMeX a dataset più complessi e su larga scala e il suo confronto con ulteriori algoritmi XAI all'avanguardia.