🤖 AI

A Formal Methodological Framework for Auditing Robustness and Fidelity in Explainable AI: From Application to Trust Certification

Questo articolo propone un framework di auditing formale che quantifica la robustezza e la fedeltà dei metodi di intelligenza artificiale spiegabile per generare un Punteggio di Fiducia, dimostrando attraverso un caso di studio sulla malnutrizione in Madagascar che modelli ad alte prestazioni possono produrre spiegazioni prive di informazioni e che tale auditing è essenziale per processi decisionali affidabili in domini sensibili.

Autori originali: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Pubblicato 2026-08-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo moderno, l'intelligenza artificiale è diventata uno strumento potente per dare senso a dati complessi, dalla previsione degli schemi meteorologici alla diagnosi di malattie. Tuttavia, molti dei sistemi più potenti operano come "black box" (scatole nere), il che significa che possono produrre un risultato senza rivelare i passaggi seguiti per arrivarci. Per colmare questa lacuna, gli scienziati hanno sviluppato strumenti che agiscono come traduttori, indicando quali pezzi di informazione un modello computazionale ha utilizzato per prendere la sua decisione. Questi strumenti sono destinati a costruire fiducia, permettendo agli esperti umani di comprendere e verificare la logica della macchina. Eppure, una domanda critica rimane: se il ragionamento del computer cambia drasticamente quando i dati di input vengono modificati anche solo di una minima quantità, possiamo davvero fidarci della spiegazione? Questa incertezza è la sfida centrale affrontata da un nuovo studio focalizzato su come verificare l'affidabilità di queste spiegazioni dell'IA.

I ricercatori dell'Università di Fianarantsoa in Madagascar si sono posti l'obiettivo di risolvere questo problema creando un metodo formale per sottoporre a audit queste spiegazioni. Si sono concentrati su due qualità specifiche: stabilità e fedeltà. La stabilità chiede se la spiegazione rimanga coerente quando i dati vengono leggermente disturbati, proprio come controllare se una bussola continua a puntare a nord quando il terreno sotto di essa trema. La fedeltà chiede se le caratteristiche evidenziate dalla spiegazione siano effettivamente quelle che guidano la decisione del modello, assicurando che lo strumento non stia solo inventando ragioni che sembrano plausibili ma che sono in realtà false. Combinando le misurazioni di queste due qualità in un unico punteggio, il team ha creato un modo per valutare quanta fiducia un utente debba riporre in una specifica spiegazione dell'IA.

Per testare questo nuovo sistema di audit, i ricercatori lo hanno applicato a un dataset del mondo reale riguardante la sicurezza alimentare in Madagascar. I dati coprivano ventitré regioni nell'arco di tredici anni, tracciando ottantatré diversi fattori come la piovosità, la produzione di riso, i prezzi di mercato e i tassi di salute infantile. L'obiettivo era prevedere la gravità della malnutrizione in queste regioni, che è stata categorizzata in quattro livelli, da accettabile a critica. Il team ha addestrato tre diversi tipi di modelli computazionali su questi dati e ha poi utilizzato due popolari strumenti di spiegazione per vedere quanto bene potessero spiegare le predizioni dei modelli. Hanno eseguito il loro audit su un set specifico di casi di test per vedere se le spiegazioni resistessero allo scrutinio.

I risultati hanno rivelato una realtà sconcertante: un modello che è estremamente accurato nel fare previsioni non è necessariamente affidabile quando si tratta di spiegare tali previsioni. Alcuni dei modelli hanno raggiunto punteggi quasi perfetti nella previsione delle classi di malnutrizione, eppure le spiegazioni che producevano erano o numericamente rotte o completamente prive di informazioni. In un caso sorprendente, un modello che era altamente fiducioso nelle sue risposte ha causato uno degli strumenti di spiegazione nell'emettere un elenco di valori zero per ogni singolo fattore, dicendo di fatto che nulla contava perché la risposta era già ovvia. Quando i ricercatori hanno cercato di misurare quanto fossero stabili queste spiegazioni, i numeri sono diventati impossibili da calcolare senza un piccolo fix matematico, evidenziando un difetto fondamentale nel modo in cui lo strumento di spiegazione interagiva con il modello eccessivamente sicuro di sé.

Lo studio ha anche scoperto che la qualità di una spiegazione dipende fortemente da come il modello è stato costruito. Quando i ricercatori hanno regolato i modelli per renderli meno inclini a memorizzare i punti dati specifici — un processo noto come regolarizzazione — le spiegazioni sono diventate molto più affidabili. Ad esempio, un tipo di modello che inizialmente produceva spiegazioni piatte e prive di informazioni ha iniziato a mostrare un modello chiaro in cui la rimozione dei fattori più importanti cambiava significamente la previsione. Questo cambiamento ha dimostrato che la spiegazione stava finalmente riflettendo il vero funzionamento interno del modello piuttosto che limitarsi a riecheggiare la sua fiducia. I ricercatori hanno osservato che lo strumento di spiegazione basato su modelli ad albero era generalmente più stabile dell'altro, ma entrambi faticavano quando il modello sottostante era troppo sicuro delle proprie risposte.

In definitiva, la ricerca suggerisce che un'alta accuratezza in un modello di machine learning non garantisce che il suo ragionamento sia solido o comprensibile. Il team ha dimostrato che senza un controllo specifico di stabilità e fedeltà, gli utenti potrebbero essere presentati con spiegazioni che sembrano convincenti ma che sono in realtà fragili o fuorvianti. Introducendo un punteggio singolo che combina questi controlli, hanno fornito un modo pratico affinché i decisori possano sapere quando una spiegazione dell'IA è sicura da usare e quando invece dovrebbe essere ignorata. Questo è particolarmente vitale in settori sensibili come la sicurezza alimentare, dove le politiche e gli aiuti vengono distribuiti sulla base di queste previsioni. Lo studio conclude che sottoporre queste spiegazioni a audit non è un passaggio opzionale, ma un requisito necessario per garantire che l'intelligenza artificiale che guida decisioni umane critiche sia veramente degna di fiducia.

Sintesi Tecnica: Un Quadro Metodologico Formale per l'Audit di Robustezza e Fedeltà nella XAI Spiegabile

1. Definizione del Problema

Il documento affronta una lacuna critica nell'implementazione della XAI (Explainable AI) in domini sensibili, specificamente la sicurezza alimentare in Madagascar. Sebbene gli esplicatori post-hoc come SHAP e LIME siano standard per interpretare i modelli black-box, i loro output sono spesso inaffidabili. Gli autori hanno osservato che piccole perturbazioni nei dati di input possono causare variazioni sostanziali negli output delle spiegazioni, e non esiste un meccanismo intrinseco per verificare se le caratteristiche evidenziate guidino realmente le predizioni del modello. Questa "illusione di trasparenza" pone un rischio quando i decisori politici si affidano a tali spiegazioni per il processo decisionale. Il problema centrale è la mancanza di un protocollo quantitativo unificato per auditare simultaneamente sia la stabilità (robustezza) che la fedeltà (faithfulness) degli output della XAI.

2. Quadro Metodologico

Gli autori propongono una pipeline di audit formale che quantifica due proprietà distinte di qualsiasi esplicatore post-hoc e le sintetizza in un unico Trust Score (Punteggio di Fiducia).

2.1 Robustezza (Stabilità Locale)

La robustezza misura la stabilità di una spiegazione sotto perturbazione dell'input.

Meccanismo: Per un dato input $x$ , l'auditor estrae $N$ vettori di rumore $\delta$ da una distribuzione Gaussiana $N(0, \sigma^2 I)$ .
Calcolo: Calcola i vettori di spiegazione $E(x)$ ed $E(x+\delta)$ , li normalizza affinché la somma sia 1, e ne misura la divergenza utilizzando la Divergenza di Jensen-Shannon (JSD).
Metrica: $R(x) = 1 - \frac{1}{N} \sum D_{JS}(\tilde{E}(x) \parallel \tilde{E}(x+\delta_i))$ .
Gestione dei casi limite: Viene affrontato un problema numerico specifico in cui TreeSHAP su modelli in overfitting può produrre importanza zero per tutte le feature, rendendo la JSD indefinita. Gli autori risolvono il problema aggiungendo un piccolo epsilon ( $\epsilon = 10^{-10}$ ) a ogni componente prima della normalizzazione.

2.2 Fedeltà (Faithfulness)

La fedeltà valuta se le caratteristiche ritenute importanti dall'esplicatore influenzano effettivamente la predizione del modello.

Meccanismo: Il metodo impiega l'ablazione delle feature. Le prime $k$ feature identificate dall'esplicatore vengono mascherate (sostituite con le medie delle feature) per creare un input perturbato $x \setminus F_k$ .
Calcolo: La variazione nella predizione del modello $f(x)$ viene misurata rispetto alla predizione originale.
Metrica: $F_k(x) = 1 - \frac{|f(x) - f(x \setminus F_k)|}{|f(x)| + \epsilon}$ . La fedeltà complessiva $F(x)$ è la media su un insieme di livelli di ablazione $K$ .
Interpretazione: Un punteggio di fedeltà elevato indica che la rimozione delle prime feature altera significativamente la predizione, confermando la rilevanza dell'esplicatore.

2.3 Trust Score

Il framework combina queste metriche in una somma pesata:
$T(x) = \alpha R(x) + \beta F(x)$
dove $\alpha + \beta = 1$ . Per impostazione predefinita $\alpha = \beta = 0.5$ , conferendo un peso uguale a stabilità e fedeltà, sebbene gli autori notino che questi pesi possono essere regolati in base ai requisiti del dominio (ad esempio, dando priorità alla stabilità per stakeholder non tecnici).

3. Setup Sperimentale e Caso di Studio

Il framework è stato validato su un dataset multisettoriale relativo alla sicurezza alimentare in Madagascar.

Dati: 253 record coprendo 23 regioni in 13 anni (2010–2023), con 83 variabili (clima, agricoltura, socio-economia, nutrizione, demografia). La variabile target ha 4 classi ordinali (Accettabile, Precario, Allarmante, Critico), con uno sbilanciamento di classe severo (solo 3 istanze nella classe "Accettabile").
Modelli: Sono stati testati tre classificatori: Random Forest (RF), XGBoost e una Rete Neurale (NN). Varianti regolarizzate di ciascuno sono state addestrate per valutare l'impatto dell'overfitting.
Spiegabilità: SHAP (TreeSHAP per gli alberi, KernelSHAP per la NN) e LIME sono stati utilizzati.
Protocollo: L'audit è stato eseguito su 30 istanze di test con 10 tentativi di perturbazione ( $\sigma=0.1$ ) e livelli di ablazione $K = \{3, 5, 10, 41, 82\}$ .

4. Risultati Chiave

Gli esperimenti hanno prodotto risultati rivelatori riguardo alla relazione tra performance predittiva e qualità della spiegazione:

Alto AUC $\neq$ Spiegazioni Affidabili: I modelli hanno raggiunto punteggi di macro-AUC superiori a 0.99. Tuttavia, questa alta performance predittiva non ha garantito spiegazioni stabili o informative.
Degenerazione Numerica: Nel modello XGBoost, TreeSHAP ha prodotto vettori di importanza con valori nulli per alcune istanze a causa di predizioni quasi certe, causando il fallimento del calcolo JSD senza la correzione proposta con $\epsilon$ -smoothing.
Collasso della Fedeltà nei Modelli in Overfitting: Il modello XGBoost ha mostrato punteggi di fedeltà "piatti" (circa 0.620) attraverso tutti i livelli di ablazione sia per SHAP che per LIME. Poiché il modello era estremamente sicuro (predicendo vicino a 0 o 1), la rimozione delle feature spostava l'output di una quantità costante indipendentemente dalle feature rimosse. Ciò ha reso la metrica di fedeltà non informativa e incapace di distinguere tra buone e cattive spiegazioni.
Impatto della Regolarizzazione: I modelli regolarizzati hanno generalmente migliorato i Trust Score.
- RF e XGBoost: La regolarizzazione ha leggermente migliorato la robustezza e migliorato moderatamente la fedeltà, sebbene le curve di fedeltà di XGBoost siano rimaste relativamente piatte.
- Rete Neurale: La NN regolarizzata (NNreg) ha most mostrato il recupero più significativo della capacità discriminativa. La fedeltà di LIME è scesa da 0.977 (prime 3 feature) a 0.802 (82 feature), indicando che l'esplicatore ha identificato correttamente la gerarchia dell'importanza delle feature.
Confronto sulla Robustezza: SHAP ha costantemente superato LIME in termini di robustezza sui modelli basati su alberi (es. XGBoost: 0.978 vs 0.658), grazie alla computazione del percorso esatto di TreeSHAP rispetto alla variabilità di campionamento di LIME.

5. Significato e Rivendicazioni

Il documento sostiene che l'audit degli output della XAI non è opzionale ma necessario, specialmente in domini sensibili come la sicurezza alimentare. I principali contributi sono:

Protocollo Unificato: Il framework fornisce una singola pipeline per misurare robustezza e fedeltà fianco a fianco, producendo un Trust Score confrontabile tra diversi accoppiamenti modello-esplicatore.
Rilevamento di Spiegazioni "Non Informative": Lo studio dimostra che il framework può rilevare quando le spiegazioni diventano numericamente degenerate o vacue a causa dell'overconfidence del modello o dell'overfitting. Nello specifico, evidenzia come un modello con AUC quasi perfetta possa produrre spiegazioni che sono o instabili o interamente prive di informazione.
Necessità di Calibrazione: I risultati suggeriscono che, prima di fidarsi degli output della XAI, i professionisti devono garantire che il modello sottostante sia ben calibrato e non gravemente in overfitting. Se un modello è troppo sicuro di sé, le metriche di fedeltà perdono il loro potere discriminatorio.
Trade-off Pratici: Il Trust Score rende esplicito il compromesso tra stabilità e fedeltà, permettendo agli esperti di dominio di regolare i pesi ( $\alpha, \beta$ ) in base alla necessità di dare priorità alla coerenza delle spiegazioni per la comunicazione o al rigoroso rispetto della logica del modello per la conformità normativa.

Gli autori concludono che, sebbene il framework sia informativo per i modelli ben calibrati, il suo utilizzo per i modelli in overfitting richiede cautela, e il lavoro futuro dovrà concentrarsi su strategie di perturbazione specifiche per il dominio e strutture dati temporali.