Assessing Model-Agnostic XAI Methods against EU AI Act Explainability Requirements

Questo studio colma il divario tra i metodi XAI agnostici e i requisiti del Regolamento UE sull'Intelligenza Artificiale proponendo un framework di valutazione che trasforma le analisi qualitative in un punteggio quantitativo di conformità normativa.

L'essenziale

🧠 Il Problema: La "Scatola Nera" e il Giudice

Immagina di avere un robot giudice molto intelligente che decide se concederti un prestito bancario o se ti viene rifiutato. Questo robot è una "scatola nera": tu sai cosa mette dentro (i tuoi dati) e sai cosa esce fuori (la decisione), ma non sai come ha pensato.

L'Unione Europea ha appena approvato una nuova legge, il AI Act, che dice: "Ehi, non puoi usare una scatola nera per decidere la vita delle persone! Devi spiegare perché hai preso quella decisione."

Il problema è che gli scienziati che creano queste spiegazioni (chiamati XAI, o "AI spiegabile") e i giuristi che scrivono le leggi non parlano la stessa lingua.

• I tecnici dicono: "Ho un algoritmo che ti mostra quali variabili hanno pesato di più!"
• I giuristi dicono: "Ma è affidabile? Se cambio di un millimetro i dati, cambia la spiegazione? È abbastanza semplice da capire per un umano?"

C'è un vuoto (un "gap") tra ciò che la tecnologia offre oggi e ciò che la legge richiede. Le aziende, specialmente quelle piccole, sono perse: "Quale strumento devo usare per non finire nei guai con la legge?"

🔍 La Soluzione: La "Mappa della Conformità"

Gli autori di questo studio (Francesco, Giulia e Michael) hanno deciso di colmare questo vuoto creando una mappa di navigazione. Hanno preso i metodi di spiegazione più famosi e li hanno messi alla prova contro le regole dell'AI Act.

Hanno creato un sistema di punteggio simile a una valutazione scolastica, ma con un tocco speciale:

1. Hanno tradotto la legge in "competenze tecniche": Invece di dire "devi essere trasparente", hanno chiesto: "L'algoritmo è fedele alla realtà? È robusto (non si rompe se lo tocchi)? È complesso o semplice?"
2. Hanno dato un voto a ogni metodo: Hanno valutato 10 famosi "spiegatori" (come SHAP, LIME, Alberi Decisionali) su una scala da 1 a 5.

🏆 I Protagonisti: Chi sono i "Candidati"?

Immagina una gara di atletica dove ogni corridore ha punti di forza diversi:

• SHAP (Il Campione di Fedeltà): È come un giornalista investigativo molto preciso. Non inventa nulla, ti dice esattamente quali pezzi di informazione hanno fatto la differenza. È il più "fedele" alla logica del robot, ma a volte la sua spiegazione è un po' lunga e complessa.
• Alberi Decisionali (Il Disegnatore Semplice): È come un flusso decisionale su un foglio di carta ("Se piove, prendi l'ombrello; altrimenti no"). È facilissimo da capire per tutti, ma se il tempo cambia di un soffio, il disegno potrebbe diventare sbagliato (non è molto "robusto").
• LIME (Il Fotografo Locale): Fa una foto ravvicinata di una singola decisione. È veloce, ma se muovi la fotocamera di un millimetro, la foto viene sfocata (poca stabilità).
• CEM e DiCE (I Maghi del "E se..."): Ti dicono: "Se avessi guadagnato 100 euro in più, il prestito sarebbe stato approvato". Sono ottimi per capire come cambiare la situazione, ma sono complessi da calcolare.

📊 Il Risultato: La Classifica della Legge

Gli autori hanno creato una formula matematica per calcolare un "Punteggio di Conformità Legale" (da 0 a 1). Ecco cosa hanno scoperto:

1. Non esiste un "vincitore unico": Non c'è un solo metodo che fa tutto perfettamente. È come cercare il coltellino svizzero perfetto: a volte ti serve il coltello, a volte le forbici.
2. La strategia vincente è l'ibrido:
   • Per le spiegazioni interne (ai tecnici che devono controllare il sistema), SHAP è il re. È il più affidabile e fedele.
   • Per le spiegazioni all'utente finale (al cliente che chiede "Perché no?"), è meglio usare Alberi Decisionali o Regole semplici, perché sono facili da capire.
3. La combinazione perfetta: Il consiglio è usare SHAP per costruire la spiegazione "vera" (perché è fedele) e poi trasformarla in una mappa semplice (albero o regole) per mostrarla alla gente.

💡 La Metafora Finale: Il Traduttore

Pensa a questo studio come alla creazione di un dizionario bilingue tra due mondi che non si capivano:

• Da una parte c'è il Tecnico che parla "Matematica e Dati".
• Dall'altra c'è il Giurista che parla "Diritti e Responsabilità".

Prima, quando il giurista chiedeva "Spiegami", il tecnico pensava di dover mostrare una formula complicata. Ora, grazie a questa ricerca, il tecnico sa che deve fornire una spiegazione che sia:

1. Fedele (non deve mentire su come il robot ha pensato).
2. Stabile (non deve cambiare se cambi un numero a caso).
3. Adatta al pubblico (separare il dettaglio tecnico dal riassunto per l'utente).

In Sintesi

Questo studio non dice "Usa questo software e sei a posto". Dice invece: "Ecco come misurare se il tuo software è pronto per la legge europea".

Offre alle aziende una checklist pratica: se vuoi rispettare l'AI Act, non basta avere un'AI intelligente; devi scegliere lo strumento giusto per spiegare la sua intelligenza, e spesso la soluzione migliore è usare più strumenti insieme, come un'orchestra dove ogni strumento suona la nota giusta al momento giusto.

Sommario tecnico

1. Il Problema

Esiste un divario persistente (transparency gap) tra le capacità tecniche attuali dei metodi di Intelligenza Artificiale Spiegabile (XAI) e i requisiti legali imposti dal nuovo AI Act dell'Unione Europea.

• Il contesto: L'AI Act richiede la trasparenza dei sistemi di IA, specialmente quelli ad alto rischio, imponendo obblighi di spiegazione per garantire responsabilità, controllo umano e rispetto dei diritti fondamentali.
• La lacuna: La letteratura esistente si concentra sugli aspetti algoritmici o offre mappe qualitative, ma manca di un approccio sistematico per mappare le proprietà tecniche degli algoritmi XAI ai requisiti legali specifici. Questo lascia i praticanti (sviluppatori, aziende) senza linee guida chiare su come garantire la conformità normativa nel mercato UE.

2. Metodologia

Gli autori propongono un framework ibrido qualitativo-quantitativo per valutare e classificare i metodi XAI in base alla loro conformità all'AI Act.

A. Definizione di Spiegazione

Adottano una definizione basata sulla filosofia del linguaggio ordinario: una spiegazione è una "risposta a domande implicite o esplicite che facilitano la comprensione". Questa visione è allineata ai contesti legali, dove le spiegazioni non devono necessariamente essere personalizzate al singolo individuo o puramente causali, ma devono essere comprensibili per l'audience target (es. "paziente medio").

B. Identificazione delle Proprietà XAI

Partendo dalla letteratura (riferimento [8]), le proprietà di interpretabilità sono raggruppate in tre categorie principali:

1. Fedeltà (Faithfulness/Fidelity): Quanto accuratamente la spiegazione riflette il ragionamento reale del modello. Include:
   • Necessità: Nessun falso positivo (solo feature rilevanti).
   • Sufficienza: Nessun falso negativo (nessuna feature rilevante omessa).
   • Completezza: Copertura dell'intero ragionamento.
2. Robustezza (Robustness/Stability): La stabilità della spiegazione rispetto a piccole variazioni dell'input. Include:
   • Stabilità/Continuità: Istanze simili producono spiegazioni simili.
   • Robustezza Adversariale: Resistenza alla manipolazione tramite esempi avversari.
3. Complessità (Complexity): La complessità intrinseca della spiegazione. Include:
   • Sparsità: Numero ridotto di feature o regole.
   • Livello di dettaglio: Granularità dell'informazione (globale vs locale).

C. Mappatura Legale

È stata condotta un'analisi sistematica dell'AI Act (in particolare Art. 11, Allegato IV, Artt. 13-14, Art. 86) per identificare gli obblighi di spiegazione. Questi sono stati codificati in base a:

• Chi: A chi è rivolta la spiegazione (utente, sviluppatore, autorità).
• Cosa: Output individuale, comportamento del sistema o globale.
• Quando: Ex-ante (prima della messa in uso) o Ex-post (dopo la decisione).

D. Framework di Punteggio (Scoring Framework)

Il cuore della metodologia è un processo di aggregazione quantitativa:

1. Valutazione Qualitativa: Gli algoritmi XAI (es. SHAP, LIME, Decision Trees, Counterfactuals) sono valutati su una scala Likert da 1 a 5 per ogni proprietà tecnica, basandosi su revisioni della letteratura e analisi comparative.
2. Assegnazione dei Pesi Legali: Ogni proprietà tecnica viene associata a un fattore di forza legale ($\lambda$) derivante dall'AI Act:
   • Obbligatorio (✓): $\lambda = 1$
   • Preferibile/Opzionale (✓ preferibile): $\lambda = 0.75$
   • Parziale (✓ parziale): $\lambda = 0.5$
3. Calcolo del Punteggio di Conformità: Viene utilizzata una formula matematica (basata sull'analisi multicriterio - MCDA) per aggregare i punteggi delle proprietà in un punteggio di conformità normativo ($S(a, r)$) compreso tra 0 e 1. Il calcolo tiene conto della pertinenza legale e del "fit procedurale" (se l'algoritmo opera allo scope e nello stage temporale richiesti dalla legge).

3. Contributi Chiave

1. Mappatura Sistematica: La prima mappatura dettagliata che collega specifici obblighi dell'AI Act alle proprietà tecniche misurabili degli algoritmi XAI.
2. Framework di Valutazione Quantitativa: Introduzione di un metodo per trasformare valutazioni qualitative legali in un indice numerico di conformità, permettendo il confronto oggettivo tra diverse tecniche XAI.
3. Analisi Comparativa Estesa: Valutazione di oltre 100 algoritmi (selezionando quelli più citati nelle survey recenti) su parametri di fedeltà, robustezza e complessità.
4. Guida Pratica: Fornisce agli ingegneri e ai compliance officer uno strumento per selezionare la tecnica XAI più adatta a un specifico requisito normativo (es. documentazione tecnica vs spiegazione all'utente finale).

4. Risultati Principali

L'analisi ha prodotto una classifica degli algoritmi in base alla loro capacità di soddisfare i requisiti dell'AI Act:

• SHAP (SHapley Additive exPlanations): Risulta costantemente tra i migliori per fedeltà e robustezza. È la scelta primaria per la documentazione tecnica (Art. 11/Annex IV) e per le spiegazioni ex-post (Art. 86) dove la precisione è cruciale.
• Metodi basati su Regole/Alberi (RuleSHAP, RuleFit, Decision Trees, Anchors): Eccellono nella complessità (sparsità e leggibilità). Sono ideali per le interfacce utente o per la documentazione che richiede spiegazioni semplici e interpretabili dall'uomo.
• Metodi Counterfactuali (CEM, DiCE): Ottime per la fedeltà e la robustezza avversariale, utili per spiegare "cosa sarebbe cambiato" per modificare una decisione, ma possono soffrire di instabilità computazionale.
• LIME: Mostra punteggi inferiori in fedeltà e robustezza rispetto a SHAP, rendendolo meno adatto per requisiti legali stringenti sulla precisione, sebbene sia popolare per la sua semplicità.

Pattern di Conformità:

• Per l'Art. 86 (spiegazioni locali ex-post agli utenti): SHAP, RuleSHAP e CEM sono i migliori per la fedeltà; Anchors e Decision Trees per la complessità.
• Per gli Artt. 13-14 (informazioni continue e istruzioni): SHAP e RuleSHAP dominano per la fedeltà, mentre PDP (Partial Dependence Plots) offre trend globali robusti.
• Per l'Art. 11/Annex IV (documentazione tecnica ex-ante): SHAP è fondamentale per l'analisi del rischio, ma le spiegazioni devono spesso essere compresse in alberi decisionali o regole per la documentazione finale.

5. Significato e Implicazioni

• Ponte tra Diritto e Tecnica: Il lavoro trasforma requisiti legali vaghi in specifiche ingegneristiche misurabili, aiutando a colmare il divario tra compliance legale e implementazione tecnica.
• Scalabilità e Adattabilità: Il framework è modulare. Nuovi algoritmi XAI o nuove modifiche legislative possono essere integrati aggiornando semplicemente le tabelle di valutazione e i pesi, senza riscrivere l'intero sistema.
• Sensibilità Normativa: L'analisi di sensibilità dimostra che i punteggi di conformità sono robusti rispetto a variazioni nei fattori di peso legali, confermando la solidità della classificazione proposta.
• Impatto Globale: Data l'"Effetto Bruxelles", questo approccio potrebbe diventare uno standard de facto per la conformità AI anche al di fuori dell'UE, guidando lo sviluppo di sistemi di IA più trasparenti e responsabili.

In conclusione, il paper non offre una "soluzione magica" per la conformità legale, ma fornisce un strumento decisionale critico per identificare quali tecniche XAI possono supportare legalmente le spiegazioni richieste, evidenziando al contempo le aree che necessitano di ulteriori ricerche tecniche o chiarimenti normativi.