Riepilogo Tecnico: Rule of Thumb: Spiegare i Sistemi di Intelligenza Artificiale utilizzando Informazioni Parziali

Definizione del Problema

L'Intelligenza Artificiale Spiegabile (XAI) affronta critiche limitazioni in tre aree applicative emergenti: la classificazione zero-shot con i Large Language Models (LLM), l'audit di sistemi IA proprietari opachi e l'uso dell'IA per la scoperta scientifica. I metodi esistenti, basati principalmente sull'analisi della sensibilità (ad esempio, SHAP, LIME, Integrated Gradients), si affidano alla perturbazione delle caratteristiche di input per osservare i cambiamenti nell'output del modello. Questo approccio incontra barriere fondamentali:

1. Inaccessibilità: I metodi basati sulla sensibilità richiedono spesso l'accesso ai pesi del modello (gradienti) o la capacità di interrogare il modello con dati sintetici perturbati. Ciò è impossibile per gli LLM closed-source accessibili solo tramite API ed è proibitivamente costoso a causa dell'elevato numero di chiamate API richieste (ad esempio, da 500 a 5000 chiamate per ogni spiegazione).
2. L'Effetto Rashomon nell'Audit: Quando si effettuano audit su sistemi proprietari, i ricercatori spesso costruiscono modelli "mimic" (di imitazione) per approssimare il sistema target. Tuttavia, diversi modelli mimic con precisione simile possono possedere meccanismi interni differenti, portando a spiegazioni contraddittorie (l'effetto Rashomon). Ciò mina la validità degli audit basati su modelli mimic.
3. Validità Scientifica: L'analisi della sensibilità assume che il comportamento del modello su dati fuori distribuzione (sintetici) rifletta la causalità del mondo reale. Ciò può portare a ipotesi spurie, in cui caratteristiche non informative appaiono importanti semplicemente perché il modello reagisce arbitrariamente alle perturbazioni sintetiche.

Metodologia: Rule of Thumb (ROT)

Gli autori propongono "Rule of Thumb" (ROT), una nuova formulazione XAI che definisce l'importanza delle caratteristiche sulla base della predittività piuttosto che della sensibilità. Invece di chiedere come l'alterazione di una caratteristica cambi l'output, ROT chiede come la conoscenza del valore di una specifica caratteristica aggiorni la predizione del comportamento del sistema di IA.

Formulazione

ROT modella l'output del sistema di IA $C(x)$ come una somma di funzioni additive che rappresentano l'informazione fornita dai singoli valori delle caratteristiche. Per un dataset $X$ e un insieme di caratteristiche $\mathcal{J}$, il modello stima:
$$C(x) \approx F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)$$
dove:

• $F$ è una funzione sigmoide (classificazione) o identità (regressione).
• $f_{\theta_j}(x_j)$ è una funzione appresa che rappresenta l'importanza della caratteristica $j$ che assume il valore $x_j$.
• $G$ è un termine di bias globale.
• La stima è valida per qualsiasi sottoinsieme di caratteristiche $J \subseteq \mathcal{J}$.

Ottimizzazione

L'obiettivo è trovare i pesi ottimali $\theta$ che minimizzino la perdita tra l'output del modello reale $C(x)$ e la stima derivata da sottoinsiemi casuali di caratteristiche. La funzione di perdita $L$ è marginalizzata su tutti i datapoint e tutti i possibili sottoinsiemi di caratteristiche:
$$\min_{\theta} L = \min_{\theta} \sum_{J \subseteq \mathcal{J}} \sum_{x \in X} p^{|J|} (1-p)^{(|\mathcal{J}|-|J|)} \cdot \ell\left[C(x), F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)\right]$$
Fondamentalmente, questa ottimizzazione è risolta efficientemente utilizzando il dropout applicato alle importanze delle caratteristiche durante l'addestramento. Ciò consente al modello di essere adattato all'intero dataset non perturbato senza richiedere ulteriori query al modello per ogni spiegazione. Una volta adattato, l'importanza della caratteristica per un particolare datapoint è semplicemente il valore di $f_{\theta_j}(x_j)$.

Distinzioni Chiave

• Nessuna Perturbazione: ROT non richiede la generazione di dati sintetici o la perturbazione degli input.
• Caratteristiche Non-Input: ROT può incorporare caratteristiche esterne, non-input (ad esempio, attributi demografici non passati al modello) nella spiegazione adattandosi su dataset estesi, permettendo così il rilevamento di bias anche se il modello dichiara di non usarli.
• Model Agnostic: Richiede solo la capacità di osservare le predizioni su dati esistenti, non l'accesso ai pesi o la capacità di interrogare nuovi input.

Contributi Chiave e Risultati

1. Classificazione Zero-Shot con LLM

• Esperimento: Gli autori hanno applicato ROT alla classificazione zero-shot di immagini (API GPT-4o-mini) e alla classificazione di testi (esiti di casi giudiziari e recensioni di film).
• Risultati: Le spiegazioni ROT si sono allineate strettamente con le annotazioni umane (AUROC pesata di 0,77 per i casi giudiziari, comparabile allo 0,74 di SHAP).
• Efficienza: Mentre la prima spiegazione ROT richiedeva l'addestramento (circa 1160 secondi per il dataset giudiziario), le spiegazioni successive erano virtualmente istantanee (<0,1 ms). Al contrario, SHAP richiedeva circa 1320 secondi per spiegazione. ROT ha reso possibili le spiegazioni per gli LLM dove i metodi basati sulla sensibilità erano computazionalmente impraticabili.

2. Audit di Sistemi Proprietari Black-Box

• Esperimento: Gli autori hanno effettuato l'audit del sistema di raccomandazione e-commerce di Amazon, replicando uno studio di The Markup che utilizzava un modello mimic Random Forest.
• Risultati:
  • Effetto Rashomon: Diversi modelli mimic (con variazioni di iperparametri o algoritmi) hanno prodotto spiegazioni SHAP/LIME contraddittorie riguardo all'importanza delle caratteristiche (ad esempio, se "recensioni del prodotto" o "il brand è Amazon" fosse più importante).
  • Vantaggio di ROT: ROT ha fornito spiegazioni coerenti senza alcun modello mimic. Ha identificato "il brand è Amazon" come la caratteristica più importante, ma ha anche evidenziato unicamente "venduto da Amazon" come un fattore significativo, rivelando un potenziale comportamento di auto-preferenza che gli audit basati su mimic avevano mancato.

3. Scoperta Scientifica

• Esperimento: Gli autori hanno testato ROT su dataset di previsione del diabete, recidiva e approvazione di prestiti, progettando scenari specifici in cui determinate caratteristiche erano o non informative o mascherate da caratteristiche "foil" (esca) avversarie.
• Risultati:
  • Caratteristiche Non Informative: Quando l'età è stata matematicamente scollegata dagli esiti del diabete, SHAP e LIME le hanno comunque assegnate importanza (generando ipotesi spurie), mentre ROT l'ha correttamente identificata come non importante.
  • Robustezza Avversaria: In setup avversari progettati per trarre in inganno gli esplicatori portandoli a dare priorità alle caratteristiche "foil" rispetto a quelle sensibili (ad esempio, razza o genere), SHAP e LIME sono falliti (recuperando la caratteristica sensibile meno del 5% delle volte). ROT ha mantenuto un tasso di successo superiore all'89%, identificando correttamente le vere caratteristiche sensibili.

4. Efficienza Computazionale e Impatto Ambientale

• ROT è ordini di grandezza più veloce di SHAP e LIME per spiegazioni su larga scala. Il paper nota che dopo l'adattamento iniziale, ROT può calcolare milioni di spiegazioni nel tempo in cui SHAP ne calcola una, riducendo significativamente l'impronta ambientale della XAI.

Significato e Rivendicazioni

Il paper sostiene che ROT affronti problemi di validità e praticità di lunga data nella XAI spostando il paradigma dall'analisi della sensibilità alla predittività delle caratteristiche.

• Conformità Regolatoria: ROT è posizionato come uno strumento che soddisfa i requisiti dell'AI Act dell'UE (ad esempio, Articoli 15 e 74) per l'audit di sistemi ad alto rischio dove i regolatori possono avere accesso ai dataset ma non al pieno accesso al modello o alla capacità di interrogare nuovi input.
• Rigore Scientifico: Evitando assunzioni su meccanismi causali e comportamenti fuori distribuzione, ROT offre una base più robusta per generare ipotesi scientifiche rispetto ai metodi basati sulla sensibilità.
• Implementazione Pratica: ROT è presentato come un sostituto "drop-in" dei sistemi XAI esistenti, essendo model-agnostic, più veloce e capace di spiegare sistemi (come gli LLM accessibili solo via API) che erano precedentemente inspiegabili.

Gli autori sottolineano che ROT non pretende di risolvere l'inferenza causale, ma fornisce un metodo affidabile per comprendere il comportamento del modello basato sulla predittività dei dati osservati, rendendolo unicamente adatto ai vincoli dei moderni sistemi di IA proprietari.