Causal Explanations from the Geometric Properties of ReLU Neural Networks

Riepilogo Tecnico: Spiegazioni Causali dalle Proprietà Geometriche delle Reti Neurali ReLU

Enunciato del Problema

Le reti neurali, in particolare quelle utilizzate per l'apprendimento di politiche di controllo in sistemi autonomi tramite Apprendimento per Rinforzo (RL), funzionano come "scatole nere". Questa mancanza di interpretabilità ostacola la garanzia di sicurezza e la fiducia degli utenti. Sebbene campi come l'Intelligenza Artificiale Spiegabile (XAI) e l'Apprendimento per Rinforzo Spiegabile (XRL) mirino a fornire spiegazioni del tipo "perché" e "perché no", i metodi attuali all'avanguardia si basano spesso su modelli distillati (surrogati semplificati). Sebbene queste politiche distillate siano interpretabili, soffrono di un significativo degrado delle prestazioni rispetto al modello originale e non garantiscono una riflessione accurata dei processi decisionali del modello originale. Di conseguenza, non possono essere utilizzate per garantire formalmente la sicurezza del sistema originale. Esiste la necessità di metodi che generino spiegazioni causali esatte direttamente dalla rete neurale originale, senza approssimazioni o perdita di prestazioni.

Metodologia

Gli autori propongono un metodo per generare Spiegazioni Minimamente Complete (MCE) per reti neurali costituite da livelli lineari e funzioni di attivazione Unità Lineare Rettificata (ReLU). L'approccio sfrutta la proprietà geometrica secondo cui una rete ReLU corrisponde a una funzione lineare a tratti divisa in regioni definite da poliedri convessi $n$-dimensionali.

La metodologia di base coinvolge due algoritmi principali:

1. Rappresentazione Geometrica:

   • La rete è vista come divisore dello spazio di input in regioni distinte (poliedri). All'interno di ciascun poliedro, il comportamento della rete per ciascun neurone di output è una singola trasformazione lineare.
   • L'attivazione di ciascun neurone (zero o non zero) è rappresentata da un vettore di bit. Una combinazione specifica di attivazioni definisce un poliedro unico $P$ nello spazio di input, descritto da un sistema di disuguaglianze lineari (Rappresentazione-H).

2. Spiegazioni "Perché" (Fattuali):

   • Input: Un input $x$ e la rete $N$.
   • Processo: L'algoritmo esegue un passaggio in avanti per raccogliere la firma di attivazione (vettore di bit) per $x$. Costruisce il poliedro $P$ corrispondente a questa firma.
   • Raffinamento: Definisce un sotto-poliedro $P_{Output} \subset P$ in cui la classe di output effettiva $c$ è massima. Per raggiungere la minimalità, l'algoritmo risolve una serie di programmi lineari per identificare e rimuovere vincoli ridondanti dal sistema di disuguaglianze che definisce $P_{Output}$.
   • Output: Un insieme semplificato di disuguaglianze lineari ($H'$) che definiscono esattamente la regione in cui la rete produce la decisione osservata.

3. Spiegazioni "Perché No" (Controfattuali):

   • Input: Un input $x$, l'output effettivo $c$ e un output controfattuale $c'$.
   • Processo: L'algoritmo verifica innanzitutto se la classe controfattuale $c'$ è fattibile all'interno del poliedro corrente $P$. Se fattibile, la spiegazione è la disuguaglianza lineare che distingue le classi all'interno di $P$.
   • Ricerca: Se $c'$ non è fattibile in $P$, l'algoritmo impiega la Marcia sui Poliedri Adiacenti. Inverte iterativamente i bit nella firma di attivazione (aumentando la distanza di Hamming) per esplorare poliedri adiacenti fino a trovare una regione $P'$ in cui $c'$ è fattibile.
   • Output: La spiegazione consiste nei vincoli specifici (i bit/disuguaglianze differenziali) che distinguono il poliedro fattuale $P$ dal poliedro controfattuale $P'$.

4. Rappresentazioni:

   • Rappresentazione-H: Un sistema di disuguaglianze lineari. È esatto e scala linearmente con il numero di neuroni, ma può essere complesso per input ad alta dimensionalità.
   • Rappresentazione-V: Un insieme di punti estremi (vertici) che definiscono i limiti del poliedro. Offre una maggiore brevità (dimensione costante rispetto alla profondità della rete) ma introduce una complessità esponenziale rispetto alla dimensionalità dell'input.

Contributi Chiave

• Esattezza: Il metodo genera spiegazioni che sono riflessi 100% accurati del comportamento della rete ReLU originale, evitando gli errori di approssimazione intrinseci nella distillazione dei modelli.
• Estrazione Diretta: Le regole sono estratte direttamente dalle proprietà geometriche (decomposizione poliedrale) della rete neurale piuttosto che da un modello surrogato.
• Quadro Algoritmico: Il documento introduce algoritmi specifici per generare sia spiegazioni "Perché" (fattuali) sia "Perché No" (controfattuali) utilizzando la marcia sui poliedri e la riduzione dei vincoli.
• Rappresentazione Duale: Il lavoro dimostra come fornire spiegazioni sia in Rappresentazione-H (vincoli) sia in Rappresentazione-V (limiti), discutendo i compromessi tra interpretabilità e complessità computazionale per ciascuna.

Risultati e Analisi della Complessità

• Complessità Computazionale:
  • Spiegazioni "Perché": La complessità temporale è $O(n)$, dove $n$ è il numero di neuroni, poiché comporta la risoluzione di un numero lineare di programmi lineari per rimuovere vincoli ridondanti.
  • Spiegazioni "Perché No": Nel caso migliore, la complessità è $O(n)$. Nel caso peggiore, è $O(2^n)$, equivalente all'enumerazione di tutti i possibili poliedri. Tuttavia, gli autori notano che nella pratica l'algoritmo probabilmente termina rapidamente perché è richiesto un solo poliedro fattibile per il controfattuale per arrestare la ricerca.
• Complessità Spaziale: Entrambi gli algoritmi mantengono una complessità spaziale costante, memorizzando solo il poliedro corrente e i vettori di bit.
• Scalabilità: Gli autori riconoscono che, sebbene il metodo sia teoricamente solido, la Rappresentazione-H scala linearmente con le dimensioni del modello (numero di vincoli) e la Rappresentazione-V scala esponenzialmente con la dimensionalità dell'input. Input ad alta dimensionalità risultano in vincoli che coinvolgono tutte le variabili di input, il che può ridurre l'interpretabilità.

Significato e Affermazioni

Il documento afferma che il suo significato principale risiede nel colmare il divario tra garanzia di sicurezza e interpretabilità. Fornendo spiegazioni geometriche esatte, il metodo consente agli utenti di verificare che un sistema non entrerà in uno stato non sicuro e di comprendere i confini decisionali specifici che hanno portato a una particolare azione.

Gli autori inquadrano modestamente il loro lavoro come una dimostrazione di fattibilità piuttosto che una soluzione completa a tutte le sfide dell'interpretabilità. Affermano esplicitamente:

• Le spiegazioni sono "minimamente complete" riguardo alla geometria della rete, ma potrebbero non essere "soddisfacenti" (gradevoli) per gli utenti finali a causa della complessità e del numero di vincoli, specialmente negli spazi ad alta dimensionalità.
• Il metodo è attualmente limitato alle reti con livelli lineari e attivazioni ReLU.
• È necessario un lavoro futuro per validare la "gradevolezza" di queste spiegazioni con utenti reali e regolatori (ad esempio, nel dominio marittimo) e per estendere l'approccio ad altre architetture (come le CNN) e funzioni di attivazione (come Leaky ReLU).

Il lavoro si posiziona come un passo fondamentale verso l'interpretabilità meccanicistica che non compromette le prestazioni o le garanzie di sicurezza del sistema autonomo originale.