Slice and Explain: Logic-Based Explanations for Neural Networks through Domain Slicing

1. Problema

Le Reti Neurali (NN) sono ampiamente utilizzate in vari settori, ma la loro natura di "scatola nera" ne limita l'interpretabilità, creando preoccupazioni in sistemi critici. Sebbene esistano metodi di Explainable AI (XAI) basati su euristiche (come LIME o Anchors), questi mancano di garanzie di correttezza.
Gli approcci basati sulla logica, in particolare quello proposto da Ignatiev et al. [9], offrono spiegazioni con garanzie di correttezza e irridondanza (spiegazioni abductive). Tuttavia, questi metodi soffrono di gravi problemi di scalabilità: la codifica delle NN come vincoli logici (usando Programmazione Lineare Intera Mista - MILP) diventa computazionalmente proibitiva man mano che la dimensione della rete aumenta, rendendo la generazione delle spiegazioni troppo lenta per reti profonde o complesse.

2. Metodologia

Il paper propone una tecnica innovativa chiamata "Domain Slicing" (fetta del dominio) per migliorare la scalabilità degli approcci XAI basati sulla logica senza comprometterne la correttezza.

• Concetto di Base: L'idea è partizionare il dominio di ingresso delle feature in sottodomini più piccoli (slice). All'interno di ciascun sottodominio, è possibile semplificare i vincoli logici che rappresentano la rete neurale.
• Meccanismo di Semplificazione:
  • Le NN con funzioni di attivazione ReLU vengono codificate in vincoli MILP che includono variabili binarie (per gestire la natura piecewise-lineare del ReLU) e variabili continue.
  • Quando un dominio di una feature viene ristretto (es. dividendo $[l, u]$ in $[l, m]$ e $[m, u]$), i limiti inferiori e superiori delle neuroni nascosti possono essere calcolati in modo più stretto.
  • Questo restringimento dei limiti può portare alla rimozione di variabili binarie o alla semplificazione dei vincoli (ad esempio, eliminando le implicazioni logiche se un neurone è sempre attivo o sempre spento in quel sottodominio).
• Algoritmo e Proprietà Logiche:
  • Il metodo verifica se un sottoinsieme di feature è sufficiente a garantire una predizione controllando la conseguenza logica ($\Gamma \models E_j$).
  • Viene dimostrato (Proposizioni 1 e 2) che verificare la conseguenza logica sull'intero dominio è equivalente a verificarla separatamente su ciascun sottodominio creato dallo slicing.
  • Se in almeno un sottodominio la predizione non è garantita senza una certa feature, allora quella feature è necessaria per l'intera spiegazione.
• Strategia di Implementazione: Per evitare l'esplosione combinatoria del numero di sottodomini, l'approccio limita lo slicing a un massimo di tre feature selezionate casualmente (o incrementali).

3. Contributi Chiave

1. Prima applicazione dello slicing nell'XAI: Il paper introduce per la prima volta la tecnica di slicing, ispirata alle tecniche di semplificazione delle NN, nel contesto della generazione di spiegazioni logiche.
2. Miglioramento della Scalabilità: Dimostra che la riduzione della complessità dei vincoli MILP attraverso il dominio ridotto può accelerare significativamente la generazione delle spiegazioni.
3. Garanzia di Correttezza: A differenza dei metodi euristici, l'approccio mantiene le garanzie di correttezza e minimità (irridondanza) delle spiegazioni abductive, poiché ogni sottodominio è analizzato rigorosamente tramite un solver MILP.
4. Analisi Empirica Dettagliata: Fornisce una valutazione sperimentale su diverse architetture di NN (2, 3 e 4 layer) e dataset reali, analizzando il compromesso tra overhead computazionale e guadagno di efficienza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 5 dataset (Auto, Hepatitis, Australian, Heart-Statlog, Glass) con reti neurali di diverse profondità (2, 3 e 4 layer nascosti), utilizzando il solver MILP IBM-CPLEX.

• Reti Piccole (2 Layer): Lo slicing ha spesso aumentato i tempi di spiegazione. L'overhead della gestione di più slice ha superato i benefici, poiché la rimozione di variabili binarie era trascurabile (0% in molti casi).
• Reti Medie (3 Layer): Si osservano miglioramenti misti. Dataset come Australian e Heart-Statlog hanno mostrato riduzioni dei tempi fino al 15-16% grazie a una rimozione significativa di variabili binarie (fino al 12-16%). Altri dataset hanno mostrato peggioramenti.
• Reti Profonde (4 Layer): Qui lo slicing mostra il suo massimo potenziale.
  • Sul dataset Australian, il tempo di spiegazione è stato ridotto del 37,20% con 3 slice, correlato a una rimozione del 23,38% delle variabili binarie.
  • Sul dataset Heart-Statlog, la riduzione è stata del 40,46% con 3 slice.
  • Al contrario, dataset come Auto hanno visto un aumento dei tempi, confermando che lo slicing non è sempre vantaggioso e dipende dalle caratteristiche dei dati.
• Correlazione: L'efficienza è strettamente legata alla percentuale di variabili binarie rimosse. Quando lo slicing permette di eliminare vincoli complessi (variabili binarie), i tempi di calcolo crollano. Se la semplificazione è minima, l'overhead di gestire più sottoproblemi prevale.

5. Significato e Conclusioni

Il paper dimostra che lo Domain Slicing è una strategia promettente per rendere scalabili i metodi XAI basati sulla logica per reti neurali più grandi.

• Impatto Pratico: Permette di generare spiegazioni formali per reti che altrimenti sarebbero troppo lente da analizzare, rendendo l'XAI verificabile più accessibile.
• Dipendenza dai Dati: L'efficacia non dipende solo dalla profondità della rete, ma dalle caratteristiche specifiche del dataset e dalle feature selezionate per lo slicing.
• Direzioni Future: Il lavoro suggerisce che futuri sviluppi dovrebbero concentrarsi su strategie di slicing adattive che identifichino automaticamente le feature più critiche da "affettare" per massimizzare la semplificazione dei vincoli, evitando l'overhead inutile.

In sintesi, l'approccio "Slice and Explain" bilancia la complessità computazionale con la necessità di spiegazioni rigorose, offrendo un metodo per accelerare l'analisi formale delle NN senza sacrificare la fiducia nei risultati.