Logic Explanation of AI Classifiers by Categorical Explaining Functors

Il paper propone un approccio teoricamente fondato basato sulla teoria delle categorie, che introduce un "functore esplicativo" per garantire la coerenza logica e la fedeltà delle spiegazioni estratte dai modelli di intelligenza artificiale, superando i limiti delle attuali tecniche euristico-based.

L'essenziale

Immagina di avere un cuoco robot (l'Intelligenza Artificiale) che prepara piatti deliziosi e complessi. Tu, il cliente, vuoi sapere perché ha scelto certi ingredienti e non altri. Il problema è che il robot è una "scatola nera": sa cucinare benissimo, ma se gli chiedi la ricetta, ti risponde con numeri e formule matematiche incomprensibili.

L'Explainable AI (XAI) è il tentativo di tradurre queste formule in una ricetta che un umano possa capire.

Fino a oggi, i metodi per ottenere queste spiegazioni erano come dei traduttori approssimativi: guardavano il piatto finito e dicevano: "Ah, hai usato il pomodoro! Quindi il pomodoro è importante". Ma spesso questi traduttori commettevano errori: a volte dicevano che il pomodoro era fondamentale, altre volte che non contava, a seconda di come guardavano il piatto. Le spiegazioni erano incoerenti (si contraddicevano) e non rispecchiavano davvero come il robot pensava.

La soluzione: La "Mappa Magica" (Teoria delle Categorie)

Gli autori di questo paper, Stefano e il suo team, hanno deciso di usare una branca della matematica molto astratta chiamata Teoria delle Categorie. Per renderla semplice, immaginiamola come una mappa magica o un ponte strutturale.

Ecco come funziona la loro idea, passo dopo passo:

1. Il problema della "traduzione" (La disconnessione)

Immagina che il robot lavori con ingredienti "sfumati" (ad esempio, "un po' di sale", "abbastanza caldo"). Questi sono valori continui (da 0 a 1). Ma noi umani pensiamo in modo "duro e deciso" (o "sale" o "no sale", 0 o 1).
I vecchi metodi provavano a forzare questa traduzione: "Se il sale è sopra 0.5, allora è 'sale'".
Il problema? A volte, due piatti quasi identici (uno con sale 0.49 e uno con 0.51) venivano tradotti in ricette opposte. Il robot diceva "è sale" per uno e "non è sale" per l'altro, anche se la differenza era minima. La spiegazione diventava bugiarda.

2. La nuova mappa: Il "Funzionario Spiegatore"

Gli autori introducono un nuovo personaggio: il Funzionario Spiegatore (in termini tecnici: Explaining Functor).
Immagina questo funzionario come un architetto di ponti. Il suo compito non è solo tradurre, ma garantire che la struttura del ponte sia solida.

• Se il robot fa un passaggio A, poi un passaggio B, e poi un passaggio C...
• Il funzionario si assicura che la spiegazione del passaggio A + la spiegazione del passaggio B + la spiegazione del passaggio C = la spiegazione dell'intero viaggio.

In parole povere: se spieghi ogni singolo pezzo del ragionamento del robot, l'insieme di tutte le spiegazioni deve raccontare una storia logica e coerente, senza contraddizioni.

3. Come fanno a evitare le bugie? (I "Filtri Coerenti")

Il paper dice che non tutte le ricette del robot possono essere tradotte perfettamente in una ricetta umana senza perdere qualcosa.

• Il trucco: Se la ricetta del robot è troppo "strana" per essere tradotta direttamente, il funzionario non mente. Invece, aggiunge un nuovo ingrediente alla lista o modifica leggermente la ricetta per renderla "traducibile".
• Analogia: Se il robot dice "Ho messo un po' di sale e un po' di pepe insieme in modo strano", e questo non ha senso per noi, il funzionario dice: "Ok, per spiegartelo, dobbiamo aggiungere una nota: 'Attenzione, qui il sale e il pepe interagiscono in modo speciale'". In questo modo, la spiegazione rimane fedele alla realtà, anche se diventa un po' più complessa.

Cosa hanno scoperto con gli esperimenti?

Hanno fatto due esperimenti, come due prove di cucina:

1. La ricetta semplice (XOR): Un compito dove il robot è già "coerente". Qui, le spiegazioni sono state perfette, logiche e senza errori.
2. La ricetta difficile (OR Fuzzy): Un compito dove il robot è "confuso" e le vecchie spiegazioni fallivano.
   • Senza il nuovo metodo: Le spiegazioni dicevano cose assurde (es. "Il piatto è buono perché non hai messo il sale" quando invece il sale c'era).
   • Con il nuovo metodo (il Funzionario): Hanno aggiunto quel piccolo "ingrediente extra" (una variabile di correzione) e improvvisamente la spiegazione è diventata fedele e logica. Hanno ottenuto spiegazioni che spiegavano davvero cosa stava succedendo, anche nelle zone più difficili.

In sintesi: Perché è importante?

Prima, le spiegazioni dell'AI erano come carte geografiche disegnate da bambini: potevano sembrare carine, ma se ci camminavi sopra, ti perdevi perché i sentieri non corrispondevano alla realtà.

Questo paper ci dà una bussola matematica. Ci assicura che:

1. Le spiegazioni non si contraddicono tra loro.
2. Se uniamo le spiegazioni di piccole parti, otteniamo la spiegazione giusta per il tutto.
3. Possiamo fidarci di ciò che l'AI ci dice, perché la spiegazione è costruita sulle stesse fondamenta logiche del ragionamento dell'AI.

È un passo avanti per rendere l'Intelligenza Artificiale non solo "intelligente", ma anche trasparente e onesta con noi umani.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Logic Explanation of AI Classifiers by Categorical Explaining Functors" in italiano.

Titolo

Spiegazione Logica dei Classificatori AI tramite Funtori Spieganti Categoriali

1. Il Problema

L'Intelligenza Artificiale Spiegabile (XAI) si concentra spesso su tecniche post-hoc che estraggono spiegazioni da modelli pre-addestrati opachi. Sebbene i metodi più avanzati possano generare spiegazioni sotto forma di regole logiche che catturano le interazioni tra le feature di input, questi approcci presentano una criticità fondamentale: mancanza di coerenza logica e fedeltà.

Il problema principale è che l'estrazione di regole discrete da modelli continui (come le reti neurali) spesso non garantisce che la spiegazione sia coerente con il ragionamento sottostante del modello.

• Incoerenza: Regole estratte possono contraddire il comportamento del modello originale (es. la stessa regola logica che spiega due input diversi portando a classi opposte).
• Mancanza di Composizione: Nei modelli profondi (deep learning), le spiegazioni estratte dai singoli layer non si compongono necessariamente in una spiegazione globale coerente. Le spiegazioni post-hoc attuali non rispettano la composizione funzionale, portando a spiegazioni fuorvianti o inaffidabili.

2. Metodologia

Gli autori propongono un approccio teoricamente fondato sulla Teoria delle Categorie per garantire coerenza e fedeltà nelle spiegazioni. L'idea centrale è trattare le spiegazioni non come semplici approssimazioni euristica, ma come morfismi che preservano la struttura logica tra il modello continuo e la sua rappresentazione booleana.

Concetti Chiave:

• Funzioni $\delta$-coerenti: Viene introdotta una classe speciale di funzioni fuzzy (continue) chiamate $\delta$-coerenti. Una funzione $f$ è $\delta$-coerente se la proiezione del suo output ($\delta \circ f$) è uguale alla proiezione applicata dopo aver proiettato l'input ($\delta \circ f \circ \delta$). Questo garantisce che la logica booleana estratta sia consistente con il comportamento continuo.
• La Categoria $\delta$-COH: Viene definita una categoria di funzioni $\delta$-coerenti, chiusa rispetto alla composizione.
• Il Funttore Spiegante ($F_\delta$): Viene introdotto un funttore che mappa la categoria delle funzioni $\delta$-coerenti ($C_\delta$) alla categoria delle funzioni booleane ($B$). Questo funttore preserva strutturalmente l'implicazione logica, assicurando che la composizione delle spiegazioni nei singoli layer corrisponda alla spiegazione del modello composto.
• Estensione ai Modelli Non-Coerenti: Poiché non tutte le funzioni fuzzy sono naturalmente $\delta$-coerenti, gli autori definiscono una nuova categoria di "funzioni fuzzy quoziente" ($C_{(\delta, \Gamma)}$). Utilizzando una funzione di correzione $\Gamma$, ogni funzione fuzzy (anche non coerente) viene associata a una funzione $\delta$-coerente unica all'interno di una classe di equivalenza. Questo permette di definire un funttore composto che genera spiegazioni coerenti anche per modelli complessi e non coerenti.

3. Contributi Chiave

1. Identificazione di Categorie Coerenti: Gli autori identificano categorie di funzioni le cui spiegazioni booleane sono, per progettazione, consistenti e combinabili.
2. Definizione del Funttore Spiegante: Viene formalizzato un funttore che associa formule logiche a funzioni fuzzy basate su concetti, garantendo la preservazione della struttura logica.
3. Generalizzazione Teorica: Viene sviluppato un framework per estendere la spiegazione a funzioni non coerenti attraverso l'uso di categorie quoziente e funzioni di correzione ($\Gamma$), risolvendo il problema della non-componibilità delle spiegazioni post-hoc tradizionali.
4. Validazione Sperimentale: Dimostrazione pratica su benchmark sintetici che l'approccio teorico mitiga significativamente la generazione di spiegazioni contraddittorie.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due scenari utilizzando Logic Explained Networks (LEN):

1. Funzione Coerente (XOR): Il modello ha appreso una funzione naturalmente $\delta$-coerente.
   • Risultati: Accuratezza quasi perfetta (95.5% su test) e spiegazioni FOL (Logica del Primo Ordine) altamente fedeli (94.8%). Le spiegazioni sono state logicamente consistenti.
2. Funzione Non Coerente (OR Fuzzy / Łukasiewicz t-conorm): Il modello ha appreso una funzione intrinsecamente non coerente nella regione di confine decisionale.
   • Problema: Senza correzioni, l'accuratezza era alta (88.4%), ma la fedeltà della spiegazione era bassa (67.1%) e le spiegazioni erano incoerenti (es. tautologie o regole errate).
   • Soluzione Applicata: È stato applicato il funttore esteso (tramite Teoremi 3 e 4) che ha corretto l'output aggiungendo una feature di "non-coerenza" ($nc$).
   • Risultati: La fedeltà della spiegazione è migliorata drasticamente (da 67.1% a 83.8%), generando regole logiche che descrivono correttamente il comportamento del modello anche nelle zone critiche.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti fondamentale verso l'XAI rigorosa:

• Rigor Matematico: Sposta il campo dall'uso di euristiche a una teoria matematica solida basata sulla teoria delle categorie, garantendo che le spiegazioni siano non solo leggibili, ma logicamente valide.
• Composizionalità: Risolve il problema della coerenza nei modelli profondi, assicurando che la spiegazione di un sistema complesso sia la composizione corretta delle spiegazioni dei suoi componenti.
• Affidabilità: Dimostra che è possibile correggere post-hoc le spiegazioni di modelli non coerenti, rendendo l'XAI applicabile anche a scenari dove la logica booleana non è intrinseca al modello, ma deve essere derivata in modo strutturato.
• Futuro: Apre la strada all'applicazione di questi metodi su dati sub-simbolici (come le immagini) e all'integrazione di diversi metodi XAI (es. LIME, mappe di salienza) sotto un'unica struttura categoriale.

In sintesi, il paper propone un framework che trasforma l'estrazione di spiegazioni da un processo di "approssimazione" a un processo di "preservazione strutturale", garantendo che ciò che il modello "dice" (spiegazione) corrisponda esattamente a ciò che il modello "fa" (comportamento).