Conceptual Views of Neural Networks: A Framework for Neuro-Symbolic Analysis

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere una scatola nera magica, un'intelligenza artificiale che guarda le foto e dice: "Questa è una mela", "Quello è un cane". Funziona benissimo, ma nessuno sa perché. È come se un cuoco ti desse un piatto delizioso ma non volesse mai dirti gli ingredienti o la ricetta.

Questo paper, scritto da Johannes Hirth e Tom Hanika, propone un modo per aprire quella scatola nera e guardare dentro, non per smontarla pezzo per pezzo, ma per capire la "logica" che usa. Lo chiamano "Conceptual Views" (Viste Concettuali).

Ecco come funziona, spiegato in modo semplice:

1. La Metafora del "Traduttore Universale"

Pensa alla rete neurale come a un dizionario segreto.

L'Input: Tu dai un'immagine (es. una mela).
Il Cervello: La rete neurale la trasforma in una serie di numeri complessi (attivazioni dei neuroni) che per noi sono incomprensibili.
L'Output: La rete dice "Mela".

Il problema è che quei numeri intermedi sono un linguaggio alieno. Gli autori dicono: "Facciamo un ponte tra quel linguaggio alieno e il nostro linguaggio umano".

2. I Due Strumenti Magici

Per fare questo ponte, usano due strumenti matematici (basati su una teoria chiamata Analisi dei Concetti Formali), che immaginiamo come due lenti diverse:

A. La Lente "Realistica" (Many-Valued View)

Immagina di prendere la rete neurale e di creare una mappa di distanze.

Invece di guardare i numeri grezzi, chiediamo: "Quanto è simile questa mela a un'altra mela nello spazio mentale della rete?" e "Quanto è simile la rete a dire 'mela' rispetto a dire 'pera'?".
È come se prendessimo tutte le foto e le mettessimo in una stanza gigante dove la distanza tra due oggetti dipende da quanto la rete li considera simili.
Risultato: Hanno scoperto che questa mappa è così precisa che puoi usare una semplice regola ("se è vicino a una mela, allora è una mela") per imitare quasi perfettamente la rete neurale originale. È come se avessi trovato la "fotocopia perfetta" della mente della rete, ma in una forma più ordinata.

B. La Lente "Simbolica" (Symbolic View)

Qui diventa ancora più divertente. Prendiamo quella mappa complessa e la trasformiamo in una lista di regole Sì/No.

Invece di dire "il neurone 42 ha valore 0.73", diciamo: "Il neurone 42 è ACCESO (Sì) o SPENTO (No)".
È come trasformare un quadro astratto colorato in un disegno a tratteggio nero e bianco.
Il Trucco: Per far funzionare bene questo passaggio, gli autori hanno scoperto che le reti neurali che usano certe funzioni matematiche (come la Tanh, che può dare numeri positivi e negativi) sono molto più facili da tradurre in regole umane rispetto a quelle che usano solo numeri positivi (come la ReLU). È come se la Tanh parlasse un linguaggio più "bilanciato" e facile da capire.

3. Cosa Otteniamo? (La Magia Finale)

Una volta tradotto tutto in regole Sì/No, possiamo fare cose incredibili:

Capire la Gerarchia: Possiamo vedere come la rete raggruppa le cose. Ad esempio, la rete potrebbe aver imparato che "Tutte le mele rosse" e "Tutte le pere rosse" condividono una caratteristica comune (sono rosse), ma poi si separano perché le mele hanno un gambo diverso.
Scoprire Regole Umane: Possiamo chiedere alla rete: "Perché hai pensato che questo fosse un'arancia?". E la rete, grazie a questa traduzione, può rispondere: "Perché è rotonda, ha la buccia ruvida e non è verde".
Confrontare le Reti: Possiamo misurare quanto due diverse intelligenze artificiali sono "simili" nel modo in cui pensano, anche se hanno architetture diverse. È come confrontare due chef diversi guardando non i loro coltelli, ma il modo in cui organizzano i loro ingredienti.

4. Perché è Importante?

Fino a oggi, per capire le reti neurali, dovevamo guardare "pezzi" della foto (dove la rete guarda) o fare ipotesi. Questo metodo invece guarda l'intera mente della rete e la trasforma in un albero decisionale logico che un essere umano può leggere e capire.

In sintesi:
Gli autori hanno creato un traduttore che prende il pensiero confuso e matematico di un'intelligenza artificiale e lo riscrive come una lista di regole chiare e logiche, permettendoci di dire: "Ah, ecco perché la macchina ha fatto quella scelta! Ha seguito questa regola".

È un passo enorme per rendere l'Intelligenza Artificiale non solo potente, ma anche trasparente e affidabile, specialmente quando le decisioni riguardano cose importanti (come la medicina o la guida autonoma).

Each language version is independently generated for its own context, not a direct translation.

Titolo: Conceptual Views of Neural Networks: A Framework for Neuro-Symbolic Analysis

Autori: Johannes Hirth e Tom Hanika (Università di Kassel e Università di Hildesheim, Germania)

1. Il Problema

Le Reti Neurali (NN) eccellono in compiti di apprendimento automatico, ma operano spesso come "scatole nere", offrendo scarse spiegazioni umane delle loro decisioni. Esiste una tensione fondamentale tra l'accuratezza dei modelli e la loro interpretabilità.

Limitazioni delle spiegazioni locali: Metodi come le mappe di salienza (saliency maps) o l'evidenziazione delle attivazioni sono efficaci per dati piatti (es. immagini) ma falliscono su dati ad alta dimensionalità o complessi dove l'ispezione visiva umana non è fattibile.
Carenza di spiegazioni globali: Gli approcci per caratterizzare il modello nel suo insieme (spiegazioni globali) sono intrinsecamente più difficili e meno esplorati, ma essenziali per una comprensione completa.
Necessità di un ponte Neuro-Simbolico: C'è un bisogno di framework che traducano le rappresentazioni interne delle reti neurali (spazi vettoriali continui) in strutture simboliche e logiche comprensibili all'uomo, senza richiedere la ridisegnazione architetturale del modello (approccio post-hoc).

2. Metodologia: Le "Conceptual Views" (Viste Concettuali)

Gli autori propongono un framework formale basato sull'Analisi dei Concetti Formali (FCA - Formal Concept Analysis) per analizzare globalmente le reti neurali. L'approccio si concentra sullo spazio di embedding, specificamente sugli output dell'ultimo strato nascosto.

Il framework si articola in due rappresentazioni complementari:

A. Vista Concettuale a Valori Multipli (Many-Valued Conceptual View)

Questa vista cattura la struttura delle attivazioni reali e dei pesi come una coppia di matrici:

Object View ( $O$ ): Una matrice dove ogni riga rappresenta un oggetto di input $g$ e ogni colonna un neurone $n_j$ dell'ultimo strato nascosto. Il valore è l'attivazione $n_j(g)$ .
Class View ( $W$ ): Una matrice dove ogni riga rappresenta una classe $c_i$ e ogni colonna un neurone $n_j$ . Il valore è il peso $w_{i,j}$ che collega il neurone alla classe.

Spazio Pseudo-Metrico: Queste viste inducono uno spazio pseudo-metrico su oggetti e classi. La classificazione può essere reinterpretata come una misura di similarità (es. similarità del coseno o distanza euclidea) tra la rappresentazione di un oggetto e quella di una classe nello stesso spazio.
Similarità tra Architetture: Viene utilizzata la distanza di Gromov-Wasserstein (GW) per confrontare le viste concettuali di diverse reti neurali. A differenza di metodi come CKA (Centered Kernel Alignment) che confrontano direttamente le matrici di attivazione, la GW confronta gli spazi metrici indotti, permettendo di identificare cluster di architetture simili anche con ordinamenti interni diversi dei neuroni.

B. Vista Concettuale Simbolica (Symbolic Conceptual View)

Questa vista discretizza la struttura a valori multipli utilizzando la Teoria della Scalatura Concettuale (Conceptual Scaling) della FCA:

Discretizzazione: Vengono applicate soglie ( $\delta_O$ per le attivazioni degli oggetti e $\delta_W$ per i pesi delle classi) per trasformare i valori continui in attributi binari.
Attributi Simbolici: Per ogni neurone $n$ $n$ , si creano due attributi simbolici:
- $n_{\ge \delta}$ : Il neurone è attivo sopra la soglia.
- $n_{\le \delta}$ : Il neurone è attivo sotto la soglia (o inattivo).
Contesto Formale: Il risultato è un contesto formale binario $(G, M, I)$ che può essere analizzato per generare un Reticolo di Concetti (Concept Lattice). Questo reticolo rappresenta la gerarchia concettuale appresa dalla rete.

C. Apprendimento Abduttivo e Ontologie

La vista simbolica permette di integrare conoscenza di background (es. tassonomie biologiche, attributi visivi descrittivi) per derivare regole comprensibili.

Si costruisce un'interpretazione simbolica che collega i neuroni a concetti umani (es. "frutto rosso", "forma rotonda").
Tramite tecniche di Subgroup Discovery, si estraggono regole logiche (implicazioni proposizionali) che spiegano quali neuroni si attivano per certi concetti e viceversa.

3. Contributi Chiave

Framework Formale Globale: Introduzione delle "Conceptual Views" come metodo rigoroso per l'analisi globale delle NN, basato su algebra e FCA, senza bisogno di autoencoder o metodi opachi aggiuntivi.
Misura di Similarità Architetturale: Dimostrazione che la distanza di Gromov-Wasserstein applicata alle viste concettuali fornisce una misura di similarità significativa tra diverse architetture di reti neurali, superando i limiti dei metodi basati su allineamento di kernel.
Traduzione Neuro-Simbolica: Capacità di trasformare rappresentazioni vettoriali continue in contesti formali binari, abilitando l'uso di strumenti di ragionamento simbolico (logica descrittiva, estrazione di regole) su modelli neurali pre-addestrati.
Indipendenza dai Concetti Predefiniti: A differenza dei Concept Bottleneck Models (CBM), questo approccio non richiede la definizione manuale di concetti durante l'addestramento, ma li scopre post-hoc.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 24 modelli ImageNet e sul dataset Fruits-360.

Fedeltà della Vista a Valori Multipli:
- Le viste a valori multipli fungono da surrogate fedeli dei modelli originali.
- Un classificatore 1-NN basato sullo spazio pseudo-metrico indotto dalla vista concettuale raggiunge un'alta fedeltà (fino al 99.9% su modelli EfficientNet) rispetto alla rete originale.
- La distanza euclidea si è dimostrata generalmente superiore alla similarità del coseno, specialmente per modelli come ResNet.
Analisi di Similarità:
- La mappa di similarità basata su Gromov-Wasserstein rivela cluster di modelli che corrispondono a famiglie architetturali simili (es. VGG, ResNet, EfficientNet), offrendo una visione più ricca rispetto alla semplice fedeltà di classificazione a coppie.
Vista Simbolica e Attivazioni:
- Funzione di Attivazione: L'uso di Tanh si è rivelato superiore a ReLU per la scalatura dicotomica. ReLU, avendo un codominio positivo, rende difficile definire attributi negativi significativi ( $\bar{N}$ ), portando a una bassa fedeltà nella vista simbolica. Tanh, con la sua simmetria, permette una separazione netta a $\delta=0$ .
- Fedeltà Simbolica: Con Tanh e $\delta=0$ , le viste simboliche raggiungono una fedeltà del 97-98% (vs 99% della vista a valori multipli) e permettono una separazione perfetta delle classi (Class Separation = 1.0).
- Interpretabilità: I classificatori basati su alberi decisionali, che falliscono sulla vista a valori multipli, ottengono risultati competitivi sulla vista simbolica, dimostrando che la traduzione simbolica rende i dati adatti a classificatori intrinsecamente interpretabili.
Analisi del Reticolo e Regole:
- I reticoli di concetti generati sono grandi (milioni di concetti per architetture grandi), ma permettono di analizzare le dipendenze gerarchiche.
- L'uso di conoscenza di background (es. tassonomia dei frutti) ha permesso di derivare regole come: "Se i neuroni 13, 14 e 9 sono attivi, allora il frutto è arancione con confidenza ~0.54".

5. Significato e Implicazioni

Questo lavoro fornisce un ponte teorico e pratico tra l'Intelligenza Artificiale Neurale e quella Simbolica.

Spiegabilità Globale: Offre un metodo per comprendere cosa una rete ha imparato a livello di conoscenza strutturata, non solo perché ha preso una decisione specifica per un input.
Analisi di Architetture: Fornisce nuovi strumenti matematici (GW distance su spazi concettuali) per confrontare e selezionare modelli in base alla struttura della conoscenza appresa, non solo alla performance.
Scalabilità e Limiti: Sebbene i reticoli possano diventare esponenzialmente grandi, l'approccio permette l'analisi computazionale (es. implicazioni) senza materializzare l'intero reticolo. Le limitazioni attuali includono la dipendenza da architetture feed-forward e la necessità di conoscenza di background esterna per l'interpretazione semantica.

In sintesi, il paper dimostra che è possibile "decomporre" una rete neurale in una struttura algebrica formale che preserva la sua funzionalità predittiva mentre ne rivela la logica interna in termini di concetti e relazioni, aprendo la strada a sistemi di IA più trasparenti e verificabili.