VISIONLOGIC: From Neuron Activations to Causally Grounded Concept Rules for Vision Models

Each language version is independently generated for its own context, not a direct translation.

Immagina che le Intelligenze Artificiali (come quelle che riconoscono le foto dei tuoi gatti o delle auto) siano come cassette nere magiche. Sai cosa ci metti dentro (una foto) e sai cosa ne esce (es: "È un cane"), ma non sai perché hanno preso quella decisione. Spesso, queste "scatole nere" prendono decisioni basate su coincidenze strane (ad esempio, pensano che un animale sia un cane solo perché c'è dell'erba verde sotto, non perché riconoscono il cane).

Il paper VISIONLOGIC è come un detective che entra nella cassetta nera per capire davvero come funziona la mente dell'AI, ma con un approccio speciale: non si fida delle "indizi" superficiali, ma cerca le prove causali.

Ecco come funziona, passo dopo passo, usando delle analogie:

1. Il Problema: "Correlazione" vs. "Causa"

Fino a poco tempo fa, i metodi per spiegare l'AI erano come guardare le impronte digitali lasciate da un ladro. Se vedi un'impronta vicino al vaso rotto, pensi: "Ah, è stato lui!". Ma forse l'impronta c'era da prima, o forse il vaso è rotto per un'altra ragione.

Il vecchio modo: "Vedo che quando c'è l'erba, l'AI pensa 'cane'. Quindi l'erba è importante." (Falso! È solo una coincidenza nei dati di addestramento).
Il modo VISIONLOGIC: "Facciamo un esperimento. Togliamo l'erba. L'AI pensa ancora 'cane'? Se sì, l'erba non è la causa. Se no, allora l'AI sta guardando qualcos'altro."

2. La Soluzione: VISIONLOGIC (Il Traduttore Logico)

VISIONLOGIC è un sistema che traduce il linguaggio complicato dei neuroni dell'AI in regole logiche semplici, come se fosse un manuale di istruzioni scritto da un umano. Funziona in tre fasi:

Fase 1: Tradurre i "Neuroni" in "Interruttori"

L'AI ha milioni di piccoli neuroni che si accendono e spengono. VISIONLOGIC prende questi segnali e li trasforma in interruttori on/off (chiamati "predicati").

Analogia: Immagina un'orchestra con 1000 musicisti. Invece di ascoltare il caos, VISIONLOGIC dice: "Ok, quando il violino 1 suona forte, accendiamo l'interruttore A. Quando il flauto 2 suona, accendiamo l'interruttore B".
Invece di dire "Il neurone è attivo al 73%", dice: "L'interruttore 'C' è ON".

Fase 2: Scrivere la "Ricetta" (Regole Logiche)

Una volta che ha questi interruttori, VISIONLOGIC scrive delle regole logiche per capire come l'AI decide.

Esempio di regola: "SE (Interruttore 'Orecchie a punta' è ON) E (Interruttore 'Coda folta' è ON) ALLORA = 'Volpe'".
Queste regole sono come una ricetta di cucina: se segui i passaggi, ottieni lo stesso risultato della cassetta nera.

Fase 3: La Prova del Fuoco (Validazione Causale)

Questa è la parte più geniale. VISIONLOGIC non si limita a guardare la foto. Fa esperimenti.

Prende una foto di una volpe.
Prende un pennello digitale e cancella (o "abbaglia") la parte dell'immagine dove si trova l'orecchio.
Chiede all'AI: "Ora che l'orecchio non c'è, pensi ancora che sia una volpe?"
Se l'AI cambia idea e dice "No, non è una volpe", allora VISIONLOGIC ha la prova causale: "Aha! L'orecchio è fondamentale per la decisione!".
Se l'AI continua a dire "Volpe" anche senza l'orecchio, allora l'AI stava guardando qualcos'altro (magari il colore della pelliccia) e VISIONLOGIC aggiorna la regola.

3. Perché è così importante?

Immagina di voler capire perché un medico AI ti ha diagnosticato una malattia.

Metodi vecchi: Ti dicono "Guarda, qui c'è una macchia rossa sulla pelle". Ma forse la macchia rossa c'è sempre, anche nelle persone sane.
VISIONLOGIC: Ti dice: "L'AI ha deciso che sei malato perché ha visto la macchia rossa E la febbre alta. Se togliamo la febbre, l'AI smette di preoccuparsi. Quindi la febbre è la vera causa."

I Risultati nella vita reale

Gli autori hanno fatto degli esperimenti con persone vere:

Hanno mostrato a delle persone foto di animali (es. Husky vs. Lupo) con spiegazioni diverse.
Le persone che hanno usato le spiegazioni di VISIONLOGIC sono diventate molto più brave a indovinare cosa avrebbe pensato l'AI, rispetto a chi usava i metodi vecchi.
Hanno dimostrato che VISIONLOGIC funziona sia con le vecchie reti neurali (CNN) che con quelle moderne (come i Transformer), mantenendo quasi la stessa precisione dell'AI originale.

In sintesi

VISIONLOGIC è come un traduttore onesto che entra nella mente di un'AI, smette di fidarsi delle coincidenze, fa esperimenti pratici ("Cosa succede se tolgo questo?") e ti restituisce una lista di regole chiare e vere: "L'AI pensa che sia un cane perché vede le orecchie, la coda e il muso, e non perché vede l'erba."

Questo ci aiuta a fidarci di più delle macchine, specialmente quando le decisioni sono importanti (come in medicina o nella guida autonoma), perché ci dà la verità, non solo un'ipotesi.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

I modelli di visione artificiale basati sul deep learning (come CNN e Vision Transformers - ViT) hanno raggiunto prestazioni eccezionali, ma rimangono "scatole nere", ostacolando l'adozione di AI affidabile in contesti ad alto rischio.
Sebbene le spiegazioni basate sui concetti (che mappano le attivazioni interne a concetti semantici umani, come "orecchie" o "cielo") siano superiori alle mappe di attribuzione locale (es. Grad-CAM), le metodologie esistenti (es. TCAV, ACE, CRAFT) soffrono di un limite fondamentale: si basano quasi esclusivamente su evidenze correlazionali.
Questo significa che identificano concetti che co-occorrono statisticamente con una classe (es. "pascolo" e "mucca"), ma non validano se tali concetti siano causalmente responsabili della decisione del modello. Di conseguenza, le spiegazioni possono essere fuorvianti o non fedeli al vero processo decisionale del modello.

2. Metodologia: Il Framework VISIONLOGIC

VISIONLOGIC è un nuovo framework neuro-simbolico che genera spiegazioni gerarchiche e fedeli sotto forma di regole logiche globali basate su concetti validati causalmente. Il processo avviene in tre fasi principali:

A. Derivazione di Predicati dalle Attivazioni dei Neuroni

Il sistema trasforma le attivazioni continue dei neuroni in predicati binari ( $p_j(x) \in \{0, 1\}$ ) che fungono da "atomi logici".

Apprendimento delle Soglie: Invece di usare soglie fisse, il modello apprende dinamicamente soglie di attivazione ( $T_j$ ) e parametri di "sharpness" ( $s_j$ ) per ciascun canale.
Predicati Rank-Aware: Per gestire la polisemanticità (lo stesso neurone che risponde a più concetti), vengono definiti predicati basati sul rango del contributo del canale. Un predicato è attivo se il contributo del canale è tra i primi $k$ (es. $k=1, 2, 3$ ) e supera la soglia appresa.
Obiettivo di Apprendimento: Un "head" lineare leggero viene addestrato per distillare le previsioni del modello originale (teacher) usando i predicati, regolarizzando per mantenere un insieme di predicati compatto e stabile.

B. Induzione di Regole Logiche Globali

Una volta appreso il vocabolario di predicati, il sistema induce regole logiche simboliche per spiegare le decisioni a livello di classe.

Regole DNF: Per ogni classe, vengono costruite clausole congiuntive che descrivono i pattern di predicati attivi nelle immagini corrette.
Punteggio di Inferenza: Viene definito un punteggio basato sul rango ( $S(x, c)$ ) che misura quanto i predicati attivi su un'immagine di test corrispondono al profilo caratteristico di una classe. La classe predetta è quella con il punteggio minimo (migliore corrispondenza).
Questo approccio permette di ottenere regole globali che approssimano il comportamento del modello originale senza utilizzare i pesi della rete neurale durante l'inferenza.

C. Grounding Causale dei Concetti Visivi

Questa è la fase innovativa che distingue VISIONLOGIC dai metodi precedenti. Il sistema collega i predicati astratti a regioni visive concrete attraverso test causali basati sull'ablazione.

Localizzazione Iniziale: Si parte da una bounding box (inizializzata dalle mappe di attivazione per le CNN o dalla griglia dei patch per i ViT).
Raffinamento Iterativo: La regione viene perturbata (con rumore casuale o sfocatura) e si verifica se l'attivazione del predicato cambia da vero a falso. Se l'ablazione disattiva il predicato, la regione è causalmente necessaria.
Algoritmo di Ottimizzazione: Un algoritmo iterativo restringe la bounding box finché non si trova la regione minima necessaria a mantenere l'attivazione.
Validazione con Segmentazione: Per una maggiore precisione, le regioni vengono intersecate con maschere di segmentazione (usando modelli come SAM o Mask R-CNN) e la causalità viene ri-verificata.
Consolidamento: Le regioni validate su più immagini della stessa classe vengono aggregate per formare concetti visivi coerenti e causalmente fondati.

3. Contributi Chiave

Primo Framework Neuro-Simbolico Causale: VISIONLOGIC è il primo sistema a fornire sia concetti validati causalmente che spiegazioni sotto forma di regole logiche globali per modelli di visione su larga scala.
Validazione Causale Rigorosa: Supera il limite delle correlazioni spurie utilizzando test di ablazione iterativi e raffinamento delle regioni per garantire che i concetti scoperti siano effettivamente la causa dell'attivazione del predicato.
Generalizzazione Architetturale: Il metodo funziona efficacemente su architetture diverse, sia CNN (es. ResNet, ConvNeXt) che Vision Transformers (ViT, Swin), adattandosi alle diverse induttive bias (es. convoluzione vs attenzione).
Valutazione Umano-Centrica: Dimostra attraverso studi su larga scala che le spiegazioni causali migliorano significativamente la comprensione del comportamento del modello da parte degli esseri umani rispetto agli stati dell'arte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet-1k e valutati sia tecnicamente che tramite studi umani.

Performance Predittiva: VISIONLOGIC mantiene la potenza discriminativa del modello originale. Su immagini "coperte" (dove le regole sono applicabili), ottiene un'accuratezza Top-5 superiore al 90% su ResNet, ConvNeXt e ViT, preservando la fedeltà (fidelity) tra il 75% e l'88%.
Valutazione Umana (Human Evaluation): In uno studio con 531 partecipanti su tre scenari (rilevamento di bias, identificazione di strategie non ovvie, analisi di fallimenti), VISIONLOGIC ha ottenuto punteggi di utilità significativamente superiori rispetto a metodi come ACE, CRAFT e mappe di salienza.
- Gli utenti hanno imparato a prevedere il comportamento del modello con maggiore accuratezza quando guidati dalle spiegazioni di VISIONLOGIC.
- Le differenze statistiche sono state confermate tramite test non parametrici (Kruskal-Wallis e Dunn's test), dimostrando che i concetti causalmente validati offrono informazioni più azionabili.
Analisi Qualitativa: I concetti scoperti (es. "testa di scoiattolo", "orecchie di volpe", "tetti di chiese") sono coerenti e interpretabili. Il sistema ha anche rivelato che i predicati possono catturare strutture globali (l'intero oggetto) o essere polisemantici (lo stesso predicato per "orecchie di volpe" e "tetti di chiesa" a causa della geometria triangolare).

5. Significato e Impatto

VISIONLOGIC rappresenta un passo fondamentale verso l'AI affidabile (Trustworthy AI) colmando il divario tra le rappresentazioni neurali complesse e il ragionamento causale umano.

Affidabilità: Fornendo spiegazioni basate sulla causalità e non sulla correlazione, riduce il rischio di interpretazioni errate dovute a bias nei dati.
Interpretabilità Azionabile: Le regole logiche globali offrono una comprensione strutturata del modello, utile per il debugging, l'audit etico e l'identificazione di fallimenti sistematici.
Futuro: Il lavoro apre la strada all'uso di regole simboliche per migliorare la generalizzazione e la robustezza dei modelli di visione, suggerendo che l'integrazione di ragionamento simbolico e rappresentazioni neurali è una direzione promettente per l'IA del futuro.

In sintesi, VISIONLOGIC trasforma le attivazioni interne dei neuroni in regole logiche comprensibili e causalmente verificate, offrendo un livello di trasparenza precedentemente irraggiungibile per i moderni modelli di visione artificiale.