🤖 machine learning

Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses

Questo articolo introduce DECAF, un nuovo framework che decompone le spiegazioni dei modelli basate su perturbazione in componenti distinte di evidenza, contraddizione e fragilità, dimostrando che questo approccio consapevole della traiettoria supera significativamente i metodi di attribuzione tradizionali basati sulla magnitudo in termini di accuratezza, efficienza e interpretabilità in diversi compiti di visione e tabulari.

Autori originali: Lei You

Pubblicato 2026-08-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Lei You

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire perché un tuo amico abbia fatto una scelta specifica, come scegliere una maglietta rossa invece di una blu. Potresti chiedere: "Quanto ha reagito al colore?". Se ha afferrato la maglietta rossa istantaneamente, diresti: "Wow, che grande reazione!". Ma ecco la parte complicata: una grande reazione non significa sempre la stessa cosa. Magari adorava la maglietta rossa (un buon motivo). Magari odiava così tanto la maglietta blu che ha preso quella rossa solo per allontanarsi da quest'ultima (un cattivo motivo). O forse ha preso la maglietta rossa perché era confuso, solo per rendersi conto a metà strada che in realtà preferiva quella blu fin dall'inizio (una reazione fugace e fragile).

Questo è il mondo della "spiegabilità dell'IA" (AI explainability), un campo in cui gli scienziati cercano di sbirciare dentro la "scatola nera" dei modelli informatici per vedere cosa stanno pensando. Per molto tempo, lo strumento principale è stato misurare l' "ampiezza" di una reazione — fondamentalmente, quanto fosse grande il cambiamento nella risposta dell'IA quando si modificava l'input. È come misurare quanto forte sbatte una porta. Ma come sottolinea questo nuovo articolo, sapere che la porta ha sbattuto forte non dice se sia stata sbattuta con rabbia, con gioia o da una folata di vento che non era nemmeno rimasta ferma. L'autore, guidato da Lei You della Technical University of Denmark, sostiene che abbiamo ignorato il significato dietro il rumore, e ha costruito un nuovo modo per distinguerlo.

Il documento presenta un metodo chiamato DECAF (che sta per Decomposizione di Evidenza, Contraddizione e Fragilità). Pensa a DECAF come a un detective super intelligente che non si limita ad ascoltare quanto forte sia sbattuta la porta, ma osserva l'intera storia di come la persona si sia avvicinata alla porta.

Ecco come funziona DECAF, usando una storia semplice: Immagina di guardare un trucco di magia in cui un mago trasforma un Re in una Regina.

Evidenza (Evidence): Mentre il mago rivela la carta, se il cambiamento sembra costruire verso il risultato finale (la Regina), DECAF lo chiama Evidenza. È la parte della reazione che supporta la decisione finale.
Contraddizione (Contradiction): A volte, la carta potrebbe sembrare un Re per un istante, poi una Regina, poi di nuovo un Re, prima di stabilizzarsi finalmente su una Regina. Se la reazione va contro il risultato finale in qualsiasi momento, DECAF la chiama Contraddizione. È come se l'IA dicesse: "Aspetta, pensavo fosse un Re!" prima di cambiare idea.
Fragilità (Fragility): Infine, immagina che il mago mostri una carta che sembra una Regina, ma se guardi da vicino alla fine, è solo un pezzo di carta bianco. La carta sembrava cambiare, ma il risultato finale è stato "nulla". Se l'IA reagisce fortemente durante il trucco ma la risposta finale è praticamente zero, DECAF lo chiama Fragilità. È una reazione che esiste solo a causa del percorso seguito, non a causa di una reale differenza.

L'autore ha testato questa idea in diversi modi. Per prima cosa, ha creato videogiochi e puzzle controllati dove sapeva esattamente cosa l'IA dovrebbe fare. Ha scoperto che DECAF poteva individuare quando un'IA si affidava a una "scorciatoia" (come indovinare in base al colore dello sfondo) rispetto all'oggetto reale. Se l'IA stava usando una scorciatoia, il punteggio di "Evidenza" di DECAF corrispondeva perfettamente a quel comportamento. Se l'IA era confusa o stava cambiando idea, il punteggio di "Contraddizione" aumentava bruscamente.

Poi, ha portato questo approccio nel mondo reale con un test massiccio che coinvolgeva 72 diversi modelli di IA che osservavano immagini dal dataset ImageNet-9 (una collezione di foto con diversi sfondi). Hanno confrontato i casi in cui l'IA aveva la stessa identica "ampiezza" di reazione ma comportamenti sottostanti differenti.

Il Risultato: Se avessi guardato solo l'ampiezza (magnitude), avresti indovinato il comportamento corretto solo il 35,0% delle volte. Era praticamente un lancio di moneta.
La Soluzione DECAF: Quando hanno usato DECAF per guardare il tipo di reazione (Evidenza vs. Contraddizione vs. Fragilità), hanno ottenuto la risposta corretta il 96,4% delle volte.

Il documento ha anche scoperto una cosa sorprendente su come riveliamo le informazioni all'IA. Hanno testato due modi di mostrare un'immagine: uno in cui l'intera immagine appare lentamente sfumando (come una miscelazione), e un altro in cui l'immagine viene rivelata pezzo per pezzo (come un puzzle). Hanno scoperto che cambiare il modo in cui l'immagine viene rivelata cambia l'ampiezza totale della reazione di quasi l' 80%. Tuttavia, l' "Evidenza" (le ragioni buone e solide) è cambiata pochissimo. Al contrario, la "Fragilità" (il rumore confondente dipendente dal percorso) è esplosa, crescendo di più di 4 volte. Questo prova che la dimensione totale di una reazione può essere fuorviante; spesso ti dice solo quanto l'IA sia sensibile al metodo di presentazione dell'immagine, non all'immagine stessa.

Infine, l'autore ha dimostrato che DECAF è incredibilmente efficiente. Su un enorme modello di IA con 1 miliardo di parametri (un modello DINOv2), DECAF poteva svolgere il suo compito con 4,75 volte meno tempo e 2,36 volte meno memoria rispetto ad altri metodi popolari, pur facendo il lavoro altrettanto bene.

In breve, il documento suggerisce che siamo stati troppo concentrati su quanto un'IA reagisce e non abbastanza su cosa significa quella reazione. Scomponendo le reazioni in Evidenza (supporto), Contraddizione (opposizione) e Fragilità (rumore fugace), DECAF ci offre un quadro molto più chiaro e onesto di ciò che questi cervelli digitali stanno effettivamente pensando. È uno strumento che non si limita a misurare lo schianto della porta, ma ci aiuta a capire perché la porta sia stata sbattuta in primo luogo.

Sintesi Tecnica: DECAF – Decomposizione di Evidenza, Contraddizione e Fragilità nelle Risposte alle Perturbazioni

1. Definizione del Problema

I metodi di spiegazione basati sulle perturbazioni interpretano le decisioni del modello misurando i cambiamenti nelle predizioni sotto input alterati. Tuttavia, esiste un fondamentale gap semantico: la metrica standard, l'ampiezza della risposta (la differenza assoluta nelle predizioni), quantifica quanto un modello reagisce, ma non riesce a spiegare cosa significhi tale reazione.

Il documento identifica che identiche ampiezze di risposta possono derivare da tre distinti regimi comportamentali:

Allineamento (Alignment): La reazione supporta la differenza fattuale–controfattuale finale.
Opposizione (Opposition): La reazione si oppone alla differenza finale (ad esempio, un passaggio intermedio suggerisce un esito, ma lo stato finale ne suggerisce un altro).
Fragilità (Fragility): La reazione è forte lungo il percorso di perturbazione ma svanisce al punto finale, indicando una sensibilità al processo di rivelazione piuttosto che a un effetto finale significativo.

Trattare questi distinti comportamenti come equivalenti oscura informazioni interpretative critiche. I metodi esistenti spesso riducono traiettorie complesse a uno scalare singolo o si affidano a segnali interni basati sul gradiente, perdendo il ruolo semantico delle risposte intermedie rispetto al contrasto finale.

2. Metodologia: DECAF

L'autore introduce DECAF (Decomposition of Evidence, Contradiction, And Fragility), un framework model-agnostic che decompone le risposte alle perturbazioni accoppiate in tre componenti semantiche.

Configurazione Formale

Dato una funzione di punteggio del modello $q$ , un input fattuale $x^+$ e un controfattuale $x^-$ , il contrasto finale è $d = q(x^+) - q(x^-)$ . Una traiettoria di rivelazione accoppiata $(x^+(t), x^-(t))$ per $t \in [0, 1]$ parte da uno stato non informativo $x^0$ e progredisce verso gli endpoint. La risposta di fase con segno è $r(t) = q(x^+(t)) - q(x^-(t))$ .

Instradamento Semantico (Semantic Routing)

DECAF utilizza il contrasto finale $d$ come riferimento semantico per instradare le risposte intermedie $r(t)$ :

Gate ( $a$ ): Un gate binario determina se il contrasto finale è significativo ( $|d| \ge \epsilon$ ).
Orientamento ( $s$ ): Il segno di $d$ ( $s = \text{sign}(d)$ ) definisce la direzione "corretta".
Decomposizione: La risposta viene instradata in tre componenti:
- Evidenza ( $E$ ): Risposte allineate con la direzione finale quando il contrasto finale è attivo ( $a=1, s \cdot r(t) > 0$ ).
- Contraddizione ( $C$ ): Risposte che si oppongono alla direzione finale quando il contrasto finale è attivo ( $a=1, s \cdot r(t) < 0$ ).
- Fragilità ( $F$ ): Risposte che avvengono quando il contrasto finale è trascurabile ( $a=0$ ), rappresentando una sensibilità che non persiste fino all'endpoint.

La decomposizione è senza perdita (lossless): $|r(t)| = e(t) + c(t) + f(t)$ . Le metriche aggregate sono i valori attesi di queste componenti sulla traiettoria e sul dataset.

Fondamenti Teorici

Il documento dimostra che sotto tre assiomi operativi — Conservazione (nessuna ampiezza viene persa), Gating dell'Endpoint (la fragilità è isolata agli endpoint trascurabili) e Supporto Direzionale (evidenza/contraddizione sono separati dal segno) — questo instradamento è unico. Inoltre, DECAF è un perfezionamento stretto dell'ordinaria ampiezza; mentre l'ampiezza può essere derivata da DECAF ($Abs = E + C + F$), il contrario è impossibile, poiché profili comportamentali distinti (ad esempio, pura evidenza vs pura contraddizione) possono produrre identiche ampiezze.

3. Contributi Chiave

Identificazione del Problema: Definizione esplicita del gap semantico nelle spiegazioni per perturbazione dove l'ampiezza non riesce a distinguere tra allineamento, inversione e sensibilità dipendente dal percorso.
Interfaccia di Rivelazione Accoppiata (Paired Reveal Interface): Introduzione di un framework per tracciare i contrasti fattuale–controffattuale lungo traiettorie corrispondenti man mano che l'informazione viene progressivamente rivelata.
Algoritmo DECAF: Una decomposizione senza perdita e unica delle risposte in Evidenza, Contraddizione e Fragilità basata su semantica relativa all'endpoint. Non richiede gradienti, attivazioni interne o modelli esplicatori appresi.
Validazione Comportamentale: Dimostrazione che queste componenti tracciano comportamenti misurati indipendentemente (dipendenza da scorciatoie/shortcut, inversione di effetto e sensibilità fuori percorso) attraverso modelli neurali, lineari e ad albero.
Utilità Pratica: Dimostrazione che DECAF recupera la semantica della risposta anche quando le ampiezze sono identiche e fornisce diagnostiche stabili tra diversi protocolli.

4. Risultati Sperimentali

Validazione Controllata (3D Shapes & Covertype)

Evidenza: Nei compiti di visione con scorciatoie correlate (es. colore della parete vs forma dell'oggetto), la componente di Evidenza ( $E$ ) correla fortemente (Spearman $\rho = 0.936$ ) con la vulnerabilità di un modello alla reversione delle scorciatoie.
Fragilità: Nei compiti progettati per indurre sensibilità agli stati intermedi (es. cambiamenti del colore del pavimento), la componente di Fragilità ( $F$ ) traccia il tasso di cambiamenti nelle predizioni su coppie nulle all'endpoint ( $\rho = 0.974$ ).
Contraddizione: Nei compiti in cui un effetto inverte la direzione sotto un cambiamento di contesto, la Contraddizione ( $C$ ) traccia il tasso di inversione dell'etichetta ( $\rho = 0.961$ ), mentre l'ordinaria ampiezza fallisce ( $\rho = -0.036$ ).
Trasferimento Tabulare: Sul dataset Covertype, le componenti di DECAF tracciano con successo preservazione, inversione e cambiamenti nulli all'endpoint attraverso 135 classificatori (lineari, ad albero e neurali), superando SHAP e altri baseline nella identificazione dei meccanismi.

Audit del Mondo Reale (ImageNet-9)

Recupero Semantico: Su uno zoo di 72 modelli (24 modelli ImageNet-1k pronti all'uso e 48 modelli fine-tuned su ImageNet-9), DECAF identifica correttamente il ruolo comportamentale dominante (Evidenza, Contraddizione o Fragilità) nel 96.4% dei casi in cui i modelli hanno ampiezze di risposta quasi identiche. Al contrario, l'ampiezza da sola raggiunge solo il 35.0% di accuratezza.
Sensibilità al Percorso: Cambiare il percorso di rivelazione (es. da una miscelazione globale a una rivelazione patch-by-patch) ha aumentato l'ampiezza totale della risposta di quasi l'80%, ma questo aumento è stato guidato quasi interamente da Fragilità e Contraddizione, mentre l'Evidenza è rimasta stabile. Ciò dimostra che un'ampiezza maggiore non implica necessariamente una maggiore evidenza.
Stabilità della Classifica: Le classifiche dei modelli basate sull'ordinaria ampiezza erano altamente instabili tra diversi percorsi di rivelazione ( $\rho \approx 0.17$ ), mentre le classifiche basate su Evidenza e Contraddizione rimanevano stabili ( $\rho > 0.77$ ).

Benchmark di Attribuzione e Scalabilità

Performance: Su FunnyBirds e ImageNet-1k, brevi traiettorie DECAF solo in avanti (3–9 stadi) hanno superato i baseline di attribuzione general-purpose testati (DeepLIFT, Integrated Gradients, SmoothGrad, RISE).
Efficienza: Su un modello DINOv2 da 1 miliardo di parametri, una breve traiettoria DECAF ha eguagliato la qualità di un forte baseline basato sul gradiente (Integrated Gradients) con 4.75× meno tempo di esecuzione (wall time) e 2.36× meno memoria di picco, poiché DECAF richiede solo passaggi in avanti (forward passes).

5. Significato e Rivendicazioni

Il documento afferma che DECAF affronta un'ambiguità semantica inerente ai metodi di perturbazione. Decomponendo la traiettoria della risposta rispetto al contrasto finale, esso rivela quale tipo di risposta ha prodotto una determinata ampiezza.

Interpretabilità: Distingue tra un modello che si affida costantemente a una caratteristica (Evidenza), uno che è confuso o inverte la propria decisione (Contraddizione), e uno che è sensibile al percorso specifico di rivelazione ma non allo stato finale (Fragilità).
Robustezza: Le componenti forniscono diagnostiche più stabili rispetto all'ordinaria ampiezza attraverso diversi protocolli di perturbazione.
Efficienza: Offre un metodo di spiegazione model-agnostic di alta qualità che scala efficientemente su grandi modelli senza richiedere gradienti o accesso interno.

L'autore sottolinea che questi ruoli sono relativi alla coppia controfattuale, al punteggio e al percorso di rivelazione scelti; essi non inferiscono meccanismi causali latenti, ma descrivono il comportamento osservabile della risposta del modello a una specifica intervento. Il lavoro suggerisce che i futi sforzi di spiegazione debbano andare oltre le ampiezze scalari per considerare la composizione semantica della traiettoria di risposta.