Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

Sintesi Tecnica: Oltre L2: Generalizzazione delle Spiegazioni Latenti Abduttive a Diverse Architetture Basate su Prototipi

Definizione del Problema
Le reti neurali basate su prototipi (PBN) sono riconosciute come architetture "interpretabili per progettazione" poiché giustificano le predizioni facendo riferimento a esempi di addestramento simili (prototipi). Recentemente, le Spiegazioni Latenti Abduttive (ALE) sono state introdotte per fornire spiegazioni formali, matematicamente garantite, per queste reti, calcolando limiti stretti sulle distanze nello spazio latente. Tuttavia, le attuali formulazioni ALE sono rigidamente confinate a spazi latenti euclidei utilizzando distanze $L_2$. Ciò crea un divario critico: le moderne architetture PBN all'avanguardia utilizzano sempre più rappresentazioni non euclidee, tra cui metriche sferiche (similarità del coseno), densità gaussiane e proiezioni dimensionali (softmax). Le attuali metodologie di spiegazione formale sono incompatibili con queste diverse strutture geometriche, impedendo un'analisi rigorosa dell'interpretabilità attraverso l'intero spettro delle architetture basate su prototipi.

Metodologia
Gli autori generalizzano il framework ALE per supportare architetture di prototipi non euclidee derivando algoritmi di bounding specifici per diverse varianti geometriche. L'obiettivo centrale rimane lo stesso: calcolare insiemi di prototipi subset-minimali che garantiscano la predizione di un modello, restringendo iterativamente i limiti dei valori di attivazione.

1. Similarità del Coseno (Geometria Sferica): Per architetture come TesNet, che utilizzano la similarità dot-product su una sfera unitaria, gli autori adattano il ragionamento alla geometria sferica. Poiché la similarità del coseno non soddisfa la standard disuguaglianza triangolare, essi utilizzano la Distanza Angolare ($d_\angle$) per derivare i limiti. Introducono un'Approssimazione dell'Intersezione di Calotte Sferiche, in cui l'intersezione di due calotte sferiche (definite da un patch e due prototipi) è limitata da una calotta sferica di raggio minimo circoscritto. Ciò consente la derivazione di limiti inferiori e superiori stretti sulla similarità tra un patch latente e prototipi non osservati.
2. Proiezione Dimensionale (Geometria del Simplesso): Per architetture come PIP-Net che mappano le attivazioni su un simplesso di probabilità tramite una funzione softmax, il ragionamento geometrico si sposta dalle distanze spaziali alla conservazione della massa di probabilità. Gli autori propongono una Spiegazione del Simplesso dove l'aggiunta di una coppia $\langle \text{patch}, \text{prototipo} \rangle$ alla spiegazione "consuma" una porzione della massa di probabilità, limitando strettamente il limite superiore dei prototipi rimanenti. Introducono anche una Spiegazione a Pesi Sparsi per modelli con teste di classificazione sparse e non negative, che consente il calcolo esatto dello score per la classe predetta e il bounding stretto per le classi concorrenti.
3. Similarità Gaussiana Isotropica: Per reti probabilistiche (es. ProtoGMM) dove i prototipi sono distribuzioni Gaussiane, gli autori mappano il problema in uno spazio euclideo universale. Assumendo una covarianza isotropa, recuperano una distanza euclidea "vera" dalla similarità. Applicano la standard Approssimazione di Intersezione di Ipersfera (HIA) in questo spazio euclideo mappato e poi proiettano i risultati dei limiti geometrici nello specifico spazio di attivazione del modello.
4. Similarità Focal: Per architetture come ProtoPool che utilizzano il focal pooling per sopprimere il rumore di fondo, gli autori dimostrano che gli esistenti limiti ALE spaziali possono essere aggregati per limitare le statistiche aggregate (valori massimi ed expected) richieste dall'operazione di focal pooling, senza alterare il solver geometrico sottostante.

Contributi Chiave

• Generalizzazione di ALE: Il documento estende il framework ALE oltre gli spazi euclidei $L_2$ per supportare metriche sferiche, densità gaussiane e proiezioni basate su simplesso.
• Nuovi Algoritmi di Bounding: Gli autori derivano sistematicamente come mappare diverse architetture verso i limiti esistenti o costruire nuovi algoritmi di bounding specifici per l'architettura (es. Intersezione di Calotte Sferiche, conservazione della massa del Simplesso).
• Framework Unificato: Unificando questi diversi modelli sotto un unico framework formale, il lavoro abilita la prima comparazione rigorosa dell'interpretabilità tra diverse architetture.
• Validazione Empirica: Gli autori validano queste costruzioni teoriche calcolando spiegazioni formali subset-minimali su classificatori di immagini completamente addestrati su molteplici dataset (Oxford Flowers 102, Oxford IIIT Pet, CUB200) e architetture (ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet).

Risultati
Gli esperimenti rivelano significativi trade-off tra la dimensione della spiegazione (interpretabilità) e il costo computazionale attraverso diversi paradigmi:

• PIP-Net: I modelli con teste lineari sparse e non negative (PIP-Net) producono le dimensioni assolute di spiegazione più piccole e i tempi di calcolo più rapidi (circa 0,07s), suggerendo che siano intrinsecamente più compatibili con la verifica formale.
• Paradigma del Simplesso: Il paradigma della spiegazione del Simplesso (per PIP-Net) raggiunge la dimensione relativa della spiegazione più piccola (0,1%–0,2%), indicando un'eccellente scalabilità con le dimensioni dello spazio latente.
• Modelli Gaussiani: La HIA scalata fornisce le dimensioni relative della spiegazione più piccole (4,6%–6,2%) ma incorre nel più alto overhead computazionale (fino a 142s), con alcune configurazioni che vanno in timeout su dataset più grandi.
• Modelli Cosine/Sferici: Sebbene la HIA Sferica raggiunga dimensioni relative competitive, sia la TI del Coseno che la HIA Sferica soffrono di alta varianza e problemi di scalabilità, andando spesso in timeout sul dataset CUB200.
• Metrica: Gli autori introducono una metrica di "Dimensione Relativa" per normalizzare le dimensioni delle spiegazioni attraverso diversi paradigmi, fornendo un indicatore robusto dell'interpretabilità intrinseca dell'architettura indipendente dal numero totale di prototipi.

Significatività
Il documento sostiene di fornire il primo confronto quantitativo dell'interpretabilità formale tra diverse reti basate su prototipi. Estendendo l'ALE agli spazi non euclidei, colma il divario tra le garanzie teoriche della XAI Formale e la realtà pratica delle moderne e diverse architetture basate su prototipi. Il lavoro evidenzia specifici principi di progettazione — come l'uso di teste sparse e non negative — che portano a una migliore interpretabilità formale. Stabilisce che, sebbene la precisione geometrica (es. nei modelli Gaussiani o sferici) possa fornire limiti stretti, ciò comporta spesso un costo computazionale significativo, sottolineando la necessità di una progettazione architettonica attenta per bilanciare le garanzie di interpretabilità con la scalabilità.