Sintesi Tecnica: ProtoQuant

1. Definizione del Problema

I modelli di deep learning, in particolare in domini ad alto rischio come la diagnostica medica e la guida autonoma, soffrono di un'opacità intrinseca. Sebbene l'IA spiegabile (XAI) abbia introdotto metodi post-hoc (ad es. Grad-CAM) e approcci ante-hoc (auto-esplicativi), questi ultimi — specificamente le Prototypical Parts Networks (PPN) — affrontano critiche limitazioni:

• Drift dei Prototipi e Mancanza di Grounding: I metodi esistenti spesso apprendono vettori latenti che non corrispondono a patch tangibili e realizzabili nella distribuzione di addestramento. Questi prototipi possono subire un "drift", fallendo nel rappresentare concetti visivi reali.
• Instabilità Rappresentazionale: Piccole perturbazioni nelle immagini di input possono causare spostamenti drastici nei prototipi con la massima attivazione, portando a decisioni del modello instabili che contraddicono la percezione umana.
• Scalabilità e Costo Computazionale: La maggior parte delle architetture prototipiche fatica a generalizzare su dataset su larga scala come ImageNet. Inoltre, richiedono frequentemente un costoso fine-tuning dell'intero backbone per raggiungere un'accuratezza accettabile, limitando la loro applicabilità ai moderni modelli foundation pre-addestrati e congelati.

2. Metodologia: ProtoQuant

ProtoQuant è un framework interpretabile progettato per funzionare come una "testa" (head) per classificatori di immagini pre-addestrati e congelati. Esso affronta i problemi di grounding e stabilità attraverso la Quantizzazione Vettoriale (Vector Quantization).

Architettura Core

Il modello sostituisce la testa di classificazione standard di un backbone congelato $\phi$ con un modulo basato su concetti. Il processo prevede:

1. Backbone Congelato: Un backbone pre-addestrato (CNN o ViT) estrae una mappa di caratteristiche $\phi(x)$. I parametri del backbone rimangono fissi durante l'addestramento.
2. Apprendimento del Codebook dei Concetti (Fase 1):
   • Un codebook discreto $C = \{c_1, ..., c_m\}$ viene appreso utilizzando un meccanismo di Vector-Quantized Variational Autoencoder (VQ-VAE).
   • I vettori di caratteristiche $z_{ij}$ del backbone vengono assegnati alla voce del codebook più vicina in base alla similarità del coseno.
   • Solo i vettori del codebook vengono aggiornati tramite una perdita del codebook ($L_{codebook}$), mentre gli embedding del backbone sono bloccati dal passaggio dei gradienti. Questo discretizza lo spazio latente continuo in un vocabolario finito di primitivi visivi.
3. Testa di Predizione Basata su Concetti (Fase 2):
   • Matching: Le vettori di caratteristiche vengono confrontati con il codebook utilizzando una softmax "sharp" con un parametro di temperatura $\alpha$, generando mappe di attivazione dei concetti.
   • Aggregazione: Viene applicato il max-pooling spaziale per ottenere punteggi di presenza del concetto ($s$).
   • Classificazione: Una matrice di classificazione non negativa $W$ mappa i punteggi dei concetti verso i logit della classe ($\hat{y} = Ws$).

Regime di Addestramento

Il metodo impiega un processo di addestramento in due fasi:

• Fase 1 (Grounding Non Supervisionato): Il codebook viene addestrato in modo non supervisionato per catturare la distribuzione delle caratteristiche del backbone congelato.
• Fase 2 (Ragionamento Supervisionato): La testa originale viene sostituita con la testa interpretabile. Il codebook è congelato e la matrice di classificazione $W$ viene addestrata utilizzando la classica perdita cross-entropy. Questa fase permette il pruning (selezione dei top-K prototipi per classe) per migliorare l'interpretabilità senza riaddestrare il backbone.

3. Contributi Chiave

• Grounding basato sulla Quantizzazione: Introduce un meccanismo che discretizza lo spazio delle caratteristiche in un codebook di concetti ad alta stabilità, garantendo che i prototipi siano rappresentazioni fedeli dei dati di addestramento senza richiedere aggiornamenti del backbone.
• Agnosticismo rispetto al Backbone: Progettato per funzionare come una testa interpretabile ed efficiente per backbone congelati (sia CNN che ViT), consentendo un'integrazione fluida con architetture moderne senza il fine-tuning di tutti i parametri.
• Scalabilità: Dimostra che il ragionamento prototipico può scalare su dataset di grandi dimensioni (ImageNet) con alta fedeltà, colmando il divario tra interpretabilità e prestazioni predittive.
• Editabilità Strutturale: L'uso di un codebook discreto consente edizioni strutturali istantanee, come il "concept pruning" o la neutralizzazione di specifiche voci, facilitando il debugging del modello senza un costoso riaddestramento.

4. Risultati Sperimentali

Gli autori hanno valutato ProtoQuant su ImageNet-1K e benchmark fine-grained (CUB-200, Cars-196, Dogs, Flowers).

• Stabilità Rappresentazionale: Nel benchmark di Misallineamento Spaziale, ProtoQuant supera significativamente altre PPN. Ottiene punteggi di Accuracy Change (AC) quasi perfetti (0.35 per ViT, 1.73 per ConvNeXt) e riduce drasticamente il Prototype Activation Change (PAC), indicando robustezza contro le perturbazioni dell'input.
• Accuratezza di Classificazione:
  • Fine-Grained: ProtoQuant raggiunge un'accuratezza Top-1 competitiva o superiore rispetto ai metodi interpretabili allo stato dell'arte (ad es. PIP-Net, InfoDisent) su CUB-200, Cars, Dogs e Flowers, superando spesso i metodi che effettuano il fine-tuning del backbone.
  • ImageNet: ProtoQuant raggiunge il 77.86% di accuratezza su ResNet-50 e l'82.87% su ConvNeXt-Large. Questo riduce significativamente il divario di performance tra i metodi ante-hoc e i baseline black-box non interpretabili rispetto ai competitor come InfoDisent.
• Purezza Semantica: ProtoQuant dimostra una purezza dei prototipi competitiva (0.47) rispetto ad altri metodi sotto vincoli di backbone congelato, validando che i concetti quantizzati si allineano bene con le parti annotate dagli umani.
• Efficienza: L'addestramento di ProtoQuant su un backbone congelato riduce il tempo per epoca di circa il 47.6% rispetto all'addestramento completo con fine-tuning del backbone.

5. Significato e Claim

Il paper posiziona ProtoQuant come una soluzione alle sfide del "prototype drift" e della scalabilità inerenti alle attuali reti di parti prototipiche. La sua importanza primaria risiede in:

• Interpretabilità Grounded: Ancorando le decisioni a un vocabolario verificabile di concetti visivi derivati direttamente dalla distribuzione di addestramento, assicura che le spiegazioni siano basate su dati reali piuttosto che su artefatti latenti astratti.
• Deployment Pratico: La capacità di allegare una testa interpretabile a modelli foundation congelati rende l'approccio computazionalmente efficiente e applicabile ad architetture ad alta capacità dove il fine-tuning completo è proibitivo.
• Fiducia in Domini ad Alto Rischio: Il ragionamento "questo somiglia a quello", combinato con attivazioni stabili, permette ai professionisti in campi come l'imaging medico di verificare che i modelli stiano prestando attenzione a caratteristiche clinicamente rilevanti, supportando il deployment di sistemi IA più trasparenti e responsabili.

Gli autori riconoscono che la dipendenza da un codebook discreto può limitare la flessibilità della rappresentazione rispetto agli spazi continui e suggeriscono come lavoro futuro l'automazione della selezione della dimensione del codebook e il pruning avanzato.