Riepilogo Tecnico: La Metonimia nei Modelli di Visione Minaccia l'Interpretabilità Basata sull'Attenzione

1. Definizione del Problema

Il lavoro affronta un difetto critico nell'interpretabilità dei moderni modelli di visione basati sul deep learning, in particolare quelli che fanno affidamento su ragionamento basato sulle parti e su meccanismi di attenzione. Molti modelli progettati per essere interpretabili, come i Concept Bottleneck Models (CBM) e le reti di attenzione centrate sulle parti, operano sotto un'assunzione di località: si presume che la rappresentazione latente di una specifica parte di un oggetto (ad esempio, l'ala di un uccello) codifichi principalmente informazioni relative a quella specifica regione dell'immagine.

Gli autori sostengono che questa assunzione viene frequentemente violata dai moderni Vision Transformers (ViT) preaddestrati. A causa dei grandi campi ricettivi di queste architetture, la rappresentazione latente di una singola parte spesso codifica informazioni provenienti dall'oggetto intero. Gli autori definiscono questo fenomeno perdita intra-oggetto o metonimia visiva, in cui una parte finisce per rappresentare il tutto. Di conseguenza, quando una mappa di attenzione evidenzia una parte specifica, le caratteristiche sottostanti utilizzate per la previsione possono effettivamente contenere informazioni "perse" da altre parti. Ciò rende il ragionamento del modello infedele; il modello sembra concentrarsi sulla regione corretta ma in realtà si basa su caratteristiche correlate provenienti da altrove, minando l'affidabilità delle spiegazioni basate sull'attenzione, specialmente in ambiti ad alto rischio come l'imaging medico.

2. Metodologia

2.1 Benchmarking della Perdita Intra-Oggetto

Per quantificare questo fenomeno, gli autori propongono due metriche di valutazione utilizzando dataset con annotazioni di attributi a livello di parte (CUB-200-2011, CelebA e CheXpert):

• Specificità della Parte (PS): Misura la differenza nelle prestazioni di classificazione degli attributi quando si utilizzano caratteristiche dalla parte "corretta" rispetto a caratteristiche da parti "non corrette". Una PS bassa indica che le caratteristiche provenienti da parti non corrispondenti sono tanto predittive quanto quelle della parte corrispondente, segnalando una perdita.
• Sovrapposizione della Parte Più Predittiva (MPPO): Valuta se la parte scoperta con la massima confidenza di previsione per un attributo specifico sovrappone spazialmente la regione ground-truth di quell'attributo.

Gli autori confrontano la Mascheratura Tardiva (approccio standard: estrazione di caratteristiche da un backbone congelato e applicazione di maschere a posteriori) con la Mascheratura Precoce (applicazione di maschere direttamente ai token dell'immagine di input prima dell'estrazione delle caratteristiche). La mascheratura precoce funge da limite superiore che previene la perdita per progettazione.

2.2 Soluzione Proposta: Architettura a Due Stadi

Per mitigare la perdita intra-oggetto, gli autori propongono un'architettura transformer a due stadi:

• Stadio 1 (Scoperta delle Parti Guidata dagli Attributi): Utilizza un backbone congelato (ad esempio, DINOv3) per generare maschere di attenzione che localizzano le parti semantiche. Questo stadio impiega una nuova funzione di perdita di ortogonalità decorrelata ($L_{\perp}$) per garantire che le parti siano distinte, permettendo loro di condividere caratteristiche di sfondo comuni, evitando la soppressione di segnali condivisi riscontrata nelle precedenti funzioni di perdita di ortogonalità.
• Stadio 2 (Elaborazione Parallela Rigorosa): Elabora ciascuna parte scoperta indipendentemente in flussi paralleli.
  • Meccanismo: Il modello replica i token di prefisso (ad esempio, [CLS]) per ciascuna parte e applica una maschera di attenzione a blocchi diagonali. Ciò garantisce che il $k$-esimo token di prefisso presti attenzione solo alle patch dell'immagine all'interno della $k$-esima maschera di parte, isolando rigorosamente le caratteristiche.
  • Stima del Gradiente: Per abilitare un addestramento end-to-end in cui lo Stadio 2 guida lo Stadio 1, gli autori introducono un Stimatore Diretto (STE). Il passaggio in avanti utilizza maschere rigide (binarie) per garantire una perdita zero, mentre il passaggio all'indietro utilizza maschere morbide (continue) per permettere ai gradienti di fluire e rifinire le maschere di scoperta delle parti.

3. Contributi Chiave

1. Un Benchmark per la Perdita Intra-Oggetto: L'introduzione delle metriche PS e MPPO per misurare sistematicamente la violazione della località nei backbone di visione.
2. Evidenza Empirica di una Perdita Diffusa: Una valutazione completa che mostra come i backbone preaddestrati all'avanguardia (DINOv1, DINOv2, DINOv3, CLIP, MAE) esibiscano una forte perdita intra-oggetto, violando l'assunzione di località richiesta per un'interpretabilità fedele.
3. Una Strategia di Mitigazione: Un'architettura a due stadi che impone un isolamento spaziale rigoroso per progettazione, dimostrando che prevenire la perdita migliora sia la fedeltà delle mappe di attenzione sia la qualità della scoperta delle parti.

4. Risultati

4.1 Risultati Quantitativi

• Prevalenza della Perdita: Su CUB e CelebA, la Mascheratura Precoce produce costantemente punteggi di Specificità della Parte (PS) significativamente più alti rispetto alla Mascheratura Tardiva (ad esempio, ~3x di miglioramento su CUB, ~10x su CelebA per DINOv3). Ciò conferma che i backbone standard fanno affidamento in modo pesante su informazioni perse.
• Imaging Medico (CheXpert): Nel dataset CheXpert, la Mascheratura Tardiva standard risulta in una Sovrapposizione della Parte Più Predittiva (MPPO) di ~0.53, indicando che le previsioni spesso derivano da regioni esterne alla patologia. L'imposizione della Mascheratura Precoce migliora l'MPPO a ~0.62.
• Miglioramento nella Scoperta delle Parti: La variante STE a due stadi proposta supera significativamente i baseline a stadio singolo e i metodi esistenti all'avanguardia (PDiscoFormer, MPAE) nelle metriche di clustering (ARI e NMI).
  • Su CUB, STE raggiunge un ARI di 73.93 contro 50.27 per il baseline a stadio singolo.
  • Su CelebA, STE raggiunge un ARI di 97.51 contro 49.46 per il baseline.
• Prestazioni Predittive: Sebbene imporre una località rigorosa (solo Stadio 2) possa ridurre leggermente l'accuratezza grezza di previsione degli attributi (poiché il modello non può più sfruttare scorciatoie correlate), l'ensemble del contesto globale (Stadio 1) con l'evidenza strettamente locale (Stadio 2) produce le prestazioni complessive più elevate su tutti i dataset, superando il baseline a stadio singolo.

4.2 Osservazioni Qualitative

• Espansione della Maschera: I modelli a stadio singolo e le varianti a mascheratura morbida tendono a produrre maschere "pigre" che coprono solo piccole patch altamente discriminative, affidandosi alla perdita per il resto del contesto. La variante STE produce maschere spazialmente più espansive che coprono l'intera regione semantica (ad esempio, coprendo entrambi i polmoni nelle radiografie del torace invece di uno solo).
• Fedeltà: L'approccio a due stadi garantisce che le previsioni degli attributi siano radicate nelle regioni anatomiche corrette, mentre i modelli a stadio singolo spesso non riescono a rispettare i confini spaziali.

5. Significato e Affermazioni

Il lavoro afferma che l'interpretabilità basata sull'attenzione è fondamentalmente compromessa se le rappresentazioni latenti sottostanti intrecciano già informazioni attraverso regioni spaziali. Visualizzare semplicemente le mappe di attenzione è insufficiente se le caratteristiche stesse sono contaminate dalla metonimia.

Gli autori sostengono che:

• La Località è un Prerequisito: Un ragionamento basato sulle parti, fedele e compositivo, richiede soluzioni a livello di rappresentazione che impongano la località, non solo meccanismi di attenzione a posteriori.
• Gli Approcci a Due Stadi sono Promettenti: Applicando maschere di attenzione direttamente all'immagine di input (Mascheratura Precoce) piuttosto che alle caratteristiche profonde, è possibile mitigare la perdita e migliorare sia l'interpretabilità sia la qualità della scoperta delle parti.
• I Compromessi sono Gestibili: Sebbene l'approccio a due stadi comporti un sovraccarico computazionale (inferenza circa 2.1 volte più lenta), la capacità di ensemble di segnali globali e locali permette di creare modelli che sono sia altamente accurati sia rigorosamente fedeli all'evidenza locale.

Il lavoro evidenzia un problema trascurato nell'interpretabilità delle rappresentazioni basate sulle parti, suggerendo che la ricerca futura debba affrontare l'intreccio a livello di rappresentazione per costruire modelli di visione davvero affidabili.