Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations

Sintesi Tecnica: Evidenza Coerente, Riconoscimento Robusto

Definizione del Problema
I metodi di attribuzione sono ampiamente utilizzati per identificare l'evidenza di input sottostante alle predizioni delle reti neurali profonde. Tuttavia, il loro potenziale per migliorare attivamente il comportamento del modello rimane poco esplorato. Un problema critico è l'incoerenza dell'attribuzione sotto trasformazioni geometriche che preservano l'etichetta (ad esempio, riflessione o rotazione). Sebbene la classe predetta possa rimanere invariata, il modello spesso sposta la propria dipendenza dall'evidenza originale dell'oggetto verso regioni diverse o irrilevanti. Ciò indica una sensibilità alle trasformazioni geometriche che mina la robustezza.

Gli approcci esistenti alla regolarizzazione dell'attribuzione si basano tipicamente su obiettivi di coerenza autosupervisionati derivati da mappe basate sul gradiente (ad es., Grad-CAM). Un limite fondamentale di questi metodi è la fedeltà (faithfulness): le mappe basate sul gradiente non riflettono sempre accuratamente l'evidenza che guida la decisione del modello. Di conseguenza, allineare queste mappe assicura la coerenza nell'output della spiegazione, ma non garantisce la coerenza nel processo decisionale sottostante. Un modello può raggiungere la coerenza a livello di spiegazione pur continuando a fare affidamento su evidenze sensibili alle trasformazioni. La sfida centrale affrontata da questo lavoro è come convertire l'attribuzione fedele e collegata alla decisione in un segnale di addestramento efficace per imporre un uso coerente dell'evidenza senza annotazioni umane.

Metodologia
Gli autori propongono un framework di regolarizzazione dell'attribuzione privo di annotazioni basato sulla ricerca submodulare su regioni d'immagine. Il metodo opera in due fasi:

1. Fase di Query (Generazione della Supervisione):
   Invece di utilizzare heatmap basate sul gradiente, il framework impiega un metodo di attribuzione basato sulla ricerca (specificamente LIMA) per estrarre evidenze compatte e discriminanti per la classe. Il processo seleziona avidamente regioni d'immagine che massimizzano una funzione di punteggio submodulare, la quale combina metriche di coerenza, confidenza e collaborazione. La ricerca termina quando viene raggiunta una soglia di coerenza.

• Filtraggio: Vengono mantenuti solo i campioni classificati correttamente, con alta confidenza e che risultano in un'area di attribuzione compatta. Ciò garantisce che il segnale di supervisione sia derivato da un comportamento del modello affidabile.
• Sequenza di Supervisione: Per i campioni mantenuti, la sequenza ordinata delle regioni selezionate e la condizione di arresto costituiscono la "supervisione derivata dalla ricerca".

2. Fase di Addestramento (Submodular Ranking Loss):
   Per regolarizzare il modello, il framework allinea la traiettoria di ricerca dell'attribuzione di un'immagine trasformata con la traiettoria spazialmente corrispondente dell'immagine originale. Poiché il processo di ricerca è discreto e sequenziale, è richiesto un surrogato differenziabile. Gli autori introducono la Submodular Ranking Loss, composta da due termini:

• Selection-Ranking Loss ($L_{SelR}$): Ad ogni step della ricerca avida sull'immagine trasformata, questo termine impone che la regione target spazialmente corrispondente (dalla sequenza originale) abbia un rango superiore rispetto a tutti i candidati non-target rimanenti.
• Selection-Truncation Loss ($L_{SelT}$): Questo termine incoraggia l'evidenza accumulata della traiettoria trasformata a soddisfare lo stesso criterio di arresto della sequenza di query originale al terminale della fase di ricerca.

L'obiettivo totale combina la perdita di classificazione standard con la Submodular Ranking Loss, pesata da un iperparametro $\lambda$. Il framework è implementato con ottimizzazioni come spazi di ricerca vincolati e regolarizzazione sparsa per gestire l'overhead computazionale.

Contributi Chiave

1. Prerequisito di Attribuzione Fedele: Il lavoro formula la regolarizzazione dell'attribuzione attorno al principio secondo cui la supervisione deve rappresentare fedelmente l'evidenza sottostante alla predizione, andando oltre la semplice coerenza delle mappe.
2. Framework Privo di Annotazioni: Un nuovo framework che deriva sequenze di supervisione compatte da ricerche submodulari filtrate, eliminando la necessità di annotazioni di rilevanza fornite dall'uomo.
3. Submodular Ranking Loss: Una funzione di perdita differenziabile che allinea la selezione dei candidati lungo le traiettorie trasformate e impone i criteri di arresto, fornendo un surrogato per il processo di selezione dell'evidenza altrimenti discreto.
4. Validazione Empirica: Esperimenti estesi che dimostrano una migliore stabilità dell'attribuzione e della fedeltà, insieme a una maggiore robustezza agli input trasformati, con un impatto minimo sull'accuratezza sulle immagini pulite.

Risultati Sperimentali
Il metodo è stato valutato su ImageNet-100 e ImageNet-1K utilizzando architetture ViT-B/16, ViT-L/16, ResNet-50 e ConvNeXt-B.

• Qualità dell'Attribuzione (ImageNet-100, ViT-B/16):
  • La stabilità dell'attribuzione è aumentata da 0.14 a 0.27.
  • Il punteggio di Inserimento (Insertion) è migliorato del 52.1%.
  • Il punteggio di Rimozione (Deletion) è ridotto del 62.2%.
  • L'accuratezza della classificazione è scesa di soli 0.28 punti percentuali.
• Robustezza (ImageNet-1K):
  • L'accuratezza media sugli input trasformati è migliorata di 0.55 (ResNet-50) e 0.33 (ConvNeXt-B) punti percentuali.
  • La riduzione dell'accuratezza sulle immagini pulite è stata limitata a 0.30 punti.
• Efficienza: Il metodo raggiunge un throughput di addestramento paragonabile a CGC e più veloce di CLIP-AFT, con requisiti di memoria GPU significativamente inferiori rispetto ai metodi del secondo ordine del gradiente.

Significatività e Rivendicazioni
Il documento sostiene che un'attribuzione fedele promuove un uso coerente dell'evidenza senza compromettere materialmente le prestazioni predittive. Spostando l'attenzione dall'allineamento di potenzialmente infedeli mappe di gradiente all'allineamento del reale processo di selezione dell'evidenza derivato dalla ricerca submodulare, il metodo affronta la causa radice della sensibilità alle trasformazioni. I risultati suggeriscono che imporre l'equivarianza sull'evidenza rilevante per la decisione, piuttosto che solo sull'output della spiegazione, porta a modelli più robusti che fanno affidamento su evidenze spazialmente corrispondenti attraverso le trasformazioni geometriche. Gli autori segnalano che il codice sarà rilasciato a breve per facilitare ulteriori ricerche.