Sintesi Tecnica: Subset-Selected Counterfactual Augmentation (SS-CA)

Definizione del Problema

I modelli visivi profondi attuali spesso raggiungono un'elevata accuratezza facendo affidamento su un set limitato di indizi visivi discriminativi o "scorciatoie" (shortcuts), piuttosto che su prove causali robuste. Questa dipendenza rende i modelli fragili di fronte a spostamenti di distribuzione (Out-of-Distribution, OOD) o quando parti chiave dell'oggetto sono occluse. Sebbene i metodi di attribuzione fedeli possano rivelare queste problematiche dipendenze attraverso spiegazioni localizzate, essi vengono tipicamente impiegati post hoc e non sono integrati nel ciclo di addestramento per correggere i confini decisionali del modello. Inoltre, i metodi esistenti di apprendimento guidato dalla spiegazione si affidano spesso ad attribuzioni basate sul gradiente (ad es., Grad-CAM), che sono note per essere debolmente fedeli e possono fallire nel catturare il vero razionale decisionale del modello, limitandone l'efficacia nel guidare l'addestramento.

Metodologia

Il documento propone la Subset-Selected Counterfactual Augmentation (SS-CA), una strategia di addestramento che converte le regioni di attribuzione in un feedback di addestramento controfattuale efficace. Il framework opera come un ciclo chiuso composto da tre fasi principali:

1. Selezione della Categoria Controfattuale

Nella fase convenzionale di addestramento, un input d'immagine fattuale viene elaborato per ottenere i logit delle classi. La classe di verità fondamentale (ground-truth) viene mantenuta, e una "classe controfattuale" viene campionata casualmente tra le $k$ classi alternative con il punteggio più alto. Questa classe controfattuale funge da target per l'intervento controfattuale.

2. Spiegazione Controfattuale (Counterfactual LIMA)

Gli autori estendono LIMA (un metodo di attribuzione fedele basato sulla selezione di sottoinsiemi) in Counterfactual LIMA per l'attribuzione durante l'addestramento. A differenza del LIMA standard, che identifica le regioni che supportano la predizione corrente, il Counterfactual LIMA cerca il set minimo di regioni $S$ la cui rimozione spinga la predizione del modello dalla classe di verità fondamentale alla classe controfattuale selezionata.

• Obiettivo: Il metodo formula questo come un problema di selezione di sottoinsiemi submodulare, utilizzando un algoritmo greedy per selezionare iterativamente le regioni che massimizzano la funzione di utilità $F(S)$.
• Funzione di Utilità: $F(S)$ combina due obiettivi complementari:
  • Punteggio di Deletion (Rimozione): Misura l'aumento della confidenza per la classe controfattuale e la diminuzione per la classe di verità fondamentale quando le regioni vengono rimosse.
  • Punteggio di Insertion (Inserimento): Garantisce che le regioni selezionate, se isolate, preservino ancora sufficienti prove per la classe di verità fondamentale e non supportino spuriamente la classe controfattuale.
• Gate di Ricerca: Prima dell'augmentation, i sottoinsiemi candidati sono filtrati da due criteri:
  1. Riduzione del Margine (Margin Drop): La rimozione del sottoinsieme deve ridurre significativamente il margine dei logit tra la classe di verità fondamentale e la classe concorrente più forte.
  2. Preservazione Semantica: L'immagine attenuata deve essere ancora predetta come la classe di verità fondamentale, assicurando che la modifica non distrugga il contenuto semantico originale.

Augmentation Guidata dall'Attribuzione

Una volta identificate le mappe di attribuzione valide, le regioni selezionate vengono attenuate utilizzando una strategia di Combinazione Adattiva a Tre Vie. Invece di utilizzare maschere nere o sfondi esterni (che introducono nuove semantiche), il metodo sostituisce le regioni mascherate con una combinazione pesata di:

• Componenti a bassa frequenza
• Contenuto sfocato (blurred)
• Valori medi dei pixel
  Questo riempimento adattivo ($Q(I) = \omega_1 Q_{low} + \omega_2 Q_{blur} + \omega_3 Q_{mean}$) indebolisce l'evidenza rilevante per la decisione preservando al contempo la semantica globale dell'immagine.

Ottimizzazione Congiunta

I campioni controfattuali risultanti, che mantengono le etichette originali di verità fondamentale, vengono reimmessi nel ciclo di addestramento. Il modello è ottimizzato congiuntamente utilizzando una funzione di perdita che combina la cross-entropy standard sulle immagini originali e la cross-entropy sui campioni aumentati controfattualmente. Ciò incoraggia il modello a sfruttare l'evidenza informativa rimanente e a spostare il suo confine decisionale verso una configurazione più robusta.

Contributi Chiave

1. Framework SS-CA: Gli autori propongono un framework di addestramento che estende il post-hoc LIMA in un Counterfactual LIMA per il tempo di addestramento. Questo identifica le regioni che cambiano la decisione, genera campioni controfattuali efficaci e li reinserisce per spingere il confine decisionale verso uno stato migliorato.
2. Selezione di Maschere Valide Vicine al Confine: Viene introdotta una strategia per selezionare maschere che preservino la semantica originale riducendo al contempo il divario dei logit tra la classe di verità fondamentale e le classi concorrenti, garantendo che i campioni generati si avvicinino efficacemente al confine decisionale.
3. Riempimento Adattivo a Tre Vie: È proposta una strategia teorica e pratica per il padding controfattuale che sopprime l'evidenza selezionata senza introdurre informazioni semantiche esterne, evitando la corruzione della semantica originale.
4. Validazione Estesa: Il metodo è validato su cinque varianti di ImageNet (ImageNet-100, TinyImageNet-200, ImageNet-1k, ImageNet-R, ImageNet-S) e molteplici backbone (CLIP ViT, ViT, ResNet-101), dimostrando miglioramenti costanti nell'accuratezza ID, nella generalizzazione OOD e nella robustezza alle perturbazioni.

Risultati Sperimentali

Il documento riporta guadagni significativi di prestazioni attraverso vari benchmark:

• ImageNet-1k (CLIP ViT-B/32): SS-CA migliora l'accuratezza In-Distribution (ID) del 5,70% (dal 71,44% al 77,14%) e l'accuratezza OOD su ImageNet-R del 18,04% (dal 31,63% al 49,67%).
• TinyImageNet-200 (ResNet-101): Il metodo ottiene guadagni del 9,52% su ImageNet-R (dall'11,29% al 20,81%) e dell'11,33% su ImageNet-S (dall'11,34% al 22,67%).
• Robustezza: Sotto corruzione da rumore Gaussiano, SS-CA ottiene un miglioramento di circa il 4% rispetto all'addestramento convenzionale.
• Confronto: SS-CA supera costantemente l'addestramento convenzionale e i recenti metodi di debiasing (Xiao et al. [16], Chen et al. [12]) che si affidano ad attribuzioni basate sul gradiente. Gli studi di ablazione confermano che sia la componente Counterfactual LIMA che la strategia di riempimento Adaptive Combination sono necessarie per questi guadagni.

Significato e Rivendicazioni

Il documento sostiene che accoppiare l'interpretabilità controfattuale con l'addestramento del modello sia una via promettente verso modelli visivi più affidabili e trasparenti. Identificando e attenuando esplicitamente le cause sufficienti limitate su cui i modelli fanno affidamento, SS-CA forza il modello a imparare da un insieme più ampio di prove causali. Gli autori sottolineano che il loro approccio affronta la fragilità degli attuali modelli sotto spostamenti di distribuzione senza fare affidamento su modelli generativi esterni o introdurre artefatti semantici spurii. Il lavoro dimostra che andare oltre l'analisi post-hoc per un addestramento attivo guidato dall'attribuzione può effettivamente rimodellare i confini decisionali per una maggiore robustezza.