Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions

Riepilogo Tecnico: Il Bias Lascia una Scia di Gradiente

Enunciato del Problema
I classificatori visivi moderni spesso raggiungono un'elevata accuratezza in-distribuzione sfruttando correlazioni spurie (scorciatoie) piuttosto che caratteristiche causali. Sebbene questi modelli performino bene sui dati di addestramento, falliscono sotto spostamenti di distribuzione in cui tali correlazioni si rompono. I metodi esistenti di mitigazione e analisi del bias richiedono tipicamente dataset curati con attributi spuri noti o etichette di gruppo, oppure necessitano del riaddestramento del modello. Tuttavia, negli scenari reali di deployment, i praticanti si trovano spesso di fronte a un modello "congelato" senza accesso alla pipeline di addestramento originale, alle annotazioni di bias o alle etichette di gruppo. La sfida consiste nell'identificare questi concetti spuri nascosti e mitigarli a posteriori senza riaddestramento o supervisione aggiuntiva.

Metodologia
Gli autori propongono un metodo senza etichette, a posteriori, per identificare e mitigare concetti spuri in modelli visivi congelati utilizzando esclusivamente le etichette di classe standard da un dataset di audit tenuto da parte. L'approccio consta di tre fasi principali:

1. Decomposizione di Concetti Non Negativi:

   • Il modello $f$ viene decomposto in $h \circ g$, dove $g$ mappa gli input in rappresentazioni intermedie $a$.
   • Per una classe target $y$, gli autori raccolgono patch dagli input predetti come $y$ e applicano la Fattorizzazione di Matrice Non Negativa (NMF) alle attivazioni $A_y$.
   • Questo produce una banca di vettori di concetti interpretabili condizionati alla classe ($W_y$) e i corrispondenti coefficienti ($U_y$), decomponendo la rappresentazione in direzioni non negative e semanticamente significative.

2. Identificazione del Bias Basata sul Gradiente:

   • L'ipotesi fondamentale è che gli attributi spuri si manifestino come direzioni di concetto distinte che reagiscono in modo asimmetrico agli aggiornamenti del gradiente su esempi mal classificati.
   • Per gli esempi mal classificati (Falsi Negativi e Falsi Positivi), gli autori calcolano il gradiente della perdita rispetto alla rappresentazione ($\nabla_a L$) e applicano un singolo passo di gradiente per creare una rappresentazione perturbata $a'$.
   • Osservano come i coefficienti di concetto cambino tra $a$ e $a'$.
   • Intuizione: Per correggere un Falso Negativo (mancata individuazione della classe target), il modello tende ad aggiungere il segnale spurio; per correggere un Falso Positivo (predizione errata della classe target), tende a rimuovere il segnale spurio. I concetti intrinseci (prove vere) non mostrano questo forte pattern asimmetrico.
   • Viene calcolato un Punteggio di Bias ($S_{y,k}$) per ogni concetto $k$ basato sulla coerenza di questi aggiustamenti e rimozioni attraverso il dataset di audit. I concetti con punteggi elevati sono classificati come direzioni candidate di bias.

3. Mitigazione al Momento dell'Inferenza:

   • Una volta identificati i concetti di bias, questi vengono soppressi al momento dell'inferenza senza aggiornare i parametri del modello.
   • Il metodo fonde le banche di concetti condizionati alla classe, raggruppa concetti simili e proietta la rappresentazione di input sul sottospazio ortogonale ai concetti di bias identificati.
   • La rappresentazione soppressa viene ridimensionata per mantenere la norma di attivazione originale prima della classificazione.

Contributi Chiave

• Scoperta Senza Etichette: Un metodo per identificare concetti spuri in modelli congelati senza richiedere annotazioni di bias o di gruppo, basandosi esclusivamente su etichette di classe standard.
• Sonde di Gradiente: Un meccanismo di punteggio innovativo che utilizza l'interazione tra le attivazioni dei concetti e i passi di gradiente per distinguere i concetti di bias dalle prove intrinseche.
• Mitigazione Azionabile: Una tecnica pratica di soppressione al momento dell'inferenza che migliora l'accuratezza del peggior gruppo senza riaddestramento o aggiornamenti dei parametri.
• Interpretabilità: Il metodo restituisce vettori di concetto con le relative patch di attivazione, fornendo un audit interpretabile di ciò su cui il modello si basa.

Risultati Sperimentali
Il metodo è stato valutato su tre benchmark standard: Colored MNIST (CMNIST), Waterbirds e CelebA.

• Allineamento dei Concetti: Su Waterbirds e CMNIST, la decomposizione NMF ha recuperato in modo affidabile concetti allineati con attributi spuri noti (ad esempio, tipo di sfondo per gli uccelli, colore per le cifre).
• Punteggio del Bias: Il punteggio basato sul gradiente proposto ha classificato con successo i concetti allineati al bias più in alto rispetto a quelli intrinseci. Una soglia di 0,55 è risultata efficace nel separare i concetti di bias.
• Prestazioni di Mitigazione:
  • Waterbirds: La soppressione dei concetti meglio classificati ha migliorato l'accuratezza del peggior gruppo di 17,9 punti percentuali (da 45,9% a 63,8%) e l'accuratezza della peggior classe di 8,5 punti.
  • CelebA: Nonostante i concetti identificati coincidessero solo parzialmente con l'attributo di genere annotato (catturando forma/lunghezza dei capelli piuttosto che solo il colore), la soppressione ha migliorato l'accuratezza del peggior gruppo di 10,4 punti percentuali (da 43,4% a 53,8%).
  • CMNIST: I risultati sono stati misti; sebbene i concetti di bias fossero stati identificati, la soppressione non ha migliorato in modo coerente l'accuratezza del peggior gruppo, probabilmente a causa del forte intreccio tra colore e forma nella specifica decomposizione di rango utilizzata.
• Confronto: Il metodo ha superato un'ablazione di soppressione casuale, confermando che le direzioni identificate sono specificamente allineate al bias. Opera senza le etichette di gruppo o il riaddestramento richiesti da baseline supervisionate come Group DRO o DFR, sebbene non raggiunga i livelli di prestazione assoluti di quei modelli riaddestrati.

Significato e Affermazioni
Il paper afferma di fornire sia uno strumento di audit interpretabile sia una maniglia di debiasing azionabile per i modelli visivi deployati. Il suo significato principale risiede nell'affrontare il "problema della scoperta" in cui il bias è sconosciuto e il riaddestramento non è fattibile.

• Gli autori sottolineano che il metodo identifica direzioni spurie rilevanti per la decisione che non devono coincidere perfettamente con gli attributi annotati (come osservato su CelebA), catturando proxy sottili come la lunghezza dei capelli o la texture dello sfondo che guidano gli errori del modello.
• L'approccio è presentato come un'intervento a costo zero, a posteriori, che può essere applicato prima di decidere se un riaddestramento più invasivo sia giustificato.
• Il paper riconosce le limitazioni, notando che la decomposizione di patch a scala singola potrebbe faticare con bias distribuiti spazialmente (come il genere su CelebA) e che il metodo richiede un numero sufficiente di esempi mal classificati nel dataset di audit per funzionare efficacemente.