A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support

Sintesi Tecnica: Una Prospettiva Geometrica sul Comportamento Controfattuale

Definizione del Problema
Le spiegazioni controfattuali mirano a identificare variazioni di input piccole e semanticamente significative che alterino la predizione di un modello. Sebbene siano ampiamente utilizzate per l'audit dei sistemi di machine learning, gli attuali metodi trattano la generazione di controfattuali come un problema di ottimizzazione locale vincolato dalla fattibilità specifica del compito. Tuttavia, una perturbazione che cambia la predizione può esistere entro un budget di località ma non corrispondere a un'alternativa realistica se approda in una regione con debole supporto dei dati. Inoltre, modelli con prestazioni predittive quasi identiche possono esibire comportamenti controfattuali vastamente differenti. Questo lavoro investiga il perché di tali discrepanze, ipotizzando che il comportamento controfattuale non sia funzione esclusivamente dell'accuratezza predittiva, ma sia governato dall'interazione geometrica tra prossimità del confine decisionale e supporto locale dei dati nello spazio di rappresentazione.

Metodologia
Gli autori propongono un framework geometrico e una sonda di ricerca locale standardizzata per valutare il comportamento controfattuale attraverso diversi domini (visione, linguaggio, imaging medico e multimodale).

1. Framework Geometrico:

   • Prossimità del Confine Decisionale ($dbd(z)$): Definita come la distanza dal confine decisionale più vicino, approssimata tramite una linearizzazione del primo ordine del gap di logit tra le prime due classi predette.
   • Supporto della Classe Target Locale ($r_k(z)$): Definita come la distanza euclidea da un embedding $z$ al suo $k$-esimo vicino più prossimo all'interno del set di riferimento della classe target nello spazio di embedding. Questo misura se la regione target è densamente popolata di dati.
   • Ipotesi: Il lavoro testa tre ipotesi: (H1) Modelli con accuratezza corrispondente differiscono nel comportamento controfattuale; (H2) Variare l'head del classificatore sotto embedding fissi altera il comportamento controfattuale; e (H3) L'interazione tra prossimità del confine e supporto locale predice gli esiti controfattuali.

2. Configurazione Sperimentale:

   • Encoder: Lo studio valuta diversi encoder pre-addestrati (ad es. ResNet-50, ViT, BERT, CLIP, SigLIP2) su dataset come Shapes, MNIST, Chest X-ray, IMDb e MM-IMDb.
   • Classifier Heads: Classificatori lineari sono addestrati su embedding congelati. Per isolare l'effetto del posizionamento del confine, gli autori addestrano molteplici head sugli stessi embedding utilizzando diverse inizializzazioni e intensità di regolarizzazione (weight decay).
   • Protocollo di Ricerca: Viene utilizzata una discesa del gradiente proiettata standardizzata nello spazio di embedding per trovare un cambiamento di predizione entro una regione di fiducia fissa ($\tau$) e un budget di iterazioni.
   • Metriche: Successo Controfattuale (CF-Suc), Distanza Controfattuale (CF-Dist) ed Effort di Ottimizzazione (OptEff).

Contributi Chiave

1. Framework Geometrico e Sonda: Introduzione di un metodo standardizzato per valutare il comportamento controfattuale basato sull'interazione tra prossimità del confine e supporto locale dei dati, andando oltre le semplici metriche predittive.
2. Isolamento degli Effetti del Confine: Dimostrazione che, sotto rappresentazioni fisse, variare solo l'head del classificatore (tramite inizializzazione o regolarizzazione) può alterare sostanzialmente il successo e la distanza controfattuale pur lasciando pressoché invariata l'accuratezza predittiva.
3. Potere Predittivo Congiunto: Evidenza che la sola prossimità del confine è insufficiente; la combinazione di prossimità del confine e supporto locale è necessaria per spiegare la variazione nella fattibilità e nell'effort controfattuale.

Risultati

• Divergenza nei Modelli con Accuratezza Corrispondente: Modelli con scarti minimi di accuratezza (ad es. <0,02) hanno mostrato grandi discrepanze nel comportamento controfattuale. Ad esempio, su MNIST, due modelli con uno scarto di accuratezza di 0,01 hanno mostrato una differenza di 65 punti percentuali nei tassi di successo controfattuale.
• Sensibilità del Classificatore: Quando l'encoder era congelato e solo l'head del classificatore lineare veniva variato, i tassi di successo controfattuale variavano significativamente (ad es. gap di CF-Suc da 0,12 a 0,32) nonostante la stabilità dell'accuratezza. L'aumento della regolarizzazione ha spostato la distanza media del confine, il che correlava monotonicamente con un minore successo controfattuale.
• Modellazione Predittiva del Comportamento: Modelli di regressione che utilizzavano solo l'accuratezza o la cross-entropy loss hanno spiegato poca varianza negli esiti controfattuali. Tuttavia, modelli che incorporavano $dbd(z)$e$r_k(z)$ hanno ottenuto punteggi $R^2$ significativamente più alti. Nello specifico, l'aggiunta del supporto locale dei dati alla prossimità del confine ha migliorato costantemente il potere predittivo in tutti i dataset.
• Flip Supportati vs Non Supportati: Lo studio distingue tra "flip supportati" (raggiungere una regione target con forte supporto locale dei dati) e "flip non supportati" (attraversare un confine verso regioni sparse). Si è scoperto che l'efficacia del comportamento controfattuale dipende fortemente dal raggiungere regioni supportate, non semplicemente dall'attraversare un confine.
• Miglioramento della Ricerca tramite Geometria: In un caso di studio su MNIST, l'aggiunta di prior geometrici all'obiettivo di ricerca controfattuale (penalizzando la distanza dai vicini della classe target) ha avuto successo nel migliorare gli esiti della ricerca dove i baseline standard fallivano, dimostrando l'utilità pratica di questi segnali geometrici.

Significatività e Rivendicazioni
Il paper sostiene che il comportamento controfattuale costituisce una dimensione distinta della valutazione dei modelli, separata dalle prestazioni predittive e dalla robustezza basata sul margine. Gli autori sostengono che:

• La fattibilità controfattuale non è invariante tra modelli funzionalmente simili; essa dipende criticamente da come il classificatore posiziona i confini rispetto alla struttura locale dei dati.
• Le metriche predittive standard (accuratezza, loss) sono insufficienti per l'audit delle spiegazioni controfattuali o dei sistemi di recourse.
• Comprendere l'interazione tra prossimità del confine e supporto locale è essenziale per la selezione del modello, l'analisi della robustezza e la progettazione di metodi controfattuali più affidabili.
• I risultati suggeriscono che i futuri metodi controfattuali dovrebbero esplicitamente tenere conto del supporto locale dei dati per garantire che le spiegazioni generate risiedano in regioni supportate dalla distribuzione dei dati.

Il lavoro conclude che, sebbene questi fattori geometrici spieghino la variazione nelle attuali configurazioni di head lineari, estendere questa prospettiva a modelli non lineari end-to-end e sviluppare obiettivi controfattuali consapevoli della geometria rimane una direzione per la ricerca futura.