💻 computer science

Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias

Questo articolo introduce un metodo per raggruppare le mappe di attribuzione per singola immagine in modelli ricorrenti di scorciatoie spaziali utilizzando tecniche di clustering, consentendo l'identificazione di specifici sottoinsiemi di immagini con tassi di errore elevati e lo sviluppo di interventi mirati che riducano le disparità di prestazioni nei modelli di visione.

Autori originali: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Pubblicato 2026-08-17

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un bambino a riconoscere diversi tipi di animali. Gli mostri la foto di una mucca in un campo verde, e lui impara che "mucca" significa "animale con le macchie in un campo". Poi gli mostri una mucca in una stalla innevata, e lui si confonde perché la parte "campo" è scomparsa. Questo è esattamente ciò che accade con alcuni modelli di intelligenza artificiale (IA). Sono incredibilmente bravi a individuare schemi, ma a volte diventano pigri. Inveve di imparare le caratteristiche reali dell'oggetto che dovrebbero identificare (come la forma di una mucca), si aggrappano a indizi facili e accidentali (come l'erba verde) che compaiono casualmente nelle loro foto di addestramento. Nel mondo dell'informatica, questo è chiamato "apprendimento per scorciatoie" (shortcut learning). È come uno studente che impara a memoria lo stile del carattere tipografico della chiave di risposta invece di studiare davvero la matematica. Il problema è che queste scorciatoie funzionano benissimo finché il test cambia — come quando la mucca appare in una stalla. Quando ciò accade, l'IA fallisce, e se questi fallimenti accadono più spesso per determinati gruppi di persone (come i pazienti di un ospedale specifico), l'IA diventa ingiusta o parziale.

Questo articolo parla di un nuovo modo per intercettare queste scorciatoie pigre prima che causino problemi. I ricercatori hanno costruito uno strumento che agisce come un "detective spaziale" per l'IA. Invece di guardare solo la risposta finale, sbirciano dentro il cervello del modello per vedere esattamente dove l'IA sta guardando nell'immagine. Hanno scoperto che i modelli di IA hanno spesso molteplici e distinti "scorciatoie" che utilizzano per diverse immagini. Alcune immagini potrebbero innescare una scorciatoia basata sullo sfondo, mentre altre potrebbero fare affidamento su un bizzarro artefatto della fotocamera. In questo modo, l'IA diventa ingiusta o parziale.

Il lavoro da detective: Trovare le scorciatoie

Il team di autori, un gruppo proveniente dal King's College London, si è posto l'obiettivo di risolvere un mistero specifico: i metodi esistenti potevano dirti che un'IA stava usando scorciatoie, ma non potevano dirti come o dove le stesse usando in un modo che aiutasse a correggere errori specifici di determinati gruppi. Immagina di cercare di trovare un ladro in una città guardando una mappa sfocata e mediata di tutti i crimini commessi. Sapresti che il crimine avviene, ma non sapresti se il ladro è un borseggiatore in un parco o un ladro in casa nelle periferie. I vecchi metodi erano come quella mappa sfocata; raggruppavano tutte le immagini insieme, nascondendo il fatto che diverse immagini avevano diversi tipi di scorciatoie.

Il team ha sviluppato un metodo per scomporre questo processo. Per prima cosa, hanno esaminato tre diverse "visioni" dell'immagine per ogni singola foto che l'IA vedeva:

La Visione del Compito (Task View): Ciò che l'IA ritiene importante per il lavoro (ad esempio, identificare un tumore).
La Visione della Scorciatoia (Shortcut View): Ciò che l'IA ritiene importante per un tratto sensibile (ad esempio, l'ospedale da cui proviene la foto, o il genere della persona).
La Visione Equa (Fair View): Un modello di riferimento addestrato per essere equo, ignorando i tratti sensibili.

Confrontando queste visioni, hanno creato una "mappa di contribuzione" per ogni singola immagine. Questa mappa evidenzia i pixel specifici che l'IA ha utilizzato per prendere la sua decisione. Se l'IA stava usando delle scorciatoie, la mappa si illuminerebbe nello sfondo o su un particolare artefatto piuttosto che sull'oggetto reale.

Raggruppare i pattern

Qui avviene la magia. I ricercatori hanno preso queste migliaia di mappe individuali e hanno utilizzato una tecnica di ordinamento matematico (chiamata K-means e Decomposizione in Matrici Non Negative) per raggrupparle in "Gruppi di Scorciatoie". Pensa a questo come a smistare un enorme mucchio di pezzi di puzzle mescolati in scatole distinte in base ai pattern presenti sui pezzi.

Hanno scoperto che le scorciatoie non erano solo un grande ammasso di cattivo comportamento. Al contrario, c'erano diversi "personalità" di scorciatoie. Ad esempio, su un dataset di foto di uccelli, hanno trovato un gruppo di scorciatoie dove l'IA guardava lo sfondo acquatico, e un altro gruppo dove guardava lo sfondo terrestre. Su un dataset di radiografie del torace, hanno trovato scorciatoie che si concentravano sull'ombra del seno o sulle parti inferiori del polmone, mentre le aree "buone" focalizzate sul compito erano proprio al centro dei polmoni.

Questi gruppi sono stati incredibilmente utili. I ricercatori hanno scoperto che se avessero esaminato solo il top 20% delle immagini appartenenti ai gruppi di scorciatoie ad "alto rischio", avrebbero potuto trovare una parte massiccia degli errori totali del modello. In alcuni casi, come con il dataset degli uccelli, questo piccolo gruppo conteneva quasi il 74% di tutti gli errori commessi dal modello. Ciò significa che gli auditor non devono controllare ogni singola immagine; possono semplicemente controllare i "gruppi di scorciatoia" specifici per trovare i problemi rapidamente.

Il tasto "Ricomincia": Correggere il modello

La parte più eccitante dell'articolo è che non si sono limitati a trovare i problemi; hanno cercato di risolverli in tempo reale senza riaddestrare l'intero modello. Hanno testato due tipi di "interventi" sulle immagini:

Mascheramento dell'Input (Input Masking): Hanno letteralmente coperto le parti dell'immagine che l'IA stava usando come scorciatoia.
Intervento nello Spazio delle Caratteristiche (Feature Space Intervention): Sono entrati nell'elaborazione interna del modello e hanno detto all'IA di "abbassare il volume" dei segnali della scorciatoia e di "alzare il volume" dei segnali del compito reale.

I risultati sono stati affascinanti. Quando hanno mascherato le aree di "scorciatoia", le prestazioni del modello spesso rimanevano invariate o addirittura miglioravano leggermente, dimostrando che quelle aree non erano effettivamente necessarie per il lavoro. Tuttavia, quando hanno mascherato le aree del "compito" (i veri indizi), il modello crollava, confermando che quelle erano le parti importanti.

La vera vittoria è arrivata da un approccio combinato: sopprimere le scorciatoie aumentando al contempo il compito reale. Quando hanno fatto questo, il divario di prestazioni tra i diversi gruppi (come diversi generi o ospedali) si è ridotto significamente. Ad esempio, sul dataset dei volti CelebA, questo metodo ha ridotto il divario di prestazioni di circa 7,8 punti percentuali. Sul dataset delle radiografie del torace CheXpert, ha ridotto il divardo di ben 20,3 punti percentuali.

Cosa significa questo

L'articolo suggerisce che, raggruppando queste scorciatoie spaziali, possiamo creare un quadro molto più chiaro di dove i modelli di IA stanno fallendo. Non si tratta solo di dire "questo modello è parziale"; si tratta di dire "questo modello sta usando scorciatoie guardando lo sfondo in questi specifici 8 tipi di pattern".

I ricercatori hanno dimostrato che questi gruppi sono stabili e affidabili. Anche se avessero riaddestrato i modelli di supporto utilizzati per rilevare le scorciatoie, i gruppi sarebbero rimasti coerenti. Hanno anche testato il metodo su diversi tipi di architetture di IA (come ResNet e ViT) e su diversi dataset (da lesioni cutanee alle foto di uccelli), e il metodo ha funzionato in tutto il campo.

Tuttano, gli autori avvertono con cautela che questo non è un bacchetta magica che risolve tutto. In alcuni casi medici complessi, come i vetrini di istopatologia dove la "scorciatoia" è una sottile differenza di colorazione proveniente da un laboratorio specifico, la semplice soppressione dell'area spaziale non è stata sufficiente a correggere il bias. Ma per molti altri casi, questo metodo di trovare, raggruppare e sopprimere le scorciatoie spaziali offre un nuovo modo potente per auditare e migliorare l'IA, rendendola più equa e affidabile senza dover ricominciare da capo. Trasforma la mappa sfocata del bias dell'IA in una guida dettagliata e azionabile per correggere gli errori.

Sintesi Tecnica: Scoperta e Caratterizzazione Spaziale di Molteplici Gruppi di Shortcut per l'Auditing del Bias nei Modelli di Visione

Definizione del Problema

I modelli di deep learning spesso raggiungono un'elevata accuratezza media affidandosi a caratteristiche di tipo "shortcut" (scorciatoie)—correlazioni spurie presenti nella distribuzione di addestramento che non si generalizzano al tempo di test, in particolare all'interno di specifiche sottopopolazioni. Sebbene i test out-of-distribution possano rivelare disparità di prestazioni, essi non riescono a localizzare le regioni specifiche dell'immagine associate a tali shortcut. I metodi di auditing basati sull'attribuzione esistenti, come OSCAR, tipicamente aggregano le mappe di attribuzione attraverso l'intero dataset per produrre un'unica mappa di contribuzione a livello di dataset. Questa aggregazione assume una coerenza spaziale delle caratteristiche di shortcut in tutte le immagini, rischiando potenzialmente di mascherare pattern spaziali ricorrenti che si verificano solo in subset di immagini o che interagiscono diversamente con le evidenze rilevanti per il task in diversi sottogruppi. Di conseguenza, gli auditor mancano di prove spaziali azionabili per identificare subset di immagini ad alto rischio o per comprendere la natura specifica della dipendenza dagli shortcut in modelli fissi e già addestrati.

Metodologia

Il framework proposto, Spatial Shortcut Group Discovery, affronta queste limitazioni calcolando mappe di contribuzione a livello di immagine e raggruppandole per rivelare pattern spaziali ricorrenti. Il metodo procede in quattro fasi principali:

Attribuzione e Classificazione a Livello di Immagine:
Vengono utilizzati tre modelli: il modello del task oggetto di audit ( $f_{TS}$ ), un modello baseline con bias ridotto ( $f_{BA}$ ) addestrato su un dataset bilanciato per attributi, e un modello dell'attributo sensibile ( $f_{SA}$ ). Le mappe di attribuzione (ad es., LRP, AttnLRP) sono generate per ciascun modello, partizionate in una griglia di $R$ regioni mutuamente esclusive e convertite in vettori spaziali a bassa risoluzione. Fondamentalmente, questi vettori vengono classificati (ranked) all'interno di ogni immagine per preservare la variazione immagine-immagine.
Allineamento Condizionale e Mappe di Contribuzione:
Utilizzando la correlazione parziale, il metodo calcola i punteggi di allineamento a livello di immagine:
- Allineamento dello Shortcut ( $\rho_{sc}$ ): Misura l'allineamento tra $f_{TS}$ e $f_{SA}$ dopo aver rimosso l'effetto lineare di $f_{BA}$ . Punteggi elevati indicano che il modello del task utilizza regioni associate all'attributo sensibile.
- Allineamento del Task ( $\rho_{task}$ ): Misura l'allineamento tra $f_{TS}$ e $f_{BA}$ dopo aver rimosso l'effetto di $f_{SA}$ .
  Le mappe di contribuzione a livello di regione ( $m_{sc}$ e $m_{task}$ ) sono derivate decomponendo questi punteggi di allineamento, mantenendo solo i contributi positivi che supportano i rispettivi allineamenti.
Raggruppamento di Pattern Spaziali:
Le mappe di contribuzione dello shortcut e del task per ogni immagine vengono concatenate e normalizzate. Queste rappresentazioni vengono poi raggruppate in pattern spaziali ricorrenti utilizzando due approcci:
- K-means: Assegna ogni immagine a un singolo "gruppo di shortcut".
- Non-negative Matrix Factorization (NMF): Permette alle immagini di esprimere più pattern simultaneamente, fornendo pesi di appartenenza "soft".
  Il risultato è un insieme di prototipi di gruppi di shortcut (medie pesate per l'appartenenza) e immagini di esempio rappresentative per ogni gruppo.
Interventi Spaziali al Tempo di Test:
Per validare l'utilità di queste mappe, il paper impiega il masking dell'input e interventi nello spazio delle feature interne.
- Input Masking: Occultamento delle regioni con alti contributi di shortcut o di task per osservare la degradazione delle prestazioni.
- Interventi nello Spazio delle Feature: Proposta di soppressione dello shortcut (rimozione dei componenti del task dalle mappe di shortcut prima della soppressione) e amplificazione del task (rimozione dei componenti di shortcut dalle mappe di task prima dell'amplificazione). Un approccio combinato applica entrambi simultaneamente per ridurre le disparità tra i sottogruppi pur preservando l'accuratezza.

Contributi Chiave

Scoperta di Pattern di Shortcut Spaziali: Il paper introduce un metodo per calcolare mappe di contribuzione di shortcut e task a livello di immagine e raggrupparle tramite K-means e NMF. Ciò rivela che molteplici pattern spaziali di shortcut coerenti, con distinti composizioni di sottogruppi e tassi di errore, possono coesistere all'interno di un singolo dataset, una sfumatura che viene persa nell'aggregazione a livello di dataset.
Auditing Mirato dei Fallimenti: Il framework dimostra che l'appartenenza ai gruppi di shortcut può essere utilizzata per costruire punteggi di rischio che identificano subset di immagini contenenti una frazione sproporzionatamente grande del totale degli errori di test del modello. Ciò consente agli auditor di concentrare gli sforzi di ispezione su subset ad alto rischio piuttosto che su campionamenti casuali.
Interventi Azionabili al Tempo di Test: Lo studio valida che le mappe spaziali identificate contengono evidenze azionabili. Il masking delle regioni di contribuzione del task degrada le prestazioni, mentre un intervento combinato di soppressione dello shortcut e amplificazione del task riduce generalmente le disparità di prestazione tra i sottogruppi (misurate tramite il Largest Performance Gap, LPG) attraverso vari dataset e architetture.

Risultati Sperimentali

Il metodo è stato valutato su cinque dataset (CelebA, CheXpert, Waterbirds, Camelyon17, ISIC2019) e due architetture (ResNet50, ViT-B/16).

Scoperta di Pattern: L'ispezione visiva dei prototipi dei gruppi di shortcut ha rivelato strutture spaziali distinte. Ad esempio, in CelebA, alcuni gruppi mostravano una dipendenza dallo shortcut concentrata nelle regioni dei capelli (rilevanti per il task), mentre altri si focalizzavano su sfondo/abbigliamento. In CheXpert, i gruppi di shortcut evidenziavano regioni non polmonari (es. ombre mammarie), mentre i gruppi del task si concentravano sulle regioni polmonari.
Identificazione del Rischio: I punteggi di rischio basati sui gruppi di shortcut hanno identificato con successo subset che contenevano significativamente più errori rispetto ai baseline casuali. Ad esempio, sul modello CelebA ViT, il top 20% delle immagini classificate per punteggio di rischio conteneva circa il 63,5% del totale degli errori nel set di test (rispetto al 20% atteso per puro caso). Il raggruppamento basato su NMF ha generalmente superato il K-means in termini di cattura degli errori e stabilità tra modelli addestrati indipendentemente.
Efficacia dell'Intervento:
- Input Masking: Il masking delle regioni ad alto contributo del task ha causato cali drastici delle prestazioni, confermando che queste regioni sono critiche per la predizione. Il masking delle regioni di shortcut ha avuto effetti variabili, spesso preservando o migliorando leggermente l'accuratezza, suggerendo che questi indizi siano non essenziali o spurii.
- Interventi sulle Feature: L'intervento combinato di soppressione dello shortcut e amplificazione del task ha costantemente ridotto il Largest Performance Gap (LPG) nella maggior parte dei dataset. Ad esempio, su CheXpert con ViT, l'intervento combinato ha ridotto l'LPG di 12,8 punti percentuali mantenendo o migliorando leggermente l'accuratezza.
- Interventi Iterativi: L'applicazione ripetuta degli interventi ha ulteriormente ridotto i punteggi di allineamento dello shortcut e le disparità tra i sottogruppi, dimostrando l'utilità delle mappe per l'auditing iterativo.

Significato e Claim

Il paper sostiene che la scoperta di gruppi di shortcut spaziali colmi il divario tra ispezione visiva, auditing mirato e intervento al tempo di test. Superando l'aggregazione a livello di dataset, il framework fornisce un riassunto compatto e ispezionabile di come la dipendenza dagli shortcut vari tra le immagini e i sottogruppi.

Gli autori sottolineano che il loro approccio non richiede il riaddestramento del modello, rendendolo applicabile a sistemi di visione fissi e già distribuiti. I prototipi e i punteggi di rischio risultanti offrono un workflow pratico per gli auditor per:

Visualizzare pattern spaziali ricorrenti di bias che altrimenti rimarrebbero nascosti.
Dare priorità a subset di dati per la revisione manuale basata su alti tassi di errore.
Intervenire al tempo di test per mitigare le disparità sopprimendo gli indizi spurii e amplificando le evidenze rilevanti per il task.

Il lavoro rimane modesto riguardo alla generalizzazione, notando che, sebbene il metodo gestisca efficacemente un singolo attributo sensibile, gli scenari reali possono coinvolgere molteplici attributi interagenti. Inoltre, la partizione basata su griglia assume un certo grado di allineamento spaziale, il che potrebbe limitarne l'applicabilità a dataset con alta variabilità spaziale senza ulteriori adattamenti. Il lavoro stabilisce una base per l'uso di pattern di contribuzione spaziale per guidare l'interpretabilità azionabile nei modelli di visione.