Mitigating Bias in Concept Bottleneck Models for Fair and Interpretable Image Classification

Il paper propone tre tecniche di mitigazione del bias per migliorare l'equità nei Concept Bottleneck Models, ottenendo risultati superiori nel compromesso tra equità e prestazioni rispetto ai lavori precedenti.

L'essenziale

Immagina di avere un assistente molto intelligente, ma un po' "disturbato" dalle apparenze. Se gli chiedi di riconoscere cosa sta facendo una persona in una foto, lui potrebbe dire: "È un uomo che cucina" non perché vede il cibo o la padella, ma perché nota che l'uomo indossa una cravatta o ha una certa acconciatura. Questo è il problema del bias (pregiudizio): l'intelligenza artificiale impara a fare collegamenti sbagliati basati su stereotipi (es. "le donne fanno le infermiere", "gli uomini guidano i camion").

Questo articolo parla di come rendere queste intelligenze artificiali più giuste e trasparenti, usando una tecnologia chiamata Concept Bottleneck Models (CBM).

Ecco una spiegazione semplice, con qualche analogia per capire meglio.

1. Il Problema: L'Assistente che "Legge nel Pensiero" (ma sbaglia)

Di solito, le intelligenze artificiali per le immagini sono come una scatola nera: guardano milioni di pixel e tirano a indovinare. Se vuoi sapere perché hanno fatto una scelta, è difficile. Inoltre, se i dati di addestramento sono distorti (più uomini che donne in certi ruoli), l'AI impara a essere ingiusta.

2. La Soluzione Proposta: Il "Filtro dei Concetti"

Gli autori propongono un approccio diverso. Invece di far saltare direttamente dall'immagine alla risposta, fanno passare l'immagine attraverso una "stanza di controllo" fatta di concetti umani.

• L'analogia: Immagina di dover descrivere un'immagine a un amico che non vede. Invece di dire "ci sono 10.000 punti colorati", dici: "C'è una padella, c'è olio, c'è un fuoco". Questi sono i "concetti".
• Il modello prima identifica questi concetti (es. "sì, c'è una padella") e poi decide cosa sta succedendo (es. "sta cucinando").
• Il vantaggio: È più facile capire perché l'AI ha preso una decisione (ha visto la padella, non la cravatta dell'uomo).

3. Il Problema Nascosto: Le "Fughe di Informazione"

Gli autori scoprono che c'è un trucco. Anche se il modello usa concetti semplici come "padella", questi concetti nascondono ancora segreti.

• L'analogia: È come se il modello dicesse: "Vedo una padella". Ma in realtà, la "padella" che vede è così specifica (magari una padella di un certo tipo usata solo da uomini in certi film) che il modello capisce comunque il genere della persona.
• Questo è chiamato information leakage (fuga di informazioni). Il modello usa i concetti come "copertura" per nascondere i pregiudizi.

4. Come hanno risolto il problema? (I 3 Trucchi)

Per rendere il modello più giusto, hanno provato tre tecniche:

A. Il Filtro "Top-K" (Mettiamo il rumore a tacere)

Invece di ascoltare tutti i 1000 concetti che il modello pensa, ne ascoltiamo solo i top 10 più importanti.

• L'analogia: Immagina di essere in una stanza piena di gente che urla cose diverse. Se ascolti tutti, senti un caos. Se ascolti solo le 10 voci più forti e chiare, capisci meglio il messaggio e ignori i sussurri di sottofondo che potrebbero contenere pregiudizi.
• Risultato: Funziona molto bene. Il modello diventa più giusto e più facile da capire, senza perdere molta precisione.

B. Cancellare i Concetti "Cattivi" (Il taglio chirurgico)

Hanno provato a rimuovere i concetti che sembrano razzisti o sessisti (es. togliere "cravatta" o "gonna" dalla lista).

• Il risultato: Non è stato molto efficace. Perché? Perché il modello è furbo: se togli "cravatta", impara a usare "giacca" o "orologio" per capire lo stesso il genere. È come cercare di fermare l'acqua con le mani: l'informazione trova sempre un'altra via.

C. L'Avversario (Il "Giudice" che controlla)

Hanno aggiunto un secondo "mini-modello" che fa da giudice. Mentre il modello principale cerca di indovinare l'azione (es. "cucinare"), il giudice cerca di indovinare il genere della persona basandosi solo su quella risposta.

• L'analogia: È come un gioco di carte. Il giocatore principale deve dire "Ho vinto" senza far capire se ha in mano carte rosse o nere. Il giudice prova a indovinare il colore. Se il giudice indovina troppo spesso, il giocatore principale deve cambiare strategia per ingannarlo.
• Risultato: Questo costringe il modello a imparare a fare il suo lavoro (cucinare) senza usare indizi sul genere.

5. La Conclusione: Un Passo in Avanti

Alla fine, gli autori dicono che non esiste una soluzione magica perfetta. C'è sempre un compromesso:

• Se vuoi che il modello sia super preciso, deve guardare molti dettagli (e rischia di essere ingiusto).
• Se vuoi che sia giusto e trasparente, devi semplificare (e potresti perdere un po' di precisione).

Tuttavia, combinando il Filtro Top-K (ascoltare solo le voci più forti) con il Giudice Avversario, sono riusciti a ridurre i pregiudizi del 28% con una perdita di precisione quasi nulla.

In sintesi: Hanno creato un sistema che spiega le sue decisioni usando parole semplici, ma che è stato "pulito" per assicurarsi che non stia usando quelle parole come scuse per fare discriminazioni. È un grande passo verso un'intelligenza artificiale che non solo è intelligente, ma anche onesta e comprensibile.

Sommario tecnico

1. Problema e Contesto

I sistemi di visione artificiale hanno fatto progressi significativi, ma spesso perpetuano e amplificano pregiudizi esistenti (bias), specialmente in relazione ad attributi sensibili come il genere. Sebbene i Modelli a Collo di Bottiglia di Concetti (CBM - Concept Bottleneck Models) siano stati progettati per migliorare l'interpretabilità mappando le immagini su concetti umani comprensibili prima di fare previsioni, la ricerca ha dimostrato che non sono intrinsecamente equi.
Il problema centrale identificato è la perdita di informazioni (information leakage): i vettori di attivazione dei concetti nei CBM codificano spesso informazioni nascoste non correlate alla semantica del concetto stesso, inclusi attributi sensibili (es. genere). Questo fenomeno compromette sia l'equità che l'interpretabilità, creando un compromesso (trade-off) tra prestazioni, equità e trasparenza. Il paper si concentra sul dataset ImSitu (riconoscimento di azioni) per simulare scenari reali e quantificare questi bias.

2. Metodologia

Gli autori hanno implementato una versione modificata del framework Label-free CBM, utilizzando GPT-3 per generare i concetti e CLIP (Contrastive Language-Image Pre-Training) per l'inferenza dei concetti, evitando così la necessità di etichette manuali costose.

L'architettura proposta (CLIP-CBM) prevede:

1. Codifica delle immagini: Utilizzo del codificatore immagini di CLIP (ViT-B/16).
2. Generazione e filtraggio dei concetti: GPT-3 genera concetti basati sui verbi delle classi ImSitu. Vengono applicati filtri per rimuovere concetti troppo lunghi, simili alle classi target o ad altri concetti, e con bassa attivazione.
3. Strato di bottiglia: Le immagini sono rappresentate come vettori di attivazione dei concetti (sparsi).
4. Classificatore: Un layer fully connected (FC) sparso mappa i concetti alle classi target, regolarizzato con norme L1 e L2 per favorire la sparsità.

Per mitigare il bias, sono state proposte e valutate tre tecniche principali:

• Riduzione della perdita di informazioni (Information Leakage):
  • Filtro Top-k: Invece di affidarsi solo alla regolarizzazione sparsa, viene mantenuto solo il top-k delle attivazioni dei concetti per ogni immagine, azzerando il resto. Questo simula un modello mentale umano che si concentra sulle caratteristiche più salienti.
  • Quantizzazione: Raggruppamento dei valori di attivazione in "bucket" per ridurre la capacità del modello di apprendere distribuzioni nascoste dai valori bassi.
• Rimozione dei concetti biasati: Identificazione e rimozione dei concetti che fungono da proxy per attributi sensibili (es. "cravatta" per il genere maschile, "parrucchiere" per il femminile). Questo è stato testato sia tramite un classificatore di genere addestrato sui pesi dei concetti, sia tramite l'autoreferenziazione (self-rating) di un LLM.
• Debiasing Avversariale: Un approccio di ottimizzazione duale in cui il modello principale impara a classificare le azioni, mentre un avversario tenta di prevedere l'attributo sensibile (genere) dall'output del modello. L'obiettivo è massimizzare le prestazioni di classificazione minimizzando la capacità di prevedere il genere.

3. Contributi Chiave

1. Analisi del Trade-off: Dimostrazione che i CBM, sebbene interpretabili, soffrono di una perdita di informazioni che crea un compromesso tra equità, interpretabilità e prestazioni. Un numero elevato di concetti è necessario per alte prestazioni, ma ciò aumenta la fuoriuscita di informazioni sensibili.
2. Filtro Top-k: Proposta di un filtro top-k per le attivazioni dei concetti che supera la semplice sparsità nel bilanciare equità e prestazioni, senza richiedere etichette di attributi sensibili durante il debiasing.
3. Limiti della Rimozione dei Concetti: Scoperta che la rimozione statica dei concetti biasati è inefficace perché il modello tende a "ricodificare" le informazioni di genere attraverso altri concetti durante il ri-addestramento. La rimozione efficace richiede l'azzeramento delle attivazioni al momento dell'inferenza (test time).
4. Debiasing Avversariale su CBM: Applicazione del debiasing avversariale a un modello interpretabile, dimostrando che permette di ottimizzare il trade-off equità-prestazioni e offre trasparenza sul processo di rimozione del bias (tramite l'analisi degli spostamenti dei pesi dei concetti).

4. Risultati

I risultati sono stati valutati sul dataset ImSitu (20.792 immagini) utilizzando metriche di amplificazione del bias e perdita di dati/modello.

• Confronto Baseline: Il CLIP-CBM ha prestazioni leggermente inferiori al DNN (CLIP-DNN) ma offre maggiore interpretabilità. Tuttavia, amplifica il bias quasi quanto il DNN a causa della perdita di informazioni.
• Filtro Top-k: Il filtro top-k (es. k=1000) ha raggiunto prestazioni vicine al DNN con un'amplificazione del bias inferiore. A k=30, si ottiene un'accuratezza del 37,5% (molto superiore al 12% ottenuto con la sola sparsità a parità di numero di concetti).
• Rimozione Concetti: La rimozione dei concetti biasati (sia tramite classificatore che LLM) ha prodotto miglioramenti minimi (riduzione del bias amplificato dello 0,3-0,5%) con una perdita di accuratezza dello 0,6%, confermando che la semplice rimozione non risolve il problema della perdita di informazioni latente.
• Debiasing Avversariale: Applicando il debiasing avversariale al CBM (sia con sparsità che con filtro top-k), si è ottenuta una riduzione del bias amplificato di circa il 28% rispetto al modello di base, con una perdita di accuratezza minima (tra lo 0,7% e l'1,3%).
• Risultato Ottimale: La combinazione di Filtro Top-k + Debiasing Avversariale ha prodotto il miglior compromesso, riducendo il bias del 28% con una perdita di accuratezza trascurabile.

5. Significato e Conclusioni

Il paper dimostra che i CBM possono essere resi equi e interpretabili, ma non sono una soluzione "magica" priva di compromessi.

• Trasparenza: A differenza dei modelli "black-box", i CBM debiasati permettono di osservare come i pesi dei concetti cambiano durante il processo di debiasing, fornendo trasparenza sul comportamento del modello e prevenendo il "fairness gerrymandering" (ottimizzazione ingannevole delle metriche).
• Indipendenza dalle Etichette Sensibili: Il filtro top-k permette di migliorare l'equità senza necessitare di ground truth per gli attributi sensibili durante il debiasing, un vantaggio cruciale in scenari reali dove tali dati sono rari o costosi.
• Implicazioni Future: La ricerca evidenzia che i CBM "label-free" (basati su LLM) possono essere meno interpretabili dei CBM tradizionali a causa della generazione di concetti meno precisi e più rumorosi. Tuttavia, le tecniche proposte, in particolare il filtro top-k combinato con il debiasing avversariale, rappresentano un passo decisivo verso sistemi di classificazione delle immagini più equi, trasparenti e robusti.