🤖 machine learning

Debugging Concept Bottleneck Models through Removal and Retraining

Il paper presenta CBDebug, un nuovo framework interpretabile per il debug dei Concept Bottleneck Models che, attraverso un processo di rimozione e retraining, trasforma il feedback degli esperti a livello di concetto in etichette ausiliarie a livello di campione per mitigare i bias e ridurre la dipendenza da concetti indesiderati.

Autori originali: Eric Enouen, Sainyam Galhotra

Pubblicato 2026-03-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Eric Enouen, Sainyam Galhotra

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente medico o un esperto di uccelli molto intelligente, ma che ha un difetto: impara le scorciatoie sbagliate.

Questo è il problema che affronta la ricerca di Eric Enouen e Sainyam Galhotra della Cornell University. Parliamo di un tipo di intelligenza artificiale chiamata Modello a Collo di Bottiglia dei Concetti (CBM).

Ecco come funziona la storia, spiegata con un'analogia semplice:

1. Il Problema: L'Assistente che "Bara"

Immagina di insegnare a un bambino a riconoscere gli uccelli acquatici (come le anatre) da quelli di terra (come i piccioni).

L'approccio corretto: Guardare il becco, le piume, la forma del corpo.
L'approccio "baro" (scorciatoia): Se nel tuo libro di testo tutte le foto di anatre hanno l'acqua sullo sfondo e tutte le foto di piccioni hanno l'erba, il bambino imparerà a dire: "Acqua = Anatra, Erba = Piccione".

Se mostri al bambino un'anatra su un prato, si confonderà e dirà che è un piccione. Questo è ciò che fanno le intelligenze artificiali quando i dati di addestramento sono distorti: imparano a guardare lo sfondo invece dell'oggetto.

I modelli CBM sono speciali perché, invece di dire solo "è un'anatra", ti mostrano cosa hanno guardato: "Vedo un becco curvo, vedo l'acqua". Questo permette a un esperto umano di dire: "Ehi, hai guardato l'acqua! Quella è una scorciatoia sbagliata!".

2. Il Vecchio Metodo: "Taglia e Via"

Fino ad ora, se un esperto diceva "Cancella il concetto 'acqua'!", l'IA semplicemente rimuoveva quella parola dalla sua lista.
Il problema? È come togliere il cartello "Vietato fumare" da un locale affollato: il fumo (il pregiudizio) è ancora lì, nascosto. L'IA potrebbe continuare a usare l'acqua per fare previsioni, anche se non la nomina più, oppure potrebbe andare nel panico e non sapere più come riconoscere l'anatra.

3. La Soluzione: CBDebug (Il "Ristrutturatore")

Gli autori propongono un nuovo metodo chiamato CBDebug. Immaginalo non come un semplice cancellino, ma come un ristrutturatore di case che fa due cose:

Passo 1: Rimozione (Il "Demolitore")

L'esperto umano guarda le spiegazioni dell'IA e dice: "Questo concetto (es. 'spiaggia') è inutile e ingannevole, rimuovilo".
Fin qui, è come il vecchio metodo. Ma qui si ferma.

Passo 2: Rieducazione (Il "Costruttore")

Qui entra in gioco la magia di CBDebug. Invece di limitarsi a cancellare, l'IA viene riaddestrata in modo intelligente:

Trova le "vittime": L'IA guarda tutti i suoi vecchi errori. "Ah, ho sbagliato a classificare questa anatra perché pensavo che la spiaggia fosse importante".
Crea nuovi esempi: L'IA prende quelle immagini sbagliate e le "mescola" con immagini corrette. È come se l'esperto prendesse una foto di un'anatra sulla spiaggia, la tagliasse e ci incollasse sopra un po' di erba o di cielo, dicendo: "Vedi? L'anatra è sempre un'anatra, anche se lo sfondo cambia!".
Dà più importanza alle lezioni difficili: L'IA viene istruita a prestare più attenzione agli esempi che prima sbagliava (quelli con lo sfondo ingannevole) e meno a quelli facili.

L'Analogia Finale: L'Allenatore di Calcio

Immagina un allenatore (l'IA) che ha un giocatore che segna gol solo quando c'è il sole, perché pensa che il sole sia la chiave per segnare.

Metodo vecchio: L'allenatore dice al giocatore: "Non guardare più il sole!". Il giocatore rimane confuso e smette di segnare.
Metodo CBDebug: L'allenatore dice: "Non guardare il sole. Guarda il pallone!". Poi, organizza un allenamento speciale: fa giocare il giocatore sotto la pioggia, nel vento e di notte, ma gli dà un premio extra ogni volta che segna in queste condizioni difficili. Così, il giocatore impara a ignorare il meteo e a concentrarsi sul gioco vero.

Perché è importante?

Questo metodo è rivoluzionario perché:

Funziona con l'umano: L'esperto umano non deve essere un programmatore, basta che sappia dire "questo concetto è sbagliato".
È robusto: L'IA non solo smette di usare la scorciatoia, ma impara a usare le caratteristiche vere dell'oggetto.
Funziona anche con i robot: Gli autori hanno provato a usare un'intelligenza artificiale (un LLM) per fare da "esperto" e dire quali concetti rimuovere, ottenendo risultati eccellenti.

In sintesi, CBDebug trasforma un errore di pregiudizio in un'opportunità di apprendimento, assicurandosi che l'intelligenza artificiale prenda decisioni giuste per le ragioni giuste, proprio come vorremmo facessero i nostri assistenti umani.

1. Il Problema: Allineamento e Shortcut nei CBM

I Concept Bottleneck Models (CBM) sono architetture progettate per essere interpretabili: prevedono prima un insieme di concetti comprensibili all'uomo (es. "becco curvo", "sfondo mare") e poi utilizzano questi concetti per prevedere l'etichetta finale. Questo permette agli esperti di dominio di validare le previsioni e intervenire manualmente sui concetti errati durante la fase di test.

Tuttavia, il paper identifica un problema fondamentale:

Allineamento Fragile: Anche se i concetti sono interpretabili, il modello può imparare "shortcut" (correlazioni spurie) dai dati di addestramento. Ad esempio, un modello potrebbe associare la presenza di "erba" alla classe "uccello terrestre" non perché l'erba definisca l'uccello, ma perché nei dati di addestramento gli uccelli terrestri erano spesso fotografati sull'erba.
Limiti dell'Intervento a Test Time: Correggere manualmente i concetti durante l'inferenza (test-time intervention) risolve solo l'errore superficiale per quel singolo campione. Non corregge la causa radice: il modello continua a basarsi su correlazioni spurie per nuovi dati, portando a errori sistematici.
Inadeguatezza delle Soluzioni Esistenti: I metodi di rimozione semplice dei concetti non sono sufficienti perché i concetti rimanenti potrebbero ancora contenere segnali dei concetti rimossi, o il modello potrebbe aver ignorato concetti rilevanti a favore di quelli spurii.

2. Metodologia: Il Framework CBDebug

Gli autori propongono un framework generale di debug interpretabile basato su due fasi principali: Rimozione e Riaddestramento, implementato attraverso un nuovo metodo chiamato CBDebug.

Fase 1: Rimozione (Removal)

L'esperto di dominio esamina le spiegazioni dei concetti appresi dal modello.
Identifica e seleziona un sottoinsieme di concetti spurii ( $C_{spur}$ ) da rimuovere (es. concetti legati allo sfondo come "spiaggia" o "erba" per la classificazione degli uccelli).
Questa fase è puramente selettiva e non modifica ancora i pesi del modello in modo profondo.

Fase 2: Riaddestramento (Retraining) con CBDebug

Questa è la parte innovativa. CBDebug tratta il feedback dell'esperto come un'intervento causale per approssimare una distribuzione controfattuale in cui i concetti indesiderati non influenzano l'etichetta. Il processo avviene in tre step:

Labeling (Generazione di Etichette Ausiliarie):
- Il modello CBM già addestrato viene utilizzato per calcolare i punteggi di attivazione ( $\hat{V}$ ) per i concetti spurii selezionati ( $C_{spur}$ ) su tutto il dataset di addestramento.
- Questi punteggi fungono da etichette ausiliarie a livello di campione, quantificando quanto ogni campione sia "contaminato" dal bias.
Reweight (Ripesatura tramite Permutation Weighting):
- Viene applicata una tecnica di permutation weighting (Arbour et al., 2021).
- Si costruisce un classificatore binario per distinguere tra la distribuzione confusa (dati originali) e una distribuzione non confusa (creata permutando casualmente le etichette $Y$ rispetto alle attivazioni $\hat{V}$ ).
- Il modello calcola un peso $u_i$ per ogni campione. Campioni con alta correlazione spuria ricevono pesi diversi per ridurre l'influenza della correlazione durante l'addestramento. Questo approccio gestisce naturalmente etichette ausiliarie continue e multidimensionali, a differenza di metodi basati su gruppi discreti.
Augment (Augmentazione Mirata):
- Per mitigare lo squilibrio dei gruppi e la varianza dei pesi, si genera un dataset aumentato ( $X_{aug}$ ).
- I campioni con pesi bassi (fortemente allineati al bias) hanno una maggiore probabilità di essere augmentati.
- Strategia di Augmentazione:
  - Per ProtoPNets (basati su patch): Si usa CutMix, incollando patch di concetti spurii su immagini diverse.
  - Per VLM-CBMs (basati su testo): Si usa Mixup con immagini generate da un modello Text-to-Image basate sui concetti spurii rimossi.
- L'obiettivo è creare una distribuzione di addestramento più ricca che riduca la dipendenza dai concetti spurii senza alterare le etichette vere.

Infine, il modello CBM viene riaddestrato (fine-tuning) sul dataset aumentato e pesato, producendo un nuovo modello $\{\phi', h'\}$ che mantiene alte prestazioni ma è allineato al ragionamento dell'esperto.

3. Contributi Chiave

Framework Generale di Debug: Un approccio estendibile a diverse architetture CBM (sia supervisionate che non supervisionate) che permette agli esperti di modificare globalmente il ragionamento del modello.
CBDebug: Un metodo di riaddestramento che trasforma il feedback a livello di concetto (di alto livello) in etichette ausiliarie a livello di campione, utilizzando pesisatura e augmentazione per mitigare i bias in modo mirato.
Validazione Empirica: Dimostrazione che il metodo funziona sia con feedback umano reale che con feedback automatizzato (tramite LLM), superando i metodi precedenti.

4. Risultati Sperimentali

Il framework è stato valutato su dataset con correlazioni spurie note (Waterbirds, MetaShift, CelebA, ISIC) e su due architetture rappresentative: PIP-Net (basato su patch) e Post-hoc CBM (basato su testo/CLIP).

Prestazioni: CBDebug supera significativamente i baseline (rimozione semplice, riaddestramento standard, ProtoPDebug).
- Su Waterbirds con Post-hoc CBM, ha migliorato l'accuratezza del gruppo peggiore (Worst-Group Accuracy) del 26.1% rispetto al modello originale.
- Su MetaShift, ha mostrato miglioramenti consistenti del 4.8-4.9% nella WGA.
Robustezza: Il metodo riduce la dipendenza dai concetti spurii. Le visualizzazioni mostrano che dopo il riaddestramento con CBDebug, i concetti top-5 del modello cambiano da attributi spurii (es. "spiaggia", "bamboo") a caratteristiche rilevanti del compito (es. "becco", "piumaggio").
Feedback Automatizzato: L'uso di LLM per identificare i concetti spurii ha prodotto risultati solidi, rendendo il framework scalabile e riducendo il costo umano.
Confronto con Bias Mitigation Unsupervised: CBDebug supera metodi di mitigazione del bias non supervisionati (come JTT e LfF) che non hanno accesso al feedback esplicito dell'esperto.

5. Significato e Impatto

Questo lavoro è significativo perché colma il divario tra l'interpretabilità passiva e l'azione correttiva attiva nei modelli di visione artificiale.

Trasformazione del Ruolo dell'Esperto: Trasforma l'esperto da un semplice auditor a un partecipante attivo che può correggere sistematicamente il ragionamento del modello, non solo i singoli errori.
Allineamento Causale: Fornisce un meccanismo per garantire che le previsioni siano "giuste per le ragioni giuste" (right for the right reasons), eliminando le scorciatoie apprese dai dati distorti.
Generalità: La capacità di funzionare sia con feedback umano che automatizzato, e su diverse architetture CBM, lo rende un approccio pratico per l'implementazione di sistemi di IA affidabili in settori ad alto rischio come la sanità e l'analisi scientifica.

In sintesi, CBDebug offre una soluzione robusta al problema della "scorciatoia" (shortcut learning) nei modelli interpretabili, garantendo che l'interpretabilità porti effettivamente a modelli più robusti e allineati con la conoscenza del dominio.