Sintesi Tecnica: Sulla Fedeltà dei Modelli Post-Hoc Concept Bottleneck

Definizione del Problema

I modelli Post-Hoc Concept Bottleneck (post-hoc CBM) mirano a colmare il divario tra le rappresentazioni opache del deep learning e la comprensione umana, proiettando le caratteristiche latenti su spazi di concetti interpretabili. A differenza dei CBM standard, le varianti post-hoc non richiedono annotazioni dense di concetti per il task target; al contrario, si affidano a (1) dataset di concetti ausiliari (es. Broden) o (2) etichette di concetti surrogate generate da modelli visione-linguaggio (VLM).

Il problema centrale affrontato è che le attuali pratiche di valutazione si affidano pesantemente all'accuratezza del task a valle per giudicare il successo di questi modelli. Gli autori sostengono che un'elevata accuratezza sia una metrica insufficiente per la fedeltà dei concetti (concept faithfulness) — ovvero il grado in cui la proiezione appresa $\pi_\theta$ estrae effettivamente i concetti semantici intesi. L'evidenza empirica suggerisce che proiezioni casuali e semanticamente prive di significato possano raggiungere un'accuratezza competitiva nel task a valle grazie alle proprietà di preservazione dell'informazione (legate al lemma di Johnson-Lindenstrauss), oscurando così se il modello stia realmente ragionando tramite concetti o stia semplicemente sfruttando artefatti predittivi.

Metodologia

Framework Teorico

Il documento formalizza la fedeltà come la minimizzazione del rischio atteso sulla vera distribuzione del task $P_{task}(x, c)$, dove la proiezione $\pi_\theta$ recupera i concetti reali $c$ dalle attivazioni $f(x)$. Gli autori identificano due fonti primarie di infedeltà:

1. Shift Covariante nei Dataset Ausiliari: Quando si addestra $\pi_\theta$ su un dataset ausiliario $X_{aux}$ distinto dal task target $X_{task}$, uno shift geometrico nello spazio delle feature può invalidare la proiezione. Gli autori derivano un limite superiore sull'errore di generalizzazione del target basato sulla teoria dell'adattamento del dominio [8]:
   $$J_{task}(\theta; L_1) \leq J_{aux}(\theta; L_1) + \frac{1}{2}\hat{d}_{\mathcal{H}\Delta\mathcal{H}}(\mathbb{X}_{task}, \mathbb{X}_{aux}) + \Omega + \lambda_{ideal}$$
   Propongono l'uso della divergenza empirica $\mathcal{H}\Delta\mathcal{H}$ (approssimata tramite un discriminatore di dominio) come metrica pratica per la fedeltà, assumendo uno shift covariante (dove $P(c|x)$ rimane costante ma $P(x)$ cambia).

2. Rumore di Etichettatura Sistematico nella Supervisione Surrogate: Quando si utilizzano i VLM per generare etichette surrogate $\tilde{c}$, l'infedeltà non deriva solo dall'entità degli errori, ma dagli errori sistematici. Modellando la proiezione come un Modello Lineare Generalizzato Multivariato (GLM), gli autori dimostrano che il gradiente dell'obiettivo reale all'ottimo surrogate è proporzionale al prodotto esterno dell'errore surrogate $\delta(x) = \tilde{c}(x) - c^*(x)$ e delle attivazioni del backbone $f(x)$.

   • Condizione di Fedeltà: Il modello rimane fedele se gli errori surrogate sono accurati ($\delta \approx 0$) o ortogonali allo spazio delle attivazioni in termini di aspettativa ($\mathbb{E}[\delta(x) \otimes f(x)] = 0$).
   • Modalità di Fallimento: Gli errori sistematici (ad esempio, un VLM che predice costantemente "cielo" ogni volta che sono presenti "nuvole") creano componenti di errore non ortogonali, portando a proiezioni infedeli anche se le etichette surrogate appaiono accurate in media.

Metriche Proposte

Per scindere la fedeltà dall'accuratezza predittiva, gli autori introducono:

• Divergenza $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$: Un proxy per l'errore introdotto dagli shift covarianti quando si utilizzano dataset ausiliari.
• Ortogonalità dell'Errore Surrogate: Il valore assoluto della correlazione di Pearson $|\rho|$ tra gli errori delle etichette surrogate e le attivazioni del backbone. Un'alta correlazione indica un fallimento sistematico.

Setup Sperimentale

Gli autori validano queste scoperte su:

• Benchmark del mondo reale: CUB-200 (uccelli) e CIFAR-10/100.
• Dataset Sintetico: Elements [48], che fornisce annotazioni di concetti reali (forma, colore, texture) per misurare direttamente l'allineamento.
• Modelli: Varie implementazioni di post-hoc CBM, inclusi PCBM (dati ausiliari), LFCBM (embedding testuali VLM) e VLG-CBM (rilevamento di oggetti con grounding).

Risultati Chiave

1. L'Accuratezza è Ingannevole: Gli esperimenti confermano che proiezioni di concetti casuali possono raggiungere un'accuratezza a valle comparabile a quella di modelli addestrati su sorgenti di concetti significative (es. Broden, CLIP). Man mano che la dimensione del bottleneck $K$ aumenta, le proiezioni casuali preservano abbastanza informazioni geometriche da permettere al classificatore a valle di ricostruire le attivazioni originali, rendendo l'accuratezza un proxy inaffidabile.
2. Impatto dello Shift Covariante: I modelli addestrati su dati ausiliari fuori distribuzione (es. pattern astratti) mostrano una fedeltà dei concetti significativamente inferiore (misurata tramite la similarità del coseno rispetto alla verità di base) rispetto all'addestramento in-domain, nonostante mantengano un'elevata accuratezza a valle. La metrica proposta $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ correla fortemente con questo calo di fedeltà.
3. Rumore Sistematico vs. Casuale:
   • Rumore Casuale: L'aggiunta del 25% di rumore casuale alle etichette dei dati reali produce proiezioni fedeli perché gli errori si compensano (l'ortogonalità è rispettata).
   • Rumore Sistematico: I VLM (CLIP, DINOv3, Grounding DINO) introducono errori sistematici correlati a specifiche feature. Ad esempio, Grounding DINO fatica con le forme geometriche su sfondi bianchi, creando errori correlati che portano a proiezioni infedeli. La metrica di correlazione proposta identifica con successo questi fallimenti laddove le metriche di accuratezza standard falliscono.

Significato e Claim

Il documento sostiene di fornire il primo framework teorico ed empirico rigoroso per valutare la fedeltà dei post-hoc CBM indipendentemente dalle prestazioni predittive.

• Contributo Teorico: Formalizza le condizioni sotto le quali le proiezioni casuali possono simulare il ragionamento semantico (tramite il lemma di Johnson-Lindenstrauss per i manifold) e deriva le condizioni specifiche (ortogonalità dell'errore) sotto le quali la supervisione surrogate fallisce.
• Contributo Pratico: Introduce nuove metriche che consentono ai professionisti di rilevare comportamenti infedeli — specificamente gli shift covarianti e i bias sistematici dei VLM — che sono invisibili alle standard valutazioni basate sull'accuratezza.
• Implicazione: Gli autori sostengono che affidarsi esclusivamente all'accuratezza a valle crei un "illusione" di interpretabilità. La vera interpretabilità richiede l'ispezione diretta della proiezione dei concetti $\pi_\theta$ per garantire che sia allineata con la semantica umana, rendendo necessario l'uso delle metriche di fedeltà proposte.

Il lavoro non propone nuovi algoritmi di addestramento, ma piuttosto un framework di valutazione critica per garantire che il "bottleneck" nei modelli Concept Bottleneck sia realmente un collo di bottiglia di concetti comprensibili all'uomo e non una rappresentazione compressa di feature grezze.