Riassunto Tecnico: In Difesa della Leakage di Informazioni nei Modelli Basati su Concetti

Definizione del Problema

I modelli basati su concetti (Concept-based Models, CMs) sono reti neurali profonde progettate per fondare le predizioni su concetti comprensibili all'uomo (ad es., "striature", "ali"). Una narrazione prevalente nel campo postula che la leakage di informazioni (ovvero il caso in cui le rappresentazioni dei concetti codificano informazioni non strettamente attribuibili alla loro semantica intenzionale) sia intrinsecamente indesiderabile. Questa leakage viene tipicamente categorizzata in leakage inter-concettuale (una rappresentazione di un concetto codifica informazioni su altri concetti) e leakage del task (una rappresentazione di un concetto codifica informazioni sul label del task a valle $Y$).

La visione convenzionale sostiene che la leakage comprometta l'intervenibilità (la capacità di correggere le predizioni modificando gli input dei concetti) e l'interpretabilità (la capacità di ricostruire il ragionamento del modello basandosi esclusivamente sui concetti). Di conseguenza, la ricerca recente si è concentrata sull'eliminazione della leakage attraverso vincoli architettonici o regolarizzazione.

Tuttavia, gli autori sostengono che questa visione rigorosa sia mal posta e controproducente, in particolare negli scenari del mondo reale dove l'incompletezza dei concetti è la norma. In tali scenari, l'insieme dei concetti di addestramento disponibili $C$ spesso non riesce a descrivere completamente il task a valle $Y$ (ovvero $I(Y; X | C) \neq 0$). Gli autori postulano che imporre rappresentazioni strettamente non-leaky in tali contesti incompleti impedisca di raggiungere un'alta accuratezza del task, rendendo i CM impraticabili.

Metodologia

1. Formalizzazione della Leakage Benigna

Il paper introduce il concetto di Leakage Benigna, definita come una forma specifica di leakage che è necessaria e desiderabile per i CM accurati in contesti incompleti. Una rappresentazione $\hat{C}$ presenta una leakage benigna se soddisfa due condizioni:

• Sufficienza: La rappresentazione preserva tutte le informazioni rilevanti per il label non catturate dai concetti reali $C$. Formalmente, $I(Y; R | C) \approx I(Y; X | C)$, dove $R$ è una componente residua della rappresentazione.
• Localizzazione: L'informazione riguardante un concetto specifico $C_i$ che è utile per predire $Y$ è localizzata all'interno di una componente specifica $\bar{C}_i$ della rappresentazione. Formalmente, $I(Y; \bar{C}_i | R_i, \hat{C}_{-i}) \approx I(Y; C_i | C_{-i})$.

Questa decomposizione permette a un modello di sfruttare la leakage per l'accuratezza (tramite $R$) pur mantenendo l'intervenibilità (tramite $\bar{C}_i$).

2. Ottimizzazione tramite $L_{int}$

Per ottenere una leakage benigna, gli autori propongono l'ottimizzazione di un nuovo obiettivo di addestramento, $L_{int}$ (Intervention Loss), che minimizza la perdita del task quando tutti i concetti vengono sottoposti a intervento (ovvero forzati ai loro valori reali durante l'addestramento):
$$L_{int} = \mathbb{E}_{(x,c,y) \sim D} \left[ -\log P_f(y | \hat{C} = g(x | C := c)) \right]$$

Il paper sostiene che la minimizzazione di $L_{int}$ incoraggi implicitamente la sufficienza. Sotto l'ipotesi che il predittore del label sia ben specificato, la minimizzazione della log-likelihood negativa sotto intervento completo è equivalente alla massimizzazione dell'informazione mutua tra la rappresentazione residua e il label del task, dato il contesto dei concetti.

Inoltre, gli autori ipotizzano che, a causa del bias di semplicità delle Reti Neurali Profonde (SGD favorisce ipotesi più semplici), la minimizzazione di $L_{int}$ incoraggi implicitamente anche la localizzazione. Un'ipotesi più semplice per il modello è quella in cui il predittore del label impara a fare affidamento sulle componenti allineate ai concetti per il ragionamento specifico del concetto, piuttosto che ricodificare l'informazione del concetto nella residual leakage.

3. Setup Sperimentale

Gli autori valutano le loro tesi utilizzando il dataset CUB-200 (uccelli), costruendo specificamente una versione incompleta (CUB-Incomplete) sottocampionando le annotazioni dei concetti a 22 concetti (7 gruppi) rispetto agli originali 112. Testano varie architetture, tra cui:

• CBM Indipendenti/Sequenziali/Congiunti: Baseline standard con diversi gradi di leakage.
• Hybrid CBMs: Modelli con canali di bypass (connessioni residue) che permettono esplicitamente la leakage.
• Concept Embedding Models (CEMs) & ProbCBMs: Modelli che utilizzano embedding dinamici.
• Black Box Baselines: DNN senza perdita di allineamento dei concetti.

Metriche chiave includono Fidelity del Task (accuratezza), Fidelity del Concetto (accuratezza delle predizioni dei concetti) e Intervenibilità (miglioramento delle prestazioni quando vengono forniti i concetti reali al tempo di test).

Risultati Chiave

1. La Leakage Non Distrugge Necessariamente l'Intervenibilità

Contrariamente alla narrazione prevalente, gli autori dimostrano che i modelli con leakage possono rimanere altamente intervenibili in contesti incompleti, purché siano opportunamente condizionati.

• Senza $L_{int}$: Molti modelli con leakage (ad es., Joint Logit CBM, Hybrid CBM con ampi bypass) diventano unintervenibili in contesti incompleti; la loro accuratezza non migliora (o diminuisce) quando i concetti vengono corretti.
• Con $L_{int}$: Gli stessi modelli con leakage, se addestrati con il regolarizzatore $L_{int}$, recuperano un'alta intervenibilità. Ad esempio, grandi Hybrid CBM (con 500 neuroni residui) diventano tanto intervenibili quanto i modelli non-leaky Independent CBM, pur mantenendo un'accuratezza del task significativamente superiore.

2. La Leakage Benigna Migliora l'Accuratezza Senza Sacrificare l'Interpretabilità

• Accuratezza: In contesti incompleti, i modelli addestrati con $L_{int}$ raggiungono una fidelity del task significativamente più alta rispetto alle baseline non-leaky (ad es., Independent CBM), che sono costrette a fare affidamento esclusivamente sull'insieme incompleto di concetti.
• Interpretabilità: Utilizzando metriche proxy (ROC-AUC del concetto e analisi dei pesi del predittore del label), gli autori mostrano che i modelli con leakage ben condizionata (come gli Hybrid CBM con $L_{int}$) esibiscono strutture di peso concetto-task statisticamente indistinguibili dai modelli non-leaky. I concetti principali utilizzati dai modelli con leakage per predire le classi si allineano strettamente con quelli usati dai modelli non-leaky, suggerendo che la leakage non oscura il processo di ragionamento del modello in un modo che le metriche standard possano rilevare.

3. Il Ruolo dell'Incompletezza

Gli esperimenti su dataset completi mostrano che i modelli con leakage sono spesso intervenibili anche senza $L_{int}$. Tuttavia, in contesti incompleti, l'assenza di $L_{int}$ porta a un comportamento unintervenibile nei modelli con leakage. Ciò conferma che il "danno" della leakage è dipendente dal contesto e sorge specificamente quando il modello non riesce a apprendere una rappresentazione sufficiente dell'informazione rilevante per il task che manca.

Significato e Rivendicazioni

Il paper sostiene che la prospettiva cambi da considerare la leakage di informazioni nei CM come un fenomeno da eradicare a uno da controllare e sfruttare.

1. Riformulazione della Narrazione: Gli autori sostengono che la visione rigorosa della leakage come "ininterpretabile" sia mal posta perché ignora la necessità pratica della leakage in scenari reali incompleti. Essi sostengono che eliminare la leakage in tali contesti costringe a un trade-off in cui l'accuratezza viene sacrificata per una purezza teorica che offre nessun beneficio pratico.
2. Necessità Pratica: Il paper postula che la leakage benigna sia necessaria per costruire CM che siano sia accurati che intervenibili quando l'insieme dei concetti è incompleto. Senza permettere al modello di catturare $I(Y; X | C)$ tramite la leakage, i CM non possono svolgere la loro funzione primaria di predizione accurata.
3. Contributo Metodologico: L'introduzione di $L_{int}$ fornisce un regolarizzatore semplice e indipendente dall'architettura che consente una "leakage benigna". Esso recupera vari meccanismi esistenti (come l'intervento stocastico nei CEM) come casi speciali e offre un approccio unificato per addestrare CM robusti.
4. Appello all'Azione: Gli autori invitano la comunità a smettere di fare affermazioni generiche secondo cui la leakage distrugge l'interpretabilità senza criteri falsificabili. Invece, esortano i ricercatori a:
   • Valutare i CM in contesti incompleti.
   • Concentrarsi sul controllo della leakage (localizzazione e sufficienza) piuttosto che sulla sua eliminazione.
   • Separare i fenomeni specifici dei CM dai modi di fallimento generali del deep learning come lo shortcut learning.

In conclusione, il paper afferma che la "leakage" non è intrinsecamente maligna; piuttosto, l'uncontrolled leakage (la leakage non controllata) è il vero problema. Ottimizzando per la sufficienza e la localizzazione tramite $L_{int}$, è possibile costruire CM che sfruttano la leakage per raggiungere un'alta accuratezza in contesti incompleti, mantenendo al contempo le proprietà fondamentali di interpretabilità e intervenibilità.