Sintesi Tecnica: Circuiti Certificati

Problema

L'interpretabilità meccanicistica mira a identificare i "circuiti" — sottoreti minime all'interno delle reti neurali responsabili di specifici comportamenti o concetti. Tuttavia, gli attuali metodi di scoperta dei circuiti soffrono di una critica mancanza di robustezza. I circuiti scoperti sono altamente sensibili alla scelta specifica degli esempi per il dataset del concetto; aggiungere, rimuovere o sostituire esempi semanticamente equivalenti può portare a cambiamenti imprevedibili nella struttura del circuito. Inoltre, questi circuiti spesso non riescono a generalizzare su dati fuori distribuzione (OOD). Questa instabilità solleva una domanda fondamentale: gli attuali metodi catturano la vera rappresentazione meccanicistica di un concetto, o stanno semplicemente facendo overfitting su indizi spuri e artefatti specifici del dataset?

Metodologia: Circuiti Certificati

Gli autori propongono i Circuiti Certificati, un framework che fornisce garanzie di stabilità provabili e agnostiche rispetto all'algoritmo. L'idea centrale è trattare la scoperta del circuito come una mappatura da un dataset di concetti a un sottografo e certificare che questa mappatura rimanga invariante sotto modifiche limitate al dataset.

Framework Core

1. Sottocampionamento Randomizzato (Smoothing): Il framework avvolge qualsiasi algoritmo di scoperta dei circuiti black-box $\mathcal{A}$. Genera molteplici sottocampionamenti casuali del dataset del concetto $D$ applicando un meccanismo di perturbazione basato sulla cancellazione. Nello specifico, campiona una maschera binaria in cui ogni esempio viene mantenuto con probabilità $1 - p_{del}$ e cancellato con probabilità $p_{del}$.
2. Aggregazione: L'algoritmo base $\mathcal{A}$ viene eseguito su ciascun dataset sottocampionato per produrre circuiti candidati. Il framework aggrega quindi i risultati per calcolare la probabilità di inclusione smussata ($p_u$) per ogni componente del circuito (neurone o arco). Questa probabilità rappresenta la frequenza con cui un componente viene selezionato attraverso le cancellazioni randomizzate.
3. Regola Decisionale Certificata: Una soglia di confidenza $\tau$ viene applicata a $p_u$ per prendere una decisione per ogni componente:
   • Certificato In (Incluso): Se $p_u > \tau$, il componente è robustamente incluso.
   • Certificato Out (Escluso): Se $1 - p_u > \tau$, il componente è robustamente escluso.
   • Astensione (Abstain): Se nessuna delle due condizioni è soddisfatta, il componente viene escluso dal circuito finale. Questa scarsità adattiva rimuove i componenti la cui inclusione è instabile sotto le perturbazioni del dataset.

Garanzia Teorica

Il metodo sfrutta lo Smoothing per Cancellazione del Dataset (RS-Del) per derivare una garanzia formale. Il Teorema 3.1 afferma che, con alta confidenza ($1-\alpha$), qualsiasi componente certificato come "in" o "out" rimane invariante per qualsiasi dataset di concetti $D'$ entro una specifica distanza di modifica $r$ dal dataset originale $D$. Il raggio certificato $r$ è una funzione della probabilità di cancellazione $p_{del}$ e della soglia $\tau$. I componenti assegnati all'astensione sono esclusi, garantendo che il circuito finale consista solo in elementi provabilmente stabili.

Contributi Chiave

1. Primo Framework di Stabilità Provabile: Il documento introduce il primo framework che fornisce garanzie di robustezza provabili e agnostiche rispetto all'algoritmo per la scoperta dei circuiti, assicurando che la struttura del circuito sia invariante rispetto a modifiche limitate del dataset.
2. Limiti Teorici: Gli autori derivano limiti provabili sui raggi certificati e caratterizzano la loro dipendenza dalla soglia di probabilità e dalla probabilità di cancellazione.
3. Validazione Empirica: Il framework è validato attraverso tre architetture (ResNet, ViT, GPT-2), due modalità (visione e linguaggio) e quattro algoritmi di scoperta.

Risultati Sperimentali

Gli autori hanno valutato i Circuiti Certificati rispetto a baseline standard (es. Top-K relevance, EAP-IG) su ImageNet e vari benchmark OOD (ImageNet-A, ImageNet-O, ImageNet-C, OOD-CV) per la visione, e compiti IOI/IOI-Hard/Greater-Than per il linguaggio.

• Sufficienza e Compattezza: I circuiti certificati ottengono un'accuratezza superiore (sufficienza) con significativamente meno componenti (compattezza).
  • Visione: Su ImageNet, i circuiti certificati hanno raggiunto il 95% di accuratezza (rispetto all'83% della baseline) utilizzando il 52% di neuroni in meno. Su dataset OOD come ImageNet-A, l'accuratezza è migliorata fino al 56% (raggiungendo il 94%) con una riduzione del 15% delle dimensioni.
  • Linguaggio: I circuiti certificati eguagliano o superano l'accuratezza massima della baseline utilizzando fino all'80% di archi in meno (es. una riduzione del 75% nel compito Greater-Than).
• Analisi delle Feature: La visualizzazione dei neuroni "astesi" (quelli inclusi nelle baseline ma esclusi dalla certificazione) ha rivelato che spesso si attivano su indizi co-occorrenti ma non specifici della classe (es. mani/polsi per la classe "orologio"), mentre i neuroni "certificati-in" rispondevano costantemente a caratteristiche definenti la classe.
• Generalizzazione OOD: I circuiti scoperti su dati in-distribution hanno mantenuto un'accuratezza significativamente più alta su shift OOD rispetto alle baseline, suggerendo che catturano strutture meccanicistiche trasferibili piuttosto che artefatti del dataset.
• Stabilità Strutturale: Quando i circuiti sono stati ridiscoperti su distribuzioni spostate, i circuiti certificati hanno mostrato un'Intersection-over-Union (IoU) più alta con la struttura originale, indicando la convergenza verso un nucleo invariante.

Significato e Rivendicazioni

Il documento sostiene che i Circuiti Certificati pongono la scoperta dei circuiti su basi formali, producendo spiegazioni meccanicistiche che sono provabilmente stabili e meglio allineate con il concetto target. Rimuovendo sistematicamente i componenti instabili attraverso l'astensione adattiva, il metodo produce circuiti che non sono solo più compatti e accurati, ma anche robusti alle variazioni del dataset e ai cambiamenti di distribuzione.

Gli autori sottolineano che questo lavoro affronta l'"illusione dell'interpretabilità", in cui le spiegazioni appaiono fedeli sulla distribuzione di scoperta ma falliscono nel generalizzare. Fornendo un modello di minaccia basato su modifiche limitate del dataset, i Circuiti Certificati offrono uno strumento affidabile per il debugging, l'auditing e la comprensione delle reti neurali, colmando il divario tra interpretabilità e affidabilità. Il framework è progettato per essere agnostico rispetto all'architettura del modello sottostante e all'algoritmo di scoperta del circuito utilizzato, rendendolo una soluzione generalizzabile per il settore.