From Mechanistic to Compositional Interpretability

Sintesi Tecnica: Dall'Interpretabilità Meccanicistica a quella Compositiva

Enunciato del Problema
L'interpretabilità meccanicistica mira a ricondurre i modelli neurali a componenti comprensibili dall'uomo. Tuttavia, gli approcci attuali mancano di un quadro formale, rendendo difficile verificare, confrontare o comporre le spiegazioni in modo oggettivo. I metodi esistenti spesso approssimano la fedeltà invece di imporla strutturalmente. Inoltre, senza una definizione misurabile della qualità dell'interpretazione, le spiegazioni rischiano di diventare "storie ad hoc" che correlano con il comportamento superficiale ma falliscono nel catturare i meccanismi interni. La sfida fondamentale è definire l'interpretabilità in modo che sia compositiva (le parti sommano al tutto), fedele (corrisponde al calcolo interno) e concisa (bassa lunghezza di descrizione per l'uomo).

Metodologia
Gli autori introducono l'Interpretabilità Compositiva, un quadro fondato sulla teoria delle categorie e sul principio della Lunghezza Minima di Descrizione (MDL).

1. Definizioni Formali tramite Teoria delle Categorie:

   • Modello Compositivo: Definito come una terna $(D, S, C, [[\cdot]])$, dove $D$ è un diagramma a stringhe che rappresenta la sintassi (struttura) del modello, $S$ è la categoria sintattica, $C$ è la categoria semantica (implementazione concreta) e $[[\cdot]]$ è un funtore che mappa la sintassi nella semantica.
   • Interpretazione Compositiva: Definita come una coppia di mappature: un'interpretazione basata sulla sintassi $I_S: S \to H$ (che assegna spiegazioni ai componenti strutturali) e un'interpretazione basata sulla semantica $I_C: C \to H$ (che assegna spiegazioni ai comportamenti).
   • Commutatività: Un'interpretazione valida richiede che il diagramma commuti ($I_S = I_C \circ [[\cdot]]$). Questo impone la coerenza, assicurando che le spiegazioni derivate dalla struttura del modello siano allineate con le spiegazioni derivate dal suo comportamento osservato.

2. Ottimizzazione tramite MDL:

   • L'interpretabilità è inquadrata come un problema di ottimizzazione vincolata: trovare la spiegazione più concisa che rimanga fedele alla semantica del modello.
   • Fedeltà: Misurata dal costo informativo necessario per correggere una spiegazione affinché corrisponda alla vera semantica del modello. Gli autori definiscono la fedeltà compositiva, che richiede che la spiegazione permetta la ricostruzione delle semantica dei singoli componenti, non solo del comportamento globale input-output.
   • Complessità: Misurata dalla Lunghezza di Descrizione Compositiva ($L(M, I_S)$), che si decompone in:
     • Complessità di Rappresentazione ($L_{rep}$): Il costo di descrivere la sintassi e la complessità semantica dei componenti atomici.
     • Complessità di Interpretazione ($L_{int}$): Il costo soggettivo di allineare questi componenti con i concetti umani.
   • La lunghezza totale di descrizione funge da limite superiore per la lunghezza di descrizione minima della spiegazione stessa.

3. Raffinamento Compressivo:

   • Per ottimizzare l'interpretabilità, il documento propone il Raffinamento Sintattico: un funtore $R: S \to S'$ che ristruttura la sintassi del modello preservando la semantica ($[[\cdot]] = [[\cdot]]' \circ R$).
   • Il Raffinamento Compressivo si verifica quando questa ristrutturazione riduce la complessità di rappresentazione ($L_{rep}(M') \leq L_{rep}(M)$).
   • Criterio di Parsimonia: Un raffinamento produce una spiegazione migliore solo se la riduzione della complessità di rappresentazione supera qualsiasi aumento della complessità di interpretazione.

Contributi Chiave

• Quadro Formale: Il documento stabilisce una fondazione basata sulla teoria delle categorie per l'interpretabilità, distinguendo tra sintassi (struttura) e semantica (comportamento) e richiedendo il loro allineamento tramite diagrammi commutativi.
• Obiettivo Quantificabile: Trasforma l'interpretabilità in un problema di ottimizzazione vincolata utilizzando l'MDL, separando la fedeltà (distorsione) e la complessità (lunghezza di descrizione).
• Raffinamento Compressivo: Introduce un metodo sistematico per ristrutturare i modelli in parti più semplici senza alterarne la funzione, generalizzando i metodi meccanicistici esistenti (come la decomposizione basata sulla sparsità) come sottoclassi di raffinamento.
• Criterio di Parsimonia e Garanzie Teoriche:
  • Gli autori dimostrano che il raffinamento compressivo garantisce spiegazioni più concise se la distribuzione di codifica è comonotona con la distribuzione di interpretazione (collegando la semplicità strutturale alla comprensibilità umana).
  • Invocano la Sparsità Compositiva (Teorema 4.5) per sostenere che le reti profonde di dimensione polinomiale approssimano funzioni che ammettono decomposizioni sparse, assicurando che la ricerca di "atomi di calcolo" sia fattibile e non porti a dimensioni di diagrammi ingestibili.
  • Formalizzano il Principio Debole dell'Ottimismo Spiegativo, suggerendo che se un modello performa bene, i suoi meccanismi fondamentali sono probabilmente comprensibili dall'uomo, giustificando l'uso della compressione come filtro per questi meccanismi.

Risultati e Affermazioni
Il documento non presenta nuovi esperimenti empirici, ma offre un'unificazione teorica e una prova di concetto:

• Dimostra che i metodi meccanicistici prominenti (ad esempio, quelli che utilizzano euristiche di sparsità) possono essere visti come istanze specifiche di raffinamento sintattico.
• Dimostra che, sotto il criterio di parsimonia, la minimizzazione della complessità di rappresentazione garantisce teoricamente spiegazioni più concise e allineate all'uomo, a condizione che valga il prior dell'"ottimismo spiegativo".
• Chiarisce perché le euristiche di comprimibilità spesso si allineano con l'interpretabilità umana: eliminano la ridondanza per isolare i meccanismi fondamentali che corrispondono a concetti umani.

Significato
Il documento afferma di fornire una base misurabile e ottimizzabile per automatizzare la scoperta e la valutazione delle spiegazioni meccanicistiche. Spostandosi dal reverse-engineering ad hoc a un quadro formale compositivo, affronta la mancanza di verifica oggettiva nella ricerca attuale sull'interpretabilità. Il lavoro colloca l'interpretabilità come un obiettivo di ottimizzazione continuo piuttosto che come un vincolo architetturale binario, colmando il divario tra interpretabilità intrinseca e spiegazione post-hoc. Gli autori suggeriscono che il lavoro futuro possa sfruttare questo quadro per integrare il raffinamento compressivo con l'inferenza causale e utilizzare strumenti come le reti tensoriali per un'ottimizzazione scalabile.