Critical Percolation as a Synthetic Data Model for Interpretability

Sintesi Tecnica: La Percolazione Critica come Modello di Dati Sintetici per l'Interpretabilità

Problematica
Le reti neurali profonde apprendono caratteristiche che riflettono la struttura gerarchica e multi-scala dei dati naturali. Tuttavia, i dataset sintetici attualmente utilizzati per valutare i metodi di interpretabilità meccanicistica mancano spesso di questa struttura realistica, limitandone l'utilità come modelli di test. I modelli sintetici esistenti possono catturare la sparsità o la gerarchia isolatamente, ma non riescono a unificare proprietà quali le statistiche di legge di potenza, la bassa dimensionalità intrinseca e l'auto-similarità presenti nelle distribuzioni di dati naturali. Inoltre, la "maledizione della dimensionalità" implica che i dati naturali debbano possedere un'alta struttura per essere apprendibili in modo efficiente. La ricerca attuale sull'interpretabilità, in particolare riguardo agli Autoencoder Sparsi (SAE), osserva fenomeni come la scissione (splitting) e l'assorbimento delle caratteristiche, suggerendo che le caratteristiche apprese possiedano un'organizzazione gerarchica complessa che i semplici modelli sparsi non riescono a catturare pienamente. È necessario un modello di dati basato su principi analitici, trattabile, che incorpori queste proprietà strutturali per servire come banco di prova realistico per la ricerca sull'interpretabilità.

Metodologia
Gli autori introducono una famiglia di dataset sintetici basati sulla teoria della percolazione a campo medio critico. Il modello è costruito attraverso i seguenti componenti:

1. Generazione dei Dati tramite Percolazione:

   • Spazio: I punti dati sono estratti da un reticolo ipercubico ad alta dimensione ($\Lambda \subset \mathbb{R}^d$).
   • Criticità: I siti sono occupati con una probabilità $p = p_c$ (la soglia critica), garantendo che il sistema si trovi in un regime critico in cui i cluster esibiscono proprietà frattali e distribuzioni di dimensione con legge di potenza ($n_s \propto s^{-5/2}$).
   • Assunzione di Campo Medio: Si assume che la dimensione $d$ sia sufficientemente grande ($d \gg 6$) in modo che il reticolo si comporti come un reticolo di Bethe (un albero), rendendo il modello analiticamente trattabile.
   • Geometria: I cluster risultanti sono frattali sparsi a bassa dimensione con dimensione intrinseca $D=4$.

2. Generazione del Target Gerarchico:

   • I target sono generati da variabili latenti organizzate in una struttura ad albero binario (una "foresta latente").
   • Man mano che i legami tra siti adiacenti occupati vengono attivati, essi fondono i cluster. Una nuova variabile latente viene introdotta per ogni fusione, agendo come "genitore" per i latenti dei sottocluster fusi.
   • Il valore target $y_x$ per un punto dati $x$ è una funzione lineare delle variabili latenti lungo il percorso dalla foglia (il punto) alla radice dell'albero del suo cluster, normalizzata per profondità.

3. L'Algoritmo di Coalescenza Ciclica:

   • Simulare direttamente la percolazione su reticoli ad alta dimensione è computazionalmente costoso e non fornisce esplicitamente la decomposizione gerarchica.
   • Gli autori sfruttano un'equivalenza matematica tra i cluster di percolazione a campo medio critico, gli alberi etichettati casuali uniformi e il processo di coalescenza additiva.
   • Propongono un algoritmo di coalescenza ciclica che campiona congiuntamente un albero casuale e la sua decomposizione gerarchia latente. Disponendo i nodi in un ordine ciclico casuale e fondendo iterativamente un nodo con il suo successore, l'algoritmo genera un albero casuale uniforme e la corrispondente gerarchia in tempo quasi lineare, $O(n \alpha(n))$, dove $\alpha$ è la funzione inversa di Ackermann.

4. Configurazione Sperimentale:

   • Sono stati generati due dataset: un dataset a "singolo cluster" ($2 \times 10^5$ punti) e un dataset a "multi-cluster" ($2 \times 10^6$ punti, filtrati per dimensione del cluster $\ge 500$).
   • Un MLP (Multi-Layer Perceptron) residuo, progettato per emulare un blocco feed-forward di un transformer, è stato addestrato su questi dataset.
   • Esperimenti di Probing: Sono stati addestrati dei linear probe per decodificare le variabili latenti reali dalle attivazioni della rete neurale (input, strati nascosti e residual stream).

Contributi Chiave

1. Un Modello di Dati Sintetici Fondato su Principi: Il documento introduce un modello di dati che unifica la sparsità, la gerarchia tassonomica, le statistiche di legge di potenza, la bassa dimensionalità intrinseca e l'auto-similarità, tutte derivate dalla teoria della percolazione critica.
2. Trattabilità Analitica: Il modello si basa su esponenti critici noti (es. $\tau=5/2$, $D=4$) e non richiede la sintonizzazione di iperparametri per fissare le sue proprietà statistiche.
3. Algoritmo di Campionamento Efficiente: Gli autori sviluppano e dimostrano la correttezza dell'algoritmo di coalescenza ciclica, consentendo la generazione di dataset di percolazione gerarchica a scale arbitrarie in tempo quasi lineare.
4. Validazione Empirica: Lo studio dimostra che le variabili latenti reali in questo modello possono essere decodificate linearmente dalle attivazioni della rete neurale, validando l'utilità del modello per la ricerca sull'interpretabilità.

Risultati

• Performance del Modello: L'MLP addestrato ha raggiunto prestazioni paragonabili a un baseline di 1-vicino più prossimo (1NN) e ha superato significativamente la regressione Ridge, confermando la non-linearità del compito e la sua apprendibilità.
• Decodificabilità Lineare: Gli esperimenti di probing hanno rivelato che le variabili latenti reali sono linearmente rappresentabili nelle attivazioni della rete.
  • I probe addestrati sulle attivazioni degli strati nascosti hanno ottenuto costantemente un Errore Quadratico Medio (MSE) inferiore rispetto a quelli addestrati sugli input grezzi.
  • Il divario di performance del probe rispetto all'input grezzo diminuiva all'aumentare della "Figura di Merito" (FOM), definita come il rapporto tra la dimensione del latente e la radice quadrata della dimensione del cluster.
• Tendenze della Legge di Potenza: L'MSE per ogni latente seguiva un trend di legge di potenza in funzione della FOM, suggerendo che l'importanza statistica di un latente (determinata dalla sua dimensione e dal contesto del cluster) sia un predittore della decodificabilità migliore rispetto alla sola profondità nella gerarchia.
• Struttura per Livelli: Non è stata osservata una chiara progressione per livelli; l'MSE del probe era simile in tutti i blocchi dell'MLP. Ciò suggerisce che la rete non costruisce necessariamente una somma gerarchica livello per livello in modo interpretabile, o che la gerarchia sia rappresentata diversamente rispetto ai modelli compositivi.

Significato e Rivendicazioni
Il documento sostiene che la percolazione critica fornisca un banco di prova fondato su principi per la ricerca sull'interpretabilità. Offrendo un dataset con latenti gerarchici reali noti e proprietà strutturali realistiche (sparsità, leggi di potenza, frattali), permette ai ricercatori di:

• Validare e migliorare gli strumenti di interpretabilità (come gli SAE) rispetto a una verità fondamentale nota.
• Indagare se le patologie degli SAE (scissione e assorbimento delle caratteristiche) derivino dall'addestramento su gerarchie tassonomiche.
• Studiare la relazione tra la struttura dei dati e la struttura delle attivazioni neurali.

Gli autori pongono questo lavoro come un complemento agli studi empirici sui Large Language Models (LLM), offrendo un ambiente controllato per testare ipotesi su come le reti neurali apprendano caratteristiche gerarchiche. Essi notano esplicitamente i limiti, come l'assunzione di popolamento casuale dei dati e l'attuale supporto per la regressione scalare piuttosto che per la classificazione a token, inquadrandoli come direzioni per il lavoro futuro piuttosto che come soluzioni immediate. Il lavoro non pretende di risolvere l'interpretabilità, ma di fornire un ambiente sintetico rigoroso e matematicamente fondato per facilitare tale ricerca.