Toy Combinatorial Interpretability Models Reveal Lottery Tickets in Early Feature Space

Riepilogo Tecnico: Modelli di Interpretabilità Combinatoria Giocattolo Rivelano Biglietti della Lotteria nello Spazio delle Caratteristiche Iniziale

Enunciato del Problema
L'Ipotesi del Biglietto della Lotteria (LTH) postula che le reti neurali dense contengano sotto-reti sparse ("biglietti vincenti") che, quando riavvolte ai loro pesi iniziali e riaddestrate in isolamento, eguagliano le prestazioni del modello completo. Sebbene lavori precedenti abbiano stabilito che questi biglietti esistono e che l'addestramento iniziale li stabilizzi, rimane una domanda meccanicistica senza risposta: quale oggetto interno preserva un biglietto vincente? Le spiegazioni esistenti spesso si basano su proprietà dello spazio dei pesi (ad esempio, pesi iniziali fortunati o bacini di ottimizzazione favorevoli), ma la specifica struttura rappresentativa preservata dal biglietto è spesso opaca nelle reti profonde standard. Questo articolo indaga se il biglietto preserva un'impalcatura specifica nello spazio delle caratteristiche piuttosto che semplicemente una maschera nello spazio dei pesi.

Metodologia
Gli autori impiegano un quadro di "interpretabilità combinatoria giocattolo" utilizzando un'attività di rilevamento in Forma Normale Disgiuntiva (DNF). Questo contesto permette l'osservazione diretta delle rappresentazioni interne attraverso uno spazio delle caratteristiche strutturato.

1. Architettura del Modello: Il modello è costituito da un'embedding lineare apprendibile $C_0$, un livello nascosto $W_1$ e un livello di output. L'oggetto centrale di analisi è $C_1 = W_1 C_0$, che rappresenta il calcolo nello spazio delle caratteristiche. Il compito consiste nel rilevare clausole di dimensione quattro, dove le righe positive codificano un pattern "4P" (quattro letterali positivi) e le righe negative codificano pattern "3N1P" (tre negativi, uno positivo).
2. Metriche nello Spazio delle Caratteristiche: Gli autori definiscono distanze combinatorie ($d_\tau$) e margini ($m$) tra i vettori delle caratteristiche locali e famiglie di codici canonici (ad esempio, 4P, 3N1P). Ciò permette la quantificazione di quanto una specifica posizione riga-clausola sia vicina a un codice valido.
3. Definizione del Biglietto: Un biglietto della lotteria è definito non come una maschera di pesi, ma come un insieme di posizioni nello spazio delle caratteristiche (siti riga-clausola) che sono vicini ai codici target finali. Una maschera nello spazio dei pesi è meramente una "testimone" che permette a queste posizioni nello spazio delle caratteristiche di essere realizzate dopo il riavvolgimento.
4. Progettazione Sperimentale:
   • Dense vs Sparse: Gli autori confrontano l'addestramento denso, l'espansione casuale sparsa e l'espansione sparsa "lotteria" (utilizzando maschere derivate dall'addestramento denso).
   • Riavvolgimento: Testano il riavvolgimento all'inizializzazione e ai checkpoint densi iniziali (ad esempio, epoca 10).
   • Sonde: Introducono rilevatori ispirati al meccanismo basati sulla distanza e sul movimento nello spazio delle caratteristiche (durante l'addestramento denso) per selezionare le maschere, confrontandoli con le baseline standard nello spazio dei pesi (magnitudine, SNIP, GraSP, SynFlow, Early-Bird).

Contributi e Risultati Chiave

1. Il Biglietto è un'Impalcatura nello Spazio delle Caratteristiche:
   Il risultato principale è che un biglietto vincente preserva una famiglia di posizioni di codici canale-caratteristica compatibili che sono già vicine ai codici finali all'inizializzazione. Il biglietto non è un insieme fisso di identità di righe; piuttosto, è un oggetto di "livello famiglia" dove l'identità specifica della clausola/template è preservata, anche se la riga portante cambia durante l'addestramento.

2. SGD Denso come Selettore:
   L'addestramento denso non amplifica semplicemente i pesi; esegue una selezione strutturata nello spazio delle caratteristiche. Guida le posizioni precursori selezionate verso i codici canonici, rifiutando al contempo altre posizioni plausibili, in particolare quelle su righe "affollate" (righe con alto carico). Questo rifiuto indica una competizione sotto la sovrapposizione, dove la rete risolve i conflitti tra caratteristiche candidate che condividono dimensioni rappresentative limitate.

3. La Potatura Altera lo Spazio delle Caratteristiche:
   Applicare una maschera e riavvolgere non è una semplice restrizione visiva dello stato denso. Poiché $C_1 = W_1 C_0$, azzerare le coordinate in $W_1$ cambia l'intero pattern di righe nello spazio delle caratteristiche. Lo stato sparso riavvolto è un nuovo stato proiettato nello spazio delle caratteristiche. Un biglietto vincente è un insieme di posizioni in questo nuovo stato che lascia sufficienti gradi di libertà affinché l'SGD sparso ricostruisca codici compatibili.

4. Superiorità delle Sonde nello Spazio delle Caratteristiche:
   Le sonde ispirate al meccanismo basate sulla distanza e sul movimento nello spazio delle caratteristiche superano i metodi consolidati di scoperta dei biglietti basati sui pesi (come la magnitudine o i punteggi basati sul gradiente) nella predizione precoce dei codici e nel recupero esatto dei codici.

   • I metodi nello spazio dei pesi (ad esempio, magnitudine) diventano competitivi solo più avanti nell'addestramento, probabilmente perché l'addestramento denso ha già proiettato la struttura dello spazio delle caratteristiche nelle magnitudini dei pesi.
   • Le regole nello spazio delle caratteristiche identificano con successo l'"impalcatura" (posizioni vicine ai codici) prima che inizi l'addestramento sparso.

5. Struttura vs Casualità:
   I biglietti della lotteria non sono semplicemente espansioni sparse casuali con lo stesso numero di parametri. Sebbene l'espansione casuale migliori rispetto alle baseline dense strette fornendo più portatori di riga, i biglietti della lotteria preservano significativamente più della geometria dei codici del modello denso (circa il 53% rispetto al 20% di richiamo delle identità dei codici densi) e posizionano precursori vicini ai codici specificamente nei siti che diventeranno i codici finali.

Significato e Affermazioni
L'articolo afferma che la struttura del biglietto della lotteria è governata dalla geometria nascosta dello spazio delle caratteristiche piuttosto che dall'identità della sotto-rete nello spazio dei pesi. L'"oggetto" preservato è un'impalcatura di precursori canale-caratteristica che sono già presenti (in uno stato vicino al codice) all'inizializzazione e sono selezionati dall'SGD denso.

Gli autori inquadrano esplicitamente questo come uno studio su un organismo modello. Riconoscono che i loro risultati sono radicati in un contesto discreto e giocattolo (attività Booleane DNF) e non affermano di essere una teoria completata per modelli generali su larga scala. Tuttavia, suggeriscono che questo quadro offre una nuova strada nella ricerca sull'interpretabilità:

• Rende possibile la misurazione nello spazio delle caratteristiche in un contesto controllato.
• Propone che i supporti sparsi inducano nuove inizializzazioni nello spazio delle caratteristiche.
• Evidenzia un "problema di traduzione": mentre le regole nello spazio delle caratteristiche possono identificare posizioni promettenti, mappare queste nelle coordinate spaziali dei pesi sparsi rimane una sfida.

Il lavoro supporta la visione che i biglietti della lotteria siano meglio compresi come impalcature nello spazio delle caratteristiche che l'SGD sparso contrae in codici esatti, piuttosto che come insiemi fortunati di pesi o maschere statiche.