Sintesi Tecnica: Le popolazioni di neuroni esibiscono una selettività divergente con la scala

Problema

Sebbene le leggi di scala neurali abbiano stabilito relazioni prevedibili tra la dimensione del modello e gli osservabili macroscopici (ad esempio, la loss), l'organizzazione interna delle rappresentazioni a livello di neurone rimane scarsamente compresa. Una domanda centrale nel deep learning e nelle neuroscienze è come i neuroni codifichino la struttura: se le rappresentazioni siano localizzate in singole unità o distribuite su popolazioni, e come queste strutture evolvano al crescere della scala dei modelli. In particolare, non è chiaro se le popolazioni di neuroni ricorrenti tra diversi modelli seguano leggi sistematiche riguardanti la loro dimensione, selettività (monosemanticità vs. polisemanticità) e specializzazione.

Metodologia

Gli autori investigano queste questionità utilizzando i Neuroni Rosetta, una classe di neuroni definita da Dravid et al. (2023) come unità i cui pattern di attivazione ricorrono in modelli addestrati indipendentemente. Lo studio impiega la seguente metodologia:

1. Identificazione dei Neuroni Rosetta:

   • Gli autori analizzano modelli linguistici basati su Transformer (Pythia, GPT-2, OPT, Qwen2.5; 80M–30B parametri) e modelli di visione (OpenCLIP, DINOv2, Pixio, modelli di diffusione; 80M–5B parametri).
   • Allineano le attivazioni per token tra i modelli (usando confini di byte condivisi per il testo e griglie spaziali ricampionate per le immagini).
   • Calcolano le correlazioni di Pearson a coppie tra neuroni attraverso i modelli e identificano le coppie di vicini più prossimi reciproci ($k=1$) come Neuroni Rosetta. Questo filtra le corrispondenze asimmetriche o rumorose.

2. Analisi della Scala:

   • Tracciano il numero di Neuroni Rosetta scoperti rispetto al numero totale di neuroni nel modello per derivare le leggi di scala.
   • Confrontano tali tendenze con baseline nulle, inclusi network casuali non addestrati e dataset con permutazione dell'input, per garantire che la scala sia una proprietà delle rappresentazioni apprese piuttosto che un artefatto architettonico.

3. Modellazione Analitica:

   • Gli autori propongono un modello di allocazione della capacità basato sulla teoria della sovrapposizione (superposition) (Elhage et al., 2022).
   • Il modello assume uno spettro di importanza delle feature a legge di potenza ($w_r \propto r^{-\beta}$) dove le feature con alta importanza competono per un numero finito di coordinate neuronali.
   • Postula che le feature di alta importanza siano allocate a un'isolazione "pulita" (monosemanticità) per ridurre la loss, mentre le feature di minore importanza rimangano in sovrapposizione (polisemanticità).
   • Il modello deriva che il numero di feature rilevabili e isolate (Neuroni Rosetta) dovrebbe scalare come una legge di potenza sublineare ($N^{1/\beta}$) e predice un Effetto di Polarizzazione dei Neuroni.

4. Valutazione delle Proprietà:

   • Selettività: Misurata tramite la curtosi della proiezione nello spazio del vocabolario per i modelli linguistici e valutazioni VLM-as-a-judge per i modelli di visione.
   • Specializzazione: Analizzata categorizzando i contesti di massima attivazione dei Neuroni Rosetta (es. codice, matematica, prosa generale) attraverso diverse scale di modello.
   • Utilità: Un caso di studio filtra i dati per il pre-addestramento continuo utilizzando un singolo Neurone Rosetta per recuperare un dominio specifico (JavaScript).

Risultati Chiave

1. Scaling a Legge di Potenza Sublineare

In entrambi i modelli linguistici e di visione, la popolazione di Neuroni Rosetta cresce in modo prevedibile con la dimensione del modello ma segue una legge di potenza sublineare ($|R| \propto N^\alpha$ con $\alpha \approx 0.5\text{--}0.7$).

• Implicazione: Sebbene i modelli più grandi contengano più unità condivise in termini assoluti, queste occupano una frazione decrescente della popolazione totale di neuroni.
• Validazione: Questa tendenza è assente nei network casuali non addestrati e nelle baseline con input permutato, confermando che deriva dalle rappresentazioni apprese.

2. L'Effetto di Polarizzazione dei Neuroni

Lo studio osserva una divergenza nelle proprietà dei neuroni all'aumentare della scala:

• Neuroni Rosetta: Diventano sempre più selettivi e monosemantici. Nei modelli linguistici, le loro proiezioni nello spazio del vocabolario mostrano un eccesso di curtosi; nei modelli di visione, i giudici VLM li identificano come rispondenti a feature visive coerenti più frequentemente.
• Neuroni Non-Rosetta: Rimangono meno selettivi e sempre più polisemantici, formando uno sfondo affollato di feature miste.
• Allineamento Teorico: Ciò corrisponde alla previsione del modello analitico, dove la "frontiera Rosetta" si sposta verso l'esterno, isolando le feature ad alta importanza in modo più pulito, mentre la coda delle feature di minore importanza rimane in sovrapposizione.

3. Specializzazione del Dominio

I Neuroni Rosetta si spostano verso domini specializzati con la scala.

• Nei modelli linguistici, l'attivazione dei Neuroni Rosetta diventa sempre più concentrata su categorie di testo specializzate (es. codice, matematica) rispetto alla loro frequenza nel corpus di addestramento.
• Questo spostamento non è osservato nei neuroni non-Rosetta, che mantengono preferenze stabili per il tipo di documento attraverso le scale.

4. Utilità Funzionale nel Filtraggio dei Dati

Un singolo Neurone Rosetta selettivo per JavaScript (identificato in un modello Pythia-6.9B) è stato utilizzato per filtrare un corpus di codice multilingue.

• Recupero: Il filtro ha raggiunto un punteggio F1 di 0,98 nel recupero del subset di JavaScript reale, quasi eguagliando un oracle.
• Performance a valle: Il pre-addestramento continuo sui dati filtrati ha ridotto la perplexity a 3.02, quasi eguagliando la baseline oracle (3.01) e superando significativamente il filtraggio casuale (3.59) o il filtraggio tramite neuroni non-Rosetta (3.23).

Significato e Rivendicazioni

Il paper sostiene di aver stabilito una legge di scala per la struttura interna condivisa e interpretabile dei neuroni. I suoi contributi primari sono:

1. Collegare la Scala alla Struttura Interna: Dimostra che la dimensione del modello cambia sistematicamente l'universalità, la selettività e la specializzazione delle popolazioni di neuroni condivise, estendendo le leggi di scala oltre le metriche macroscopiche della loss.
2. Meccanismo di Polarizzazione: Fornisce prove empiriche e teoriche di un "Effetto di Polarizzazione dei Neuroni", dove la scala guida una separazione tra una popolazione crescente di unità condivise altamente selettive e uno sfondo polisemantico.
3. Interpretabilità Pratica: Mostra che i Neuroni Rosetta non sono solo curiosità teoriche ma unità funzionali che possono essere utilizzate per compiti mirati come il filtraggio dei dati e la specializzazione del dominio senza addestramento ausiliario o concetti target.
4. Generalizzabilità: Le scoperte valgono per eterogenee architetture (Transformer, Diffusion Transformers) e modalità (linguaggio, visione), suggerendo un principio fondamentale in come le reti neurali organizzano le rappresentazioni sotto vincoli di capacità.

Gli autori concludono che i Neuroni Rosetta fungono da osservabile trattabile per studiare la struttura interna condivisa, offrendo un ponte tra il comportamento di scala macroscopico e l'organizzazione microscopica delle rappresentazioni apprese.