Navigating the Concept Space of Language Models

Titolo: Navigating the Concept Space of Language Models

Autori: Wilson E. Marc´ılio-Jr (Adaption Labs) e Danilo Medeiros Eler (UNESP)

---

1. Il Problema: La Sfida della Scoperta dei Concetti su Scala

Gli Autoencoder Sparsi (SAE) addestrati sulle attivazioni interne dei Large Language Models (LLM) hanno dimostrato di essere strumenti efficaci per decomporre lo spazio di attivazione in migliaia di caratteristiche latenti interpretabili dall'uomo (concetti monosemantici). Tuttavia, l'attuale pratica di analisi presenta limiti significativi:

• Volume dei dati: Gli SAE moderni possono contenere da centinaia di migliaia a milioni di dimensioni latenti.
• Limiti dei flussi di lavoro attuali: L'analisi si basa prevalentemente sull'ispezione manuale dei contesti di attivazione più forti, sulla navigazione individuale delle feature o sulla ricerca semantica su concetti noti.
• Mancanza di scoperta esplorativa: Questi approcci sono intrinsecamente locali e guidati da query specifiche. Non supportano il ragionamento globale sullo spazio delle feature, rendendo difficile la scoperta di famiglie di concetti, l'identificazione di feature rare o isolate e l'analisi delle relazioni tra grandi gruppi di feature.
• Affollamento visivo: Le visualizzazioni a singolo livello (come quelle presenti in neuropedia.org) diventano ingestibili e confuse quando si tratta di milioni di elementi.

L'obiettivo del paper è colmare il divario tra l'apprendimento delle feature e la loro scoperta, fornendo un meccanismo principiato per organizzare e navigare l'intero set di feature.

2. Metodologia: Concept Explorer e HUMAP

Gli autori introducono Concept Explorer, un sistema interattivo scalabile per l'esplorazione post-hoc delle feature degli SAE. Il sistema non propone nuovi obiettivi di addestramento per gli SAE, ma si concentra sull'organizzazione e l'analisi delle loro uscite.

Architettura Tecnica

Il cuore del sistema è la costruzione di una varietà gerarchica (manifold) utilizzando l'algoritmo HUMAP (Hierarchical Uniform Manifold Approximation and Projection):

1. Embedding delle Spiegazioni: Per ogni feature dell'SAE, viene generata una breve spiegazione testuale (tramite LLM) basata sui contesti di attivazione. Queste spiegazioni vengono poi vettorializzate (embedding) utilizzando modelli come nomic-embed-text.
2. Costruzione della Gerarchia (HUMAP):
   • Viene costruita una sequenza annidata di sottoinsiemi di dati ($X^{(0)} \supset X^{(1)} \supset \dots \supset X^{(L)}$).
   • Vengono selezionati dei "landmark" (punti di riferimento) basati sulla frequenza di visita in camminate casuali su un grafo di similarità fuzzy.
   • Viene calcolata una matrice di transizione di Markov per definire le regioni di influenza.
   • L'algoritmo UMAP viene applicato iterativamente a diversi livelli di granularità per generare proiezioni 2D che preservano sia la struttura locale (vicinanza tra feature simili) che quella globale (relazioni tra cluster).
3. Navigazione Multi-Risoluzione: Il sistema permette di navigare "dal generale al particolare" (coarse-to-fine). L'utente può esplorare cluster ad alto livello e, selezionando un landmark, "riproiettare" la sua regione di influenza al livello inferiore per osservare le sottoclassi e le feature rare.

Interfaccia Utente

Concept Explorer offre:

• Una tela multi-livello che mostra le proiezioni HUMAP.
• Un pannello di dettaglio con il testo esplicativo, i contesti di attivazione top-k e controlli di annotazione.
• Strumenti per identificare concetti dominanti, concetti rari (outlier) e analizzare le interazioni tra concetti.

3. Risultati e Caso d'Uso (SmolLM2)

Il sistema è stato validato su feature estratte da un SAE addestrato su SmolLM2 (modello di 135M parametri), elaborando 1,7 milioni di frasi e 36.864 feature.

Scoperte Chiave:

1. Struttura Coerente ad Alto Livello: La proiezione ha rivelato cluster ben definiti corrispondenti a famiglie concettuali ampie (es. articoli determinativi, prefissi negativi, scienza/biologia).
2. Identificazione di Sottocluster Significativi: La navigazione gerarchica ha permesso di isolare concetti specifici all'interno di cluster più ampi. Ad esempio, all'interno di un cluster di "punteggiatura", è stato possibile distinguere feature specifiche per i trattini lunghi (em-dashes) e i marcatori di fine elenco, spesso persi nei metodi di clustering globali a causa della sparsità dei contesti.
3. Scoperta di Concetti Rari e Isolati: Il sistema ha identificato efficacemente feature rare o altamente specializzate (es. marcatori di placeholder come <<>>, annotazioni Java @Override, o simboli di interfaccia utente specifici) che appaiono come regioni di influenza piccole o isolate nella proiezione.
4. Analisi delle Relazioni: La capacità di riproiettare le regioni di interesse ha permesso di visualizzare le relazioni tra gruppi di feature (es. la connessione tra token di programmazione, simboli grafici e marcatori di interfaccia).

4. Contributi Principali

• Sistema Interattivo Scalabile: Introduzione di Concept Explorer, il primo sistema progettato specificamente per l'esplorazione interattiva di milioni di feature SAE tramite embedding gerarchici.
• Metodologia di Visualizzazione Gerarchica: Applicazione innovativa di HUMAP per organizzare lo spazio dei concetti, permettendo una transizione fluida tra visione d'insieme e ispezione dettagliata senza perdere la struttura topologica.
• Shift Paradigmatico: Spostamento del focus dalla semplice "validazione di ipotesi" (cercare un concetto noto) alla "scoperta aperta" (trovare nuove famiglie di concetti o anomalie) nello spazio delle feature.
• Validazione Empirica: Dimostrazione pratica che l'organizzazione gerarchica basata su varietà (manifold) è un'astrazione utile per gestire collezioni massive di concetti appresi, rivelando strutture che i flussi di lavoro attuali non riescono a catturare.

5. Significato e Impatto

Questo lavoro risolve un collo di bottiglia fondamentale nell'interpretabilità meccanica: la difficoltà di gestire la scala esponenziale delle feature scoperte dagli SAE. Offrendo un modo sistematico per navigare nello "spazio dei concetti", Concept Explorer abilita i ricercatori a:

• Comprendere meglio l'organizzazione interna dei modelli linguistici.
• Identificare bias o concetti rari che potrebbero essere critici per la sicurezza o l'allineamento.
• Accelerare il processo di analisi manuale, trasformando un compito ingestibile in un processo esplorativo guidato.

In sintesi, il paper propone un cambio di paradigma nell'analisi degli SAE, passando da un approccio basato su query isolate a un approccio basato sulla mappatura strutturale e gerarchica dell'intero spazio delle conoscenze latenti.