Domain-Filtered Knowledge Graphs from Sparse Autoencoder Features

1. Enunciato del Problema

Gli Autoencoder Sparsi (SAE) hanno permesso l'estrazione di milioni di caratteristiche interpretabili dai Modelli Linguistici su Grande Scala (LLM), superando i neuroni opachi per raggiungere caratteristiche monosemantiche. Tuttavia, gli inventari attuali degli SAE presentano sfide significative per l'interpretabilità:

• Inventari Piatti: Le caratteristiche sono spesso presentate come liste non strutturate, rendendo difficile comprendere le relazioni tra di esse.
• Rumore e Generalità: Gli inventari contengono un mix di concetti specifici di un dominio, caratteristiche generiche di formattazione/punteggiatura e pattern debolmente radicati.
• Concetti Dispersi: Le idee semanticamente correlate sono spesso distribuite su molte caratteristiche vicine invece di essere localizzate.
• Mancanza di Struttura: Non esiste un meccanismo intrinseco per comprendere come i concetti si raggruppino, si separino o colleghino argomenti in un corpus, né come fluttuino attraverso i livelli del modello durante il calcolo locale.

Il problema centrale è trasformare un inventario SAE piatto e rumoroso in un grafo della conoscenza interno strutturato e specifico del dominio che riveli sia la struttura organizzativa globale che i percorsi meccanici locali.

2. Metodologia

Gli autori propongono una pipeline che sposta un inventario SAE grezzo verso un universo di concetti rigoroso, che viene poi organizzato in due visualizzazioni di grafo allineate: un Grafo di Co-occorrenza (a livello di corpus) e un Grafo del Meccanismo del Transcodificatore (a livello locale).

A. Costruzione di un Universo di Concetti Rigoroso (Filtraggio)

Prima della costruzione del grafo, gli autori applicano un processo di filtraggio multistadio per isolare una regione rilevante specifica del dominio ($V^*$) dall'inventario grezzo ($V$):

1. Selezione Contrastiva: Le caratteristiche vengono classificate in base a tre assi confrontando il corpus target (ad esempio, un libro di testo di biologia) con corpora di contrasto (ad esempio, storia/geologia):
   • Supporto: La caratteristica è significativamente presente nel target?
   • Arricchimento: È più caratteristica del target rispetto ai contrasti?
   • Localizzazione: Si concentra in capitoli/sottocapitoli coerenti invece di diffondersi ovunque?
2. Adjudicazione a Livello di Pacchetto: Le caratteristiche sopravvissute vengono raggruppate in "pacchetti di prova" contenenti descrizioni, finestre rappresentative e dati di contrasto. Un adjudicator a stadi verifica se il concetto è visibile, appartiene al dominio target ed è distintivo rispetto ai contrasti.
3. Risultato: Un universo rigoroso $V^*$ contenente solo caratteristiche ad alta fiducia e rilevanti per il dominio.

B. Costruzione del Grafo

Due visualizzazioni di grafo complementari sono costruite su $V^*$:

1. Grafo di Co-occorrenza Multi-Granulare (Struttura del Corpus):

   • Obiettivo: Rivelare come i concetti si raggruppino e colleghino argomenti attraverso l'intero corpus.
   • Meccanismo: Le caratteristiche vengono classificate per presenza nelle frasi in base a soglie di attivazione. Questa presenza viene deterministicaamente elevata a paragrafi, sottocapitoli e capitoli.
   • Archi: Costruiti utilizzando conteggi di co-occorrenza normalizzati con Jaccard ($J_{ab}$) tra le caratteristiche. Ciò crea un grafo dello stesso livello che mostra quali concetti ricorrono insieme a diverse scale.

2. Grafo del Meccanismo del Transcodificatore (Flusso Interlivello Locale):

   • Obiettivo: Spiegare come i concetti del livello sorgente si trasformino in concetti del livello target su input specifici.
   • Meccanismo: Utilizza un Transcodificatore (un autoencoder sparo addestrato per mappare il flusso residuo del Livello $L$ al Livello $L+1$) insieme ai dizionari SAE per entrambi i livelli.
   • Archi: Gli archi diretti rappresentano percorsi leggibili dove una caratteristica sorgente attiva un latente sparso, che a sua volta scrive su una caratteristica target.
   • Statico vs Dinamico:
     • Statico: Una libreria di percorsi possibili basata su statistiche di sintesi.
     • Dinamico: Un grafo condizionato alla frase che mostra quali percorsi sono effettivamente attivi per un input specifico.

C. Compressione Consapevole della Gerarchia ed Etichettatura degli Archi

• Gerarchia di Astrazione: Per gestire la densità, le caratteristiche sono organizzate in un albero semantico (albero di astrazione) utilizzando il clustering mutual-kNN sulle descrizioni delle caratteristiche.
• Compressione: I grafi di meccanismo locali densi vengono compressi collassando sotto-alberi coerenti in "supernodi" preservando al contempo gli archi attivi critici (archi di blocco) per mantenere la fedeltà.
• Etichettatura degli Archi (Auto-Relate): Invece di archi ponderati senza etichetta, il sistema genera frasi di relazione leggibili.
  • Archi di co-occorrenza: Etichettati utilizzando frasi di prova congiunte e contrastive (ad esempio, distinguendo "Yellowstone" dal generico "giallo").
  • Archi di meccanismo: Etichettati utilizzando la prova più forte a livello di frase e indizi latenti per descrivere la trasformazione (ad esempio, "Il concetto sorgente supporta il concetto target tramite Latente X").

3. Contributi Chiave

1. Filtraggio Contrastivo Multistadio: Un processo innovativo per estrarre un universo di concetti rigoroso e specifico del dominio da massicci inventari SAE, rimuovendo il rumore generico.
2. Grafici della Conoscenza a Doppia Visualizzazione: La costruzione di due grafi allineati:
   • Un Grafo di Co-occorrenza per la struttura globale e multi-granulare del corpus.
   • Un Grafo del Meccanismo del Transcodificatore per il flusso di concetti diretti e locali tra i livelli.
3. Compressione Gerarchica: Un metodo per comprimere i grafi di meccanismo densi in "atlanti di meccanismo" leggibili utilizzando una gerarchia semantica, bilanciando dettaglio e leggibilità.
4. Semantica degli Archi Supportata da Prove: Un sistema di etichettatura automatizzato che converte gli archi statistici in relazioni di grafo della conoscenza leggibili e supportate da prove.

4. Risultati

Il framework è stato valutato su un corpus di libro di testo di biologia utilizzando gli SAE Gemma Scope (Livelli 20-21).

• Recupero della Struttura: I grafi hanno recuperato con successo l'organizzazione umana del libro di testo.
  • Scala Globale: Sono state osservate distinte "conche" di attivazione per diversi capitoli (ad esempio, Ereditarietà vs Biotecnologia) su coordinate condivise.
  • Scala Locale: Strutture di sottocapitolo più fini sono state preservate all'interno delle conche dei capitoli.
  • Metriche: L'analisi quantitativa ha mostrato un'alta allineamento tra le partizioni del grafo e i capitoli/sottocapitoli del libro di testo, con l'aggregazione a livello di frase e paragrafo che ha prodotto il recupero strutturale più forte.
• Leggibilità: La pipeline ha trasformato con successo l'attività diffusa a livello di frase (migliaia di caratteristiche) in atlanti di meccanismo compatti e leggibili.
• Concetti Ponte: I grafi hanno rivelato concetti che collegano argomenti vicini, spesso persi nelle liste piatte.
• Spiegazione del Meccanismo: I grafi del transcodificatore hanno fornito visualizzazioni dirette e interpretabili di come concetti specifici (ad esempio, "sistema respiratorio") vengono elaborati e trasformati attraverso i livelli, con archi etichettati da relazioni in linguaggio naturale.

5. Significato

Questo lavoro rappresenta un cambiamento di paradigma nell'interpretabilità meccanica:

• Dall'Inventario alla Mappa: Riformula le caratteristiche SAE non come una lista piatta di "cosa sa il modello", ma come un grafo della conoscenza interno che rappresenta "come il modello organizza e utilizza quella conoscenza".
• Audit di Fedeltà: Creando una mappa interna strutturata e supportata da prove, il metodo consente futuri audit per verificare se il ragionamento generato dal modello (Chain-of-Thought) riflette fedelmente la sua struttura di attivazione interna.
• Scalabilità: L'approccio dimostra che anche con milioni di caratteristiche è possibile costruire visualizzazioni coerenti e specifiche del dominio degli interni del modello senza la curatela manuale di ogni caratteristica.
• Esplorazione Interattiva: Gli autori forniscono un artefatto browser interattivo, consentendo ai ricercatori di navigare nella struttura del grafo appresa, tracciare regioni ponte e ispezionare dinamicamente i meccanismi a livello di frase.

In sintesi, il documento fornisce un framework robusto per convertire attivazioni SAE grezze e ad alta dimensionalità in grafi della conoscenza strutturati e leggibili dall'uomo che catturano sia la topologia globale della conoscenza del modello che la meccanica locale del ragionamento.