Domain-Filtered Knowledge Graphs from Sparse Autoencoder Features

1. Declaração do Problema

Autoencoders Esparsos (SAEs) permitiram a extração de milhões de recursos interpretáveis de Modelos de Linguagem de Grande Escala (LLMs), avançando além de neurônios opacos para recursos monossêmicos. No entanto, os inventários atuais de SAE apresentam desafios significativos para a interpretabilidade:

• Inventários Planos: Os recursos são frequentemente apresentados como listas não estruturadas, dificultando a compreensão das relações entre eles.
• Ruído e Generalidade: Os inventários contêm uma mistura de conceitos específicos de domínio, recursos genéricos de formatação/pontuação e padrões fracamente fundamentados.
• Conceitos Dispersos: Ideias semanticamente relacionadas são frequentemente distribuídas por muitos recursos vizinhos em vez de estarem localizadas.
• Falta de Estrutura: Não há um mecanismo inerente para entender como os conceitos se agrupam, separam ou conectam tópicos em um corpus, nem como eles fluem através das camadas do modelo durante o cálculo local.

O problema central é transformar um inventário de SAE plano e ruidoso em um grafo de conhecimento interno estruturado e específico de domínio que revele tanto a estrutura organizacional global quanto os caminhos mecânicos locais.

2. Metodologia

Os autores propõem um pipeline que move um inventário bruto de SAE para um universo de conceitos estrito, que é então organizado em duas visões de grafo alinhadas: um Grafo de Co-ocorrência (nível de corpus) e um Grafo de Mecanismo de Transcodificador (nível local).

A. Construção de um Universo de Conceitos Estrito (Filtragem)

Antes da construção do grafo, os autores aplicam um processo de filtragem multiestágio para isolar uma região relevante específica de domínio ($V^*$) a partir do inventário bruto ($V$):

1. Listagem Contrastiva: Os recursos são pontuados com base em três eixos, comparando o corpus alvo (por exemplo, um livro didático de biologia) contra corpora de contraste (por exemplo, história/geologia):
   • Suporte: O recurso está significativamente presente no alvo?
   • Enriquecimento: É mais característico do alvo do que dos contrastes?
   • Localização: Concentra-se em capítulos/subcapítulos coerentes em vez de se difundir por toda parte?
2. Adjudicação no Nível de Pacote: Os recursos sobreviventes são agrupados em "pacotes de evidência" contendo descrições, janelas representativas e dados de contraste. Um adjudicador em etapas verifica se o conceito é visível, pertence ao domínio alvo e é distintivo em comparação com os contrastes.
3. Resultado: Um universo estrito $V^*$ contendo apenas recursos de alta confiança e relevantes para o domínio.

B. Construção do Grafo

Duas visões de grafo complementares são construídas sobre $V^*$:

1. Grafo de Co-ocorrência Multi-Granular (Estrutura do Corpus):

   • Objetivo: Revelar como os conceitos se agrupam e conectam tópicos em todo o corpus.
   • Mecanismo: Os recursos são pontuados quanto à presença em sentenças com base em limiares de ativação. Essa presença é elevada deterministicamente para parágrafos, subcapítulos e capítulos.
   • Arestas: Construídas usando contagens de co-ocorrência normalizadas por Jaccard ($J_{ab}$) entre recursos. Isso cria um grafo de mesma camada mostrando quais conceitos ocorrem juntos em diferentes escalas.

2. Grafo de Mecanismo de Transcodificador (Fluxo Cruzado entre Camadas Local):

   • Objetivo: Explicar como conceitos da camada de origem se transformam em conceitos da camada de destino em entradas específicas.
   • Mecanismo: Utiliza um Transcodificador (um autoencoder esparso treinado para mapear o fluxo residual da Camada $L$ para a Camada $L+1$) juntamente com dicionários SAE para ambas as camadas.
   • Arestas: Arestas direcionadas representam caminhos legíveis onde um recurso de origem ativa um latente esparso, que por sua vez escreve em um recurso de destino.
   • Estático vs. Dinâmico:
     • Estático: Uma biblioteca de caminhos possíveis baseada em estatísticas resumidas.
     • Dinâmico: Um grafo condicionado à sentença mostrando quais caminhos estão realmente ativos para uma entrada específica.

C. Compressão Consciente de Hierarquia e Rotulagem de Arestas

• Hierarquia de Abstração: Para lidar com a densidade, os recursos são organizados em uma árvore semântica (árvore de abstração) usando agrupamento mutual-kNN em descrições de recursos.
• Compressão: Grafos de mecanismo locais densos são comprimidos colapsando subárvores coerentes em "supernós" enquanto preservam arestas ativas críticas (arestas de bloqueio) para manter a fidelidade.
• Rotulagem de Arestas (Auto-Relacionar): Em vez de arestas ponderadas sem rótulos, o sistema gera frases de relação legíveis.
  • Arestas de Co-ocorrência: Rotuladas usando sentenças de evidência conjunta e contrastiva (por exemplo, distinguindo "Yellowstone" de "amarelo" genérico).
  • Arestas de Mecanismo: Rotuladas usando a evidência mais forte no nível da sentença e dicas latentes para descrever a transformação (por exemplo, "Conceito de origem suporta Conceito de destino via Latente X").

3. Contribuições Principais

1. Filtragem Contrastiva Multiestágio: Um processo inovador para extrair um universo de conceitos estrito e específico de domínio a partir de inventários massivos de SAE, removendo ruído genérico.
2. Grafos de Conhecimento de Dupla Visão: A construção de dois grafos alinhados:
   • Um Grafo de Co-ocorrência para estrutura global e multi-granular do corpus.
   • Um Grafo de Mecanismo de Transcodificador para fluxo de conceitos direcionado local e cruzado entre camadas.
3. Compressão Hierárquica: Um método para comprimir grafos de mecanismo densos em "atlas de mecanismos" legíveis usando uma hierarquia semântica, equilibrando detalhe com legibilidade.
4. Semântica de Arestas Apoiada por Evidências: Um sistema de rotulagem automatizado que converte arestas estatísticas em relações de grafo de conhecimento legíveis e apoiadas por evidências.

4. Resultados

O framework foi avaliado em um corpus de livro didático de biologia usando SAEs Gemma Scope (Camadas 20-21).

• Recuperação de Estrutura: Os grafos recuperaram com sucesso a organização criada por humanos do livro didático.
  • Escala Global: "Bacias" distintas de ativação foram observadas para diferentes capítulos (por exemplo, Hereditariedade vs. Biotecnologia) em coordenadas compartilhadas.
  • Escala Local: Estruturas de subcapítulos mais finas foram preservadas dentro das bacias dos capítulos.
  • Métricas: Análise quantitativa mostrou alta alinhamento entre partições do grafo e capítulos/subcapítulos do livro didático, com agregação de sentenças e parágrafos produzindo a recuperação estrutural mais forte.
• Legibilidade: O pipeline transformou com sucesso atividade difusa no nível da sentença (milhares de recursos) em atlas de mecanismos compactos e legíveis.
• Conceitos de Ponte: Os grafos revelaram conceitos que conectam tópicos vizinhos, que são frequentemente perdidos em listas planas.
• Explicação de Mecanismo: Os grafos de transcodificador forneceram visões direcionadas e interpretáveis de como conceitos específicos (por exemplo, "sistema respiratório") são processados e transformados entre camadas, com arestas rotuladas por relações em linguagem natural.

5. Significado

Este trabalho representa uma mudança de paradigma na interpretabilidade mecânica:

• Do Inventário para o Mapa: Reenquadra os recursos de SAE não como uma lista plana de "o que o modelo sabe", mas como um grafo de conhecimento interno representando "como o modelo organiza e usa esse conhecimento".
• Auditoria de Fidelidade: Ao criar um mapa interno estruturado e apoiado por evidências, o método permite futuras auditorias de se o raciocínio gerado por um modelo (Cadeia de Pensamento) reflete fielmente sua estrutura de ativação interna.
• Escalabilidade: A abordagem demonstra que, mesmo com milhões de recursos, é possível construir visões coerentes e específicas de domínio dos interiores do modelo sem curadoria manual de cada recurso.
• Exploração Interativa: Os autores fornecem um artefato de navegador interativo, permitindo que pesquisadores naveguem pela estrutura de grafo aprendida, rastreiem regiões de ponte e inspecionem mecanismos no nível da sentença dinamicamente.

Em resumo, o artigo fornece um framework robusto para converter ativações de SAE brutas e de alta dimensão em grafos de conhecimento estruturados e legíveis por humanos que capturam tanto a topologia global do conhecimento do modelo quanto a mecânica local do raciocínio.