Resumo Técnico: GraphGhost: Rastreando Estruturas por Trás de Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) demonstram fortes capacidades em tarefas de raciocínio estruturado (ex: resolução de problemas matemáticos, inferência lógica), embora os mecanismos internos que impulsionam esses comportamentos permaneçam mal compreendidos. Os métodos de interpretabilidade existentes focam primordialmente em atribuições ao nível de token, que rastreiam previsões individuais de volta a tokens de entrada ou ativações específicas. Embora úteis para explicações localizadas, essas abordagens falham em capturar os processos de raciocínio de múltiplos passos e o fluxo global de informação dentro do modelo. Consequentemente, há uma falta de compreensão sobre como as representações são compostas, fundidas e reutilizadas ao longo dos passos de raciocínio, criando um hiato entre a compreensão fiel do mecanismo interno e a lógica de raciocínio interpretável por humanos.

Metodologia: GraphGhost

Para abordar essas limitações, os autores propõem o GraphGhost, um framework baseado em grafos que modela as interações internas de tokens e as ativações de neurônios em LLMs como grafos estruturados. O framework opera a partir de duas perspectivas complementares:

1. Visão de Amostra (Específica da Instância)

Esta visão rastreia dependências internas de tokens dentro de um par entrada-saída único para explicar uma previsão específica.

• Mecanismo: Começando pelo token da resposta final, o método expande iterativamente para trás através do cálculo interno do modelo usando técnicas de rastreamento de circuitos (especificamente utilizando transcodificadores para decompor ativações densas de MLP em características esparsas e interpretáveis).
• Construção: Ele agrega grafos de atribuição baseados em logit locais. Os nós representam tokens contribuintes (ou características de transcodificadores) e as arestas direcionadas representam relações de dependência.
• Saída: Um grafo estrutural não ponderado ($G_{sample}$) que captura a existência de dependências, juntamente com um mapa de pesos de aresta local ($W_{local}$) que acumula forças de contribuição para posterior agregação. Isso revela como tokens intermediários são fundidos e propagados durante a geração sequencial.

2. Visão de Conjunto de Dados (Padrões Generalizáveis)

Esta visão agrega estruturas através de múltiplas amostras para identificar padrões recorrentes e compartilhados de nível de token aprendidos durante o treinamento.

• Mecanismo: Os GraphGhosts de nível de amostra de um conjunto de dados são fundidos via união de conjuntos para formar um grafo unificado ($G_{data}$).
• Agregação: Os pesos das arestas são acumulados através das amostras para quantificar a frequência e a força das dependências recorrentes. Uma normalização estocástica de linha é aplicada para determinar a importância relativa da aresta no nível do conjunto de dados.
• Saída: Um grafo que captura primitivas de raciocínio reutilizáveis e estruturas específicas de tarefas, revelando como o modelo generaliza através de diferentes domínios (ex: raciocínio matemático vs. lógico).

Análise de Grafos e Intervenção

O framework emprega análise de grafos para caracterizar o estado interno do modelo:

• Fusão Semântica: Analisada via grau de entrada do nó (in-degree), identificando tokens onde a informação de múltiplas fontes converge (ex: fundindo "1" e "0" em uma representação unificada de "10").
• Gatilhos de Raciocínio: Identificados usando PageRank em arestas reversas para encontrar nós influentes que iniciam passos de raciocínio (ex: tokens como "Então" ou "Passo").
• Intervenção: Os autores realizam perturbações direcionadas (silenciando nós de neurônios específicos associados a tokens críticos) para observar mudanças causais nas trajetórias de raciocínio e na saída.

Contribuições Principais

1. Framework Unificado: A proposta do GraphGhost, que modela interações internas de tokens e ativações de neurônios tanto no nível de amostra quanto no nível de conjunto de dados, indo além de atribuições isoladas de tokens.
2. Insights Estruturais: A revelação de que os grafos internos capturam restrições estruturais que governam o comportamento do modelo, especificamente moldando a composição e a propagação de informação durante o raciocínio.
3. Validação Empírica: Experimentos quantitativos demonstrando que nós de neurônios relacionados a tokens estruturalmente importantes influenciam fortemente as trajetórias de raciocínio. Intervenções nesses nós resultam em mudanças mensuráveis tanto na expressão de linguagem (ex: troca de idioma) quanto no fluxo lógico.

Resultados Experimentais

Os autores avaliaram o GraphGhost em múltiplos modelos (Qwen3-0.6B, Qwen2.5-1.5B, Llama3.1-8B-Instruct e variantes destiladas do DeepSeek) através de três domínios de raciocínio: matemático (GSM8K, MAWPS), lógico (ProntoQA, BoolQA) e científico (ARC-Easy, QASC).

• Propriedades Estruturais: As propriedades estruturais do grafo foram encontradas como intimamente associadas a tokens influentes e nós de neurônios. Nós de alto grau de entrada (pontos de fusão) e nós de alto PageRank (gatilhos) foram identificados como estruturalmente críticos.
• Efeitos de Perturbação:
  • Controle Semântico: Silenciar um nó de neurônio associado ao token "the" em uma camada intermediária (Camada 20) interrompeu o caminho semântico do inglês, fazendo o modelo gerar texto em chinês (uma tradução direta), demonstrando o papel do nó na manutenção do idioma.
  • Alteração Lógica: Silenciar um nó de neurônio associado ao token "." em uma camada superior (Camada 25) alterou o fluxo de raciocínio, introduzindo um novo token gatilho ("Então") que levou o modelo a produzir uma conclusão lógica correta onde anteriormente ele havia falhado.
• Generalização: A visão de conjunto de dados revelou que, enquanto certos tokens (ex: ".", "the") são compartilhados entre domínios como primitivas de raciocínio universais, outros são específicos de domínio (ex: tokens aritméticos em GSM8K/MAWPS vs. tokens de escolha em ARC).

Significância e Alegações

O artigo afirma que os padrões estruturais capturados pelo GraphGhost refletem a organização interna significativa do raciocínio de LLMs. Ao formalizar o raciocínio como um grafo de dependências de tokens, o framework fornece uma maneira fundamentada de entender a origem da inteligência em LLMs. Os resultados sugerem que:

• O raciocínio não é meramente uma sequência de previsões de tokens isolados, mas é impulsionado por interações estruturadas e fluxo global de informação.
• Estruturas de grafos internos moldam fundamentalmente como os tokens individuais influenciam os resultados do raciocínio.
• A interpretabilidade fiel requer alinhar os mecanismos de raciocínio interno com a lógica interpretável por humanos, o que o GraphGhost facilita ao expor o processo "mecânico" de como os tokens intermediários são fundidos e reutilizados.

Os autores concluem que o GraphGhost oferece um método robusto para análise mecanística, preenchendo a lacuna entre explicações locais de tokens e as restrições estruturais globais que governam o comportamento do LLM.