Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors

Título: Entendendo o Surgimento de Recursos Aparentemente Inúteis em Preditores de Próximo Token

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são treinados predominantemente com o objetivo de Previsão do Próximo Token (NTP - Next-Token Prediction). Teoricamente, espera-se que as representações ocultas de um modelo treinado dessa forma contenham apenas as informações estritamente necessárias para prever o token imediato ($x_{t+1}$).

No entanto, observações empíricas mostram que os Transformers aprendem recursos abstratos e complexos que parecem redundantes ou "inúteis" para a previsão imediata do próximo token. Exemplos incluem:

• Reconstrução de "modelos de mundo" (ex: estado do tabuleiro no jogo Othello).
• Inferência de estruturas sintáticas de alto nível.
• Predição implícita de tokens futuros (look-ahead).

A questão central é: Como e por que os Transformers treinados apenas para NTP aprendem esses recursos que não ajudam diretamente na previsão do próximo token? A literatura anterior focava em uma perspectiva teleológica (o papel do recurso no algoritmo final), ignorando o sinal de gradiente que causou o surgimento desses recursos durante o treinamento.

2. Metodologia: Decomposição do Fluxo de Informação

Os autores propõem uma nova visão baseada na estrutura de fluxo de informação em Transformers com máscaras causais. Eles demonstram que os recursos podem ser aprendidos através de três mecanismos distintos, decompondo o sinal de gradiente do objetivo de perda (loss) em três componentes:

1. Aprendizado Direto (Direct Learning): O gradiente que flui da previsão do próximo token imediato ($x_{i+1}$) para as representações na posição $i$. Este é o componente tradicional que incentiva apenas recursos úteis para $x_{i+1}$.
2. Pré-armazenamento (Pre-caching): O gradiente que flui da perda em posições futuras ($x_j$, onde $j > i+1$) para a posição $i$, passando por cabeças de atenção. Isso permite que a posição $i$ "prepare" informações que serão úteis para tokens futuros, mesmo que não sejam úteis para o token imediato.
3. Compartilhamento de Circuitos (Circuit Sharing): O gradiente que surge independentemente da representação específica na posição $i$, mas que influencia os parâmetros do modelo porque os blocos do Transformer usam os mesmos pesos em todas as posições. Se um recurso é útil em uma posição $j$, o compartilhamento de circuitos pode fazer com que ele seja aprendido também na posição $i$.

Técnicas Experimentais:

• Ablação (Myopic & Untied Training):
  • Myopic Training: Bloqueia gradientes entre posições não adjacentes, eliminando o "pre-caching".
  • Untied Training: Usa parâmetros separados para diferentes faixas de posições, eliminando o "circuit sharing".
• Atribuição de Gradiente: Os autores definem uma métrica de "Influência" ($I$) para quantificar quanto cada componente do gradiente (direto, pré-armazenado, compartilhado) contribui para a redução da discrepância (mismatch) de um recurso específico ao longo do treinamento.
• Intervenção em Modelos Pré-treinados: Para LLMs grandes (onde o re-treinamento é inviável), propõem uma métrica $Q(w)$ baseada em intervenções (ablação de features) para estimar a razão entre influência direta e pré-armazenada.

3. Contribuições Principais

1. Explicação Teórica: Fornecem uma explicação fundamentada de por que recursos complexos e não imediatos emergem em modelos NTP, identificando o "pre-caching" e o "circuit sharing" como os mecanismos responsáveis.
2. Método de Rastreamento: Desenvolvem uma abordagem experimental para classificar a origem de um recurso específico (se foi aprendido via gradiente direto, pré-armazenamento ou compartilhamento).
3. Novas Descobertas Empíricas:
   • Explicação da fragilidade do modelo de mundo no OthelloGPT.
   • Demonstração de que a geração de texto coerente depende criticamente do pré-armazenamento, enquanto a sintaxe simples não.
   • Identificação de que recursos com alta influência pré-armazenada em LLMs grandes estão fortemente correlacionados com domínios de raciocínio formal (código, matemática).

4. Resultados Chave

A. Tarefas Sintéticas (Toy Tasks)

Em tarefas como "Majority" e "Conditioned Majority", os autores mostraram que:

• Recursos que são inúteis para o próximo token (NTP-useless) não emergem em modelos com treinamento myopic (sem pré-armazenamento) ou untied (sem compartilhamento).
• O pré-armazenamento é essencial para aprender circuitos de duas camadas (como induction heads) necessários para tarefas complexas.

B. OthelloGPT (Modelo de Mundo)

• O modelo aprende representações do estado do tabuleiro.
• Recursos Úteis para NTP (células que afetam movimentos legais) são aprendidos fortemente via gradiente direto.
• Recursos Inúteis para NTP (células que não afetam movimentos imediatos) são aprendidos, mas de forma mais frágil, impulsionados pelos componentes pré-armazenados e compartilhados.
• Isso explica por que o modelo de mundo do OthelloGPT é frágil: ele depende de sinais de gradiente indiretos que são mais suscetíveis a ruídos e variações.

C. Pequenos Modelos de Linguagem (TinyStories)

• Geração de Texto: Modelos myopic (sem pré-armazenamento) têm perda significativamente maior e falham em gerar texto coerente. O pré-armazenamento é necessário para manter o contexto de longo prazo.
• Sintaxe: Recursos sintáticos simples (POS tags, dependências) são aprendidos principalmente via gradiente direto e não dependem criticamente do pré-armazenamento.
• Posição: O recurso de "posição" (contexto de longo prazo da história) depende fortemente do pré-armazenamento.

D. Grandes Modelos de Linguagem (Gemma 2)

Aplicando a métrica $Q(w)$ em um modelo pré-treinado (Gemma 2 2B):

• Correlação com Raciocínio Formal: Recursos com valores extremos de $Q(w)$ (alta influência pré-armazenada) estão desproporcionalmente associados a código, estruturas de programação e matemática.
• Steering (Direcionamento): Ao ativar artificialmente esses recursos de alta influência pré-armazenada, o modelo gera mais código e pontuação.
• Look-Ahead vs. Pré-armazenamento: Contrariando a hipótese de que o "look-ahead" (predição de futuros) é causado exclusivamente por recursos pré-armazenados, os autores encontraram uma correlação negativa. Recursos úteis para prever tokens futuros (look-ahead) tendem a ser recursos diretos, sugerindo que o look-ahead surge de similaridades de recursos necessários em diferentes posições, e não de um planejamento implícito via pré-armazenamento.

5. Significância e Conclusão

Este trabalho representa um avanço na Interpretabilidade Mecanística, mudando o foco de uma perspectiva estática (o que o recurso faz no modelo final) para uma perspectiva desenvolvimental (como o gradiente de treinamento molda o recurso).

• Implicações Teóricas: Demonstra que o objetivo de NTP, quando combinado com a arquitetura de Transformers, naturalmente incentiva a aprendizagem de capacidades de raciocínio e planejamento (via pré-armazenamento) sem necessidade de objetivos de treinamento explícitos para isso.
• Implicações Práticas: Ajuda a entender por que certos domínios (como programação) são bem-sucedidos em LLMs (devido à necessidade de pré-armazenamento para estruturas formais) e oferece ferramentas para diagnosticar a robustez de representações internas (como modelos de mundo).
• Futuro: Abre caminho para otimizar o treinamento de modelos focando em componentes de gradiente específicos para melhorar a aprendizagem de raciocínio complexo ou para entender a "alucinação" e falhas em modelos.

Em resumo, o papel "inútil" de certos recursos é, na verdade, uma consequência necessária da arquitetura do Transformer e do fluxo de gradientes de longo prazo, permitindo que os modelos desenvolvam capacidades sofisticadas de raciocínio e modelagem de mundo.