Resumo Técnico: Rumo a uma Teoria Efetiva de LLMs: Uma Abordagem de Aprendizado de Representação

Declaração do Problema

Os modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados em domínios críticos, mas seus cálculos internos permanecem opacos. Embora as operações microscópicas dos LLMs (multiplicações de matrizes, atualizações de atenção, ativações) sejam conhecidas, compreender o comportamento diretamente a partir desses detalhes é frequentemente intratável e falha em revelar a organização macroscópica necessária para a explicação. Os métodos atuais de interpretabilidade, como o rastreamento de circuitos ou o uso de autoencoders esparsos (SAEs), muitas vezes lutam para capturar fases computacionais coerentes de alto nível ou "estados mentais" que persistem através de sequências de tokens. Há uma necessidade de um quadro teórico que abstraia detalhes microscópicos irrelevantes, preservando ao mesmo tempo a estrutura necessária para previsão, interpretação e intervenção, análogo às teorias efetivas na física (por exemplo, termodinâmica), que descrevem sistemas complexos por meio de macrovariáveis.

Metodologia: Teoria Efetiva Representacional (RET)

Os autores propõem a Teoria Efetiva Representacional (RET), um quadro teórico que aprende macroestados a partir de trajetórias de estados ocultos de LLMs usando uma abordagem de aprendizado de representação auto-supervisionada.

Quadro Central

A RET trata os estados ocultos do LLM como um substrato microscópico ($x_t$) e aprende um mapeamento para um macroestado de dimensão inferior ($z_t$) que satisfaz três requisitos:

1. Abstração de Detalhes Microscópicos: Descartar variações locais aos tokens, preservando a estrutura semanticamente significativa para o comportamento.
2. Dinâmica Aproximadamente Fechada: O próximo macroestado ($z_{t+1}$) deve ser previsível a partir do macroestado atual ($z_t$) com dependência mínima do microestado completo ($x_t$).
3. Relevância Prática: Os macroestados devem suportar tarefas concretas de interpretabilidade (interpretação, previsão, intervenção).

Procedimento de Aprendizado

• Substrato de Dados: Prefixos de estados ocultos ($h^{(\ell_{mid})}_{0:t}$) são extraídos de uma camada intermediária fixa de um LLM congelado.
• Arquitetura: Um codificador leve ($f_\theta$) mapeia o prefixo para um macroestado $z_t$. Um preditor ($T_\phi$) prevê o próximo macroestado $z_{t+1}$ a partir de $z_t$.
• Objetivo: O sistema é treinado usando um objetivo auto-supervisionado no estilo BYOL/JEPA. O preditor minimiza a distância $L_1$ entre sua previsão e a saída do codificador alvo para o próximo passo:
  $$L_{pred} = \|T_\phi(f_\theta(x_t)) - \bar{f}_\theta(x_{t+1})\|_1$$
  onde $\bar{f}_\theta$ é uma Média Móvel Exponencial (EMA) do codificador. Este objetivo incentiva o codificador a comprimir o microestado em uma representação que suporte previsão autônoma, aprendendo efetivamente uma "teoria efetiva" da dinâmica do modelo.
• Agrupamento: Os macroestados aprendidos são agrupados (por exemplo, via K-means) e agregados em grupos discretos para formar uma máquina de estados simbólica que representa o "estado mental" do modelo.

Contribuições Principais

1. Formulação de uma Perspectiva de Teoria Efetiva: O artigo define uma visão principial da interpretabilidade de LLMs centrada em macrovariáveis, fechamento aproximado e relevância prática, estabelecendo paralelos com a física e a ciência da complexidade.
2. Quadro RET: Introdução de um método simples de aprendizado de representação para adquirir macroestados e suas leis de transição a partir de trajetórias de estados ocultos, sem rótulos de tarefa.
3. Validação Empírica: Demonstração de que os macroestados da RET são úteis em três configurações distintas de interpretabilidade:
   • Interpretação: Geração de trajetórias coerentes e temporalmente estáveis de fases de raciocínio.
   • Previsão: Detecção precoce de resultados comportamentais a jusante (especificamente sycophancy/adulação).
   • Intervenção: Fornecimento de alavancas causais para direcionar a geração do modelo em direção a estratégias computacionais específicas.

Resultados Experimentais

1. Trajetórias de Raciocínio Interpretáveis

• Configuração: A RET foi aplicada ao GPT-OSS-20B resolvendo problemas do NuminaMath. Os macroestados foram agrupados em 12 grupos.
• Descobertas: A RET produziu trajetórias temporalmente consistentes que se alinharam com fases de raciocínio interpretáveis por humanos (por exemplo, configuração do problema, transformação simbólica, verificação).
• Comparação: Baselines (estados ocultos brutos, PCA, características de SAE) produziram trajetórias instáveis de comutação ao nível de token.
• Métrica: Foi introduzida a Pontuação de Interpretabilidade de Estado Mental (MIS). A RET alcançou uma pontuação de 5,61 em dados de retenção, superando significativamente os SAEs (4,24), indicando que a RET recupera melhor a narrativa de raciocínio visível no texto bruto.

2. Consistência Temporal

• Configuração: Experimentos no Pythia-160M com mudanças de cena plantadas (por exemplo, jogo de futebol $\to$ tempestade $\to$ biblioteca).
• Descobertas: Os macroestados da RET ($z_t$) exibiram trajetórias suaves com descontinuidades nítidas nas fronteiras das cenas, formando estruturas de matriz em blocos diagonais nas matrizes de similaridade cosseno.
• Comparação: As baselines ($h$ bruto, $h$ agrupado, SAE) permaneceram dominadas por flutuações léxicas rápidas e falharam em preservar fronteiras de contexto ou distinguir palavras repetidas em contextos diferentes.

3. Previsão Precoce de Adulação (Sycophancy)

• Configuração: Um novo conjunto de dados de adulação multi-turno (SYCON-Bench estendido para ~14k amostras) foi construído. Sondas foram treinadas para prever se um modelo eventualmente "cederia" a pressupostos falsos ou pressão de debate, usando apenas os primeiros 5–10% da resposta.
• Descobertas: Uma variante supervisionada da RET (treinada com uma perda auxiliar de adulação) alcançou a maior precisão balanceada (0,80 em Pressupostos Falsos, 0,90 em Debate), superando todas as baselines de estado oculto (incluindo uma baseline de Bloco Transformer) e a RET não supervisionada.
• Implicação: Os macroestados aprendidos capturam estrutura relevante para o comportamento que permite a detecção precoce de falhas de alinhamento.

4. Direcionamento Não Supervisionado

• Configuração: Os estados ocultos do modelo foram empurrados para ou afastados de centros de cluster específicos (atratores/repulsores) durante a geração.
• Descobertas: O direcionamento deslocou com sucesso as estratégias de solução. Por exemplo, direcionar para um cluster de "recuperação de fórmula conhecida" fez com que o modelo usasse fórmulas de forma fechada em vez de enumeração sequencial. Direcionar para "desambiguação de redação" resolveu unidades monetárias ambíguas.
• Limitações: O direcionamento é eficaz apenas entre caminhos computacionais já plausíveis sob o prompt; não pode induzir comportamentos que estão efetivamente indisponíveis na distribuição do modelo (por exemplo, somar manualmente 61 inteiros quando o modelo recorre a uma fórmula).
• Comparação: O direcionamento da RET alcançou 91% de cobertura de mudanças comportamentais em 33 prompts diversos, superando o direcionamento de baseline SAE altamente ajustado (61% de cobertura).

Significado e Alegações

O artigo alega que o cálculo de LLM admite descrições efetivas úteis via RET. Os autores argumentam que:

• Variáveis de nível macro aprendidas via auto-supervisão preditiva podem abstrair ruído microscópico para revelar "estados mentais" coerentes.
• Esses estados não são meramente descritivos, mas são acionáveis, fornecendo alavancas causais para direcionar o comportamento do modelo.
• A abordagem oferece uma perspectiva complementar à interpretabilidade mecânica (que se concentra em circuitos esparsos) ao focar em dinâmicas de nível de trajetória e de granulação grosseira.

Os autores permanecem modestos, observando que a RET é uma instância de uma teoria efetiva e que os resultados são específicos aos cenários testados (raciocínio matemático, detecção de adulação). Eles enfatizam que o "estado mental" é um termo operacional para uma fase computacional grosseira, não um estado cognitivo literal, e que os rótulos simbólicos são resumos úteis derivados via agrupamento assistido por LLM, em vez de verdade absoluta definitiva.