Resumo Técnico: Construindo Oráculos de Ativação Melhores

Declaração do Problema

Oráculos de Ativação (AOs) são modelos de linguagem de grande escala (LLMs) ajustados para interpretar as ativações do fluxo residual de um LLM alvo, respondendo a perguntas em linguagem natural sobre o estado interno do modelo. Embora promissores para uma interpretabilidade escalável e de ponta a ponta, os AOs atuais sofrem de problemas significativos de usabilidade:

• Alucinações: O oráculo produz informações falsas sobre o raciocínio do modelo.
• Vagueza: As saídas são genéricas e infalsificáveis, falhando em responder a perguntas específicas do usuário.
• Desafios de Avaliação: "Confundimentos de inversão de texto" permitem que modelos pareçam performantes ao simplesmente reconstruir o texto circundante a partir das ativações, em vez de realmente interpretar o estado interno.
• Falhas no Conjunto de Dados e no Objetivo: O pipeline de treinamento padrão depende do conjunto de dados LatentQA e de um objetivo de lente de passado/futuro baseado em FineWeb, ambos os quais os autores identificam como subótimos para treinar AOs robustos.

Metodologia

Os autores propõem um regime de treinamento revisado para AOs envolvendo quatro melhorias específicas na receita padrão estabelecida por Karvonen et al. [2025].

1. Conjunto de Dados Conversacional Melhorado

Os autores substituem o conjunto de dados LatQA por um novo conjunto de dados conversacional construído para mitigar a inversão de texto e a vagueza.

• Construção: Um LLM separado (Sonnet 4.6) é fornecido com a Cadeia de Pensamento (CoT) de um modelo alvo. Ele divide a CoT em um prefixo e um sufixo, e então gera uma pergunta sobre o sufixo.
• Restrição: A pergunta é construída para ser difícil de responder usando apenas o texto do prefixo (prevenindo a inversão de texto), mas passível de ser resolvida usando as ativações no ponto de divisão.
• Racional: Isso visa o raciocínio interno do modelo em vez de especificidades superficiais do prompt e evita incentivar o "chute".

2. Alimentação de Ativação de Múltiplas Camadas

Em vez de alimentar ativações de uma única camada selecionada aleatoriamente (ex: 25%, 50% ou 75% de profundidade), os autores experimentam alimentar ativações de múltiplas camadas contíguas.

• Descobertas: O desempenho atinge o pico quando se alimenta as camadas 21–25 (centradas em torno da camada 22, ou ~62% de profundidade).
• Benefício: Isso proporciona um aumento consistente, particularmente em tarefas de diferenciação de modelos (model diffing), embora uma única camada bem escolhida (65% de profundidade) capture a maior parte do ganho.

3. Dados de Treinamento On-Policy

Os autores substituem o corpus de pré-treinamento (FineWeb) usado para o objetivo de lente de passado/futuro por dados on-policy (gerações do próprio modelo sendo interpretado).

• Hipótese: Dados on-policy constituem uma tarefa mais solúvel porque visam o que o modelo está realmente representando em suas ativações durante a geração, em vez de depender de priors estáticos de pré-treinamento.
• Aplicação: Isso alinha a distribuição de treinamento com o caso de uso pretendido (ex: estudar traços de agentes).

4. Fórmula de Injeção e Força

Os autores refinam como as ativações são injetadas no AO.

• Método: Eles mantêm a injeção aditiva e de correspondência de norma após a segunda camada do transformer (seguindo Karvonen et al. [2025]), em vez de substituir inteiramente os embeddings de tokens (como em Autoencoders de Linguagem Natural).
• Ajuste de Hiperparâmetros: Eles descobriram que aumentar a magnitude da força de injeção melhora marginalmente o desempenho. Hipotetiza-se que isso ajude a superar o prior do modelo de linguagem de atribuir pesos iguais aos tokens, forçando um sinal mais forte para a ativação.

Principais Contribuições

1. AObench: O lançamento do primeiro conjunto de avaliação abrangente para a qualidade de AOs. Ele é projetado para medir capacidades específicas (concretude, fidelidade) enquanto permanece robusto a confundimentos de inversão de texto.
2. Receita de Treinamento Revisada: Uma demonstração de que mudanças específicas no conjunto de dados, seleção de camadas e distribuição de dados de treinamento geram melhorias consistentes na qualidade do AO.
3. Recursos de Código Aberto: Lançamento do novo conjunto de dados conversacional, checkpoints de modelos e código de avaliação.

Resultados

Os autores conduziram estudos de ablação controlados partindo da linha de base de Karvonen et al. [2025], treinando todos os modelos com exatamente 50M de tokens.

• Desempenho Geral: A receita completa melhorou a pontuação ajustada ao acaso do AObench de +0,244 (linha de base) para +0,435.
• Principal Impulsionador: A troca para o novo conjunto de dados conversacional foi o maior contribuidor individual, elevando a pontuação de +0,244 para +0,310.
• Impulsionadores Secundários: A extração de múltiplas camadas e os dados on-policy forneceram aumentos adicionais e menores. Aumentar a força de injeção proporcionou um ganho marginal final.
• Melhorias Qualitativas:
  • Vagueza: Melhorou substancialmente (pontuação ajustada ao acaso de 0,076 para 0,205).
  • Alucinação: A pontuação bruta de alucinação inicialmente pareceu aumentar porque o novo conjunto de dados treinou o modelo para fazer afirmações mais específicas (tornando as alucinações mais fáceis de detectar). No entanto, ao contabilizar essa especificidade, a taxa de detalhes não suportados diminuiu monotonicamente (de 68,8% para 84,6% de fidelidade).
• Achado Negativo: O pós-treinamento estreito em tarefas de Ivanova et al. [2026] consistentemente falhou em exceder o desempenho de uma sonda linear simples (linear probe).

Significância e Alegações

O artigo posiciona os AOs como um componente crítico do paradigma emergente de interpretabilidade escalável e de ponta a end, onde modelos são treinados em objetivos auto-supervisionados para mapear estados internos para linguagem natural.

• Alegações de Capacidade Modesta: Os autores observam que, embora as melhorias de "qualidade de vida" (redução de vagueza, melhor seguimento de instruções) sejam substanciais, as melhorias de capacidade bruta são "marginais".
• Margem Futura: Os autores argumentam que os maiores ganhos potenciais para AOs provavelmente virão de melhorias na própria tarefa de treinamento não supervisionado. Eles veem seu trabalho atual como um passo fundamental, sugerindo que encontrar uma tarefa escalável que aumente significativamente a capacidade continua sendo um grande desafio em aberto.
• Padrão de Avaliação: Ao introduzir o AObench, o artigo visa fornecer uma métrica estável e robusta para pesquisas futuras, abordando a dificuldade de avaliar AOs contra confundimentos de inversão de texto.