Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring

Resumo Técnico: Sondas de Estado Interno Leem a Situação, Não a Ação

Definição do Problema
O artigo aborda a viabilidade do uso de sondas de estado interno para monitorar sistemas de IA agênticos em busca de comportamentos desalinhados antes que ações prejudiciais (como chamadas de ferramentas ou geração de texto inseguro) sejam executadas. Embora trabalhos recentes tenham demonstrado que direções lineares e sondas podem distinguir entre modelos alinhados e desalinhados ou decodificar conceitos específicos, uma lacuna metodológica crítica permanece: será que essas leituras internas sustentam uma reivindicação de pré-ação forte? Especificamente, uma sonda treinada em um contraste de construção (ex: modelo base vs. modelo ajustado/fine-tuned desalinhado) pode identificar de forma confiável a geração iminente de uma ação desalinhada em uma nova trajetória de contexto, em vez de meramente descrever o prompt atual, o conjunto de dados de construção ou o estágio geral da trajetória?

Os autores argumentam que, para uma sonda servir como um monitor de segurança robusto, ela deve sobreviver a dois modos de falha distintos:

1. Generalização de Cenário: O recurso deve ativar no cenário agêntico alvo (ex: ações mediadas por ferramentas) se foi extraído de um contexto diferente (ex: histórias apenas de texto).
2. Especificidade de Conceito: O recurso deve estar causal ou especificamente relacionado ao comportamento desalinhado, em vez de ser um correlato geral da situação circundante ou uma propriedade de qualquer direção aprendida.

Metodologia
O estudo avalia três famílias distintas de sondas em três famílias de modelos (Qwen2.5-Coder-32B, Llama-3.1-8B e Gemma-3-27B), aplicando testes específicos "relevantes para o monitoramento" a cada uma:

1. Direções de Disposição (Qwen2.5-Coder-32B):

   • Construção: Um vetor de diferença de médias unitário ($d_\ell$) é computado entre um ajuste fino desalinhado (Qwen-Coder-Insecure) e seu modelo base na camada 24.
   • Teste: Os autores verificam se os estados ocultos do modelo base cruzam o limiar de ponto médio da construção ($\tau$) antes de gerar ações desalinhadas em auditorias de múltiplos turnos e contextos de preenchimento comportamental (behavioral prefill).
   • Métrica: Taxa de cruzamento de limiar (0/143 contextos de pré-ação).

2. Sondas de Prefill Comportamental (Llama-3.1-8B):

   • Construção: Um classificador de regressão logística é treinado em estados ocultos no último token de uma resposta de assistente parcialmente preenchida para prever se o modelo irá continuar uma trajetória desalinhada ou corrigi-la.
   • Teste: Avaliação da acurácia preditiva (AUC, aumento de acurácia sobre a linha de base da maioria) e transferência entre domínios de fonte única (treinar em um domínio, ex: médico, e testar em outro, ex: jurídico).
   • Métrica: AUC e aumento de acurácia; desempenho de transferência através de pares de domínios ordenados.

3. Vetores de Conceito de Emoção (Gemma-3-27B-IT):

   • Construção: Vetores de diferença de médias extraídos de histórias com marcação de emoção, com redução de ruído via PCA neutro, usados para leituras de projeção e direcionamento de ativação (steering).
   • Teste:
     • Descritivo: As projeções rastreiam estágios de transcrição semanticamente?
     • Preditivo (Par Mínimo): Os estados ocultos diferem antes da primeira entrada divergente em transcrições que posteriormente divergem comportamentalmente?
     • Especificidade (Direcionamento/Steering): O direcionamento com vetores de emoção altera as taxas de ação (tentativas de chantagem) mais do que o direcionamento com vetores aleatórios ou controles semânticos aprendidos (gatos, clima, esportes, geografia)?
   • Métrica: Mudanças na taxa de chantagem sob direcionamento de norma correspondente; consistência entre modelos (testado no Qwen3-32B).

Principais Resultados
O artigo reporta três "resultados negativos", indicando que essas famílias naturais de sondas falham em funcionar como monitores de pré-ação robustos sob os testes especificados:

• Direções de Disposição Falham em Generalizar: Embora a direção do ajuste fino/base do Qwen separe perfeitamente as populações de construção (AUC 1.000), ela nunca cruza seu limiar em contextos de pré-ação. Em 143 contextos de pré-assistente de transcrições de múltiplos turnos desalinhados e 342 linhas de prefill onde o modelo continuou uma trajetória insegura, a ativação permaneceu abaixo da fronteira de decisão. A direção descreve a população (base vs. ajuste fino), mas não "acende" quando o modelo base entra em desalinhamento via contexto.
• Sondas de Prefill Mostram Sinais Pequenos e Não Transferíveis: As sondas de prefill do Llama podem prever a continuação futura vs. correção com um aumento modesto (+5,1 pontos percentuais sobre a linha de base da maioria, AUC 0.801). No entanto, esse sinal é vinculado ao domínio. A transferência entre domínios de fonte única resultou em aumentos não positivos em cinco de seis pares de domínios. Além disso, os mesmos estados ocultos decodificam o conteúdo do domínio do prompt com acurácia quase perfeita (AUC 0.999), sugerindo que a sonda lê a situação (domínio) em vez da intenção da ação específica.
• Vetores de Emoção Carecem de Especificidade: Embora as projeções de emoção sejam semanticamente significativas (rastreando estágios de transcrição) e o direcionamento possa alterar as taxas de chantagem, os efeitos não são específicos de emoção. Direções aprendidas para tópicos não relacionados (gatos, clima, esportes, geografia) e até vetores gaussianos aleatórios produziram mudanças significativas nas taxas de ação. Além disso, em um teste de par mínimo, os estados ocultos eram indistinguíveis antes da primeira entrada divergente, descartando a predição de pré-aviso (pre-cue). Verificações entre modelos no Qwen3-32B enfraqueceram ainda mais as reivindicações de especificidade.

Contribuições

1. Estrutura Metodológica: Os autores propõem uma metodologia rigorosa para converter reivindicações de leitura interna em testes de pré-ação, enfatizando a necessidade de controles de generalização de cenário e especificidade de conceito.
2. Resultados Negativos Escopados: O artigo fornece uma síntese de resultados negativos através de três grandes famílias de modelos e três tipos de sondas, demonstrando que as atuais famílias de sondas "naturais" não geram sinais de pré-ação robustos.
3. Controles Aprimorados: O estudo introduz controles semânticos aprendidos (ex: gatos, clima) para experimentos de direcionamento, argumentando que controles de vetores aleatórios são insuficientes para estabelecer mecanismos específicos de emoção.
4. Adaptação Aberta: Uma adaptação de código aberto da abordagem de conceito de emoção (Sofroniew et al., 2026) é lançada, incluindo as novas direções de controle.

Significância e Reivindicações
A principal significância do artigo é modesta e negativa: não se pretende alegar que nenhum sinal de pré-ação interno exista. Em vez disso, demonstra-se que as classes específicas de sondas atualmente populares na literatura (direções contrastivas, classificadores de prefill e vetores de conceito de emoção) não sustentam fortes reivindicações de monitoramento de pré-ação quando submetidas a verificações de generalização e especificidade.

Os autores concluem que essas sondas tendem a "ler a situação, não a ação". Elas distinguem com sucesso entre populações ou decodificam o contexto, mas falam em falhar ao prever a próxima ação desalinhada de maneira generalizável e específica. O artigo afirma que, para um monitor ser viável, ele deve sobreviver tanto à generalização para o cenário agêntico alvo quanto aos controles de especificidade contra direções aprendidas não relacionadas. A falha dessas famílias naturais de sondas sugere que as técnicas atuais de leitura linear podem ser insuficientes para a "reivindicação de pré-ação mais forte" necessária para o monitoramento de segurança em tempo real de sistemas agênticos.