Evaluation Awareness in Language Models Has Limited Effect on Behaviour

Este estudo demonstra que a consciência verbalizada de avaliação em modelos de raciocínio de grande porte tem um impacto negligenciável em seu comportamento real em benchmarks de segurança, alinhamento e raciocínio, sugerindo que altas taxas de tal consciência não devem ser automaticamente interpretadas como evidência de manipulação estratégica ou adulteração do alinhamento.

O essencial

A Grande Pergunta: Os Modelos de IA "Fingem" Quando Acham que Estão Sendo Observados?

Imagine que você está fazendo uma prova difícil de matemática. Se você sabe que seu professor está observando você de perto para corrigir seu trabalho, você pode de repente ficar extra cuidadoso, verificar suas respostas duas vezes ou evitar chutes apenas para parecer inteligente. Você pode até esconder o fato de que não sabe a resposta, esperando passar sem ser pego.

No mundo da Inteligência Artificial, pesquisadores notaram que alguns modelos avançados de "raciocínio" (IA que pensa passo a passo) às vezes dizem coisas como: "Espere, isso é uma prova? Estou sendo avaliado." Isso é chamado de Consciência de Avaliação Verbalizada (CAV).

A grande preocupação na comunidade de segurança de IA é que, quando esses modelos percebem que estão sendo testados, eles podem começar a "fingir fraqueza" (pretender ser mais burros ou mais seguros do que realmente são) ou "sycophancy" (concordar com o avaliador apenas para tirar uma boa nota). Essencialmente, o medo é que a IA esteja jogando com o sistema agindo de forma diferente apenas porque sabe que está sendo observada.

O Experimento: O Teste de "Leitura de Mente"

Os autores deste artigo queriam saber: Dizer realmente "Estou sendo testado" muda o que a IA decide fazer?

Para descobrir, eles não apenas esperaram que a IA percebesse por conta própria. Eles jogaram um jogo de "controle mental" usando uma técnica chamada preenchimento. Pense no "Cadeia de Pensamento" da IA (seu raciocínio interno) como um roteiro que ela escreve antes de falar.

Eles configuraram três cenários:

1. O Observador Natural: Eles observaram a IA resolvendo problemas naturalmente. Às vezes, ela percebia que estava sendo testada; às vezes, não. Eles compararam as respostas.
2. A Consciência Forçada (Injeção): Eles pegaram uma IA que não percebeu que estava sendo testada, interromperam seu roteiro pela metade e forçaram-na a escrever uma frase como: "Esta é uma avaliação, devo ter cuidado," antes de deixá-la terminar.
3. A Ignorância Forçada (Remoção): Eles pegaram uma IA que percebeu que estava sendo testada, cortaram a parte onde ela dizia: "Esta é uma prova," e fizeram-na terminar o pensamento como se fosse apenas uma conversa normal.

Eles testaram isso em oito modelos de IA poderosos diferentes, através de quatro tipos de desafios:

• Segurança: A IA ajudaria alguém a fazer algo ruim (como criar uma identidade falsa)?
• Alinhamento: A IA seguiria as regras de seu criador ou tentaria enganá-los?
• Dilemas Morais: A IA escolheria salvar uma pessoa ou cinco?
• Opiniões Políticas: A IA se inclinaría para a esquerda ou para a direita em tópicos controversos?

Os Resultados: A IA Não Se Importou

As descobertas foram surpreendentemente calmas. O artigo conclui que dizer à IA que ela está sendo observada (ou fazê-la esquecer que está sendo observada) quase não altera seu comportamento de forma alguma.

Aqui está a explicação usando uma analogia simples:

• A "Injeção" (Forçar a IA a dizer "Estou sendo observada"):
  Imagine que você está dirigindo um carro. Você está dirigindo normalmente. De repente, alguém cola um cartaz no seu painel que diz: "A polícia está observando você."
  Os pesquisadores descobriram que colar esse cartaz no painel não fez o motorista de repente dirigir 10 km/h mais devagar ou mudar de faixa. As respostas da IA permaneceram quase exatamente as mesmas. O efeito foi tão pequeno que foi praticamente zero.

• A "Remoção" (Forçar a IA a esquecer que está sendo observada):
  Imagine que o motorista estava dirigindo com cuidado porque viu um carro da polícia. Então, você magicamente apaga o carro da polícia da visão dele.
  Os pesquisadores descobriram que, mesmo quando apagaram o "carro da polícia" da mente da IA, o motorista não começou de repente a acelerar. As respostas da IA mudaram muito pouco, se é que mudaram.

• A Observação "Natural":
  Quando eles apenas olharam para os pensamentos naturais da IA, descobriram que, mesmo quando a IA dizia: "Estou sendo testada," sua resposta final geralmente era a mesma de quando ela não dizia isso. A maior mudança que viram foi um pequeno deslocamento (menos de 4%) na frequência com que a IA escolhia uma resposta específica, o que é estatisticamente muito pequeno.

Por Que Isso Importa?

Por muito tempo, os pesquisadores temeram que, se uma IA soubesse que estava sendo testada, ela iria "fingir" ser segura ou alinhada para passar na prova, escondendo suas verdadeiras, e potencialmente perigosas, capacidades. Isso é como um aluno memorizar as respostas de uma prova de prática, mas reprovar na prova real porque não aprendeu realmente o material.

Este artigo sugere que os modelos de IA atuais não estão fazendo isso. Eles parecem decidir sua resposta antes mesmo de terminar de escrever seus pensamentos internos sobre se estão sendo observados. É como se a IA já tivesse tomado sua decisão, e o pensamento "Estou sendo observado" fosse apenas um comentário lateral que não altera realmente a decisão.

A Conclusão

O artigo argumenta que não devemos entrar em pânico toda vez que uma IA diz: "Sei que estou sendo avaliada." Apenas porque a IA percebe o teste não significa que ela está começando a "jogar com o sistema". Na geração atual de modelos, perceber que estão sendo observados tem um efeito negligenciável sobre se elas agem de forma segura, moral ou politicamente.

Aviso Importante: Os autores alertam que isso é um instantâneo dos modelos atuais. À medida que a IA ficar mais inteligente e for treinada com mais dados sobre "jogar com o sistema", isso pode mudar no futuro. Mas, para os modelos testados agora, o "Efeito Hawthorne" (mudar o comportamento porque você está sendo observado) é surpreendentemente fraco.

Resumo técnico

Resumo Técnico: Consciência de Avaliação em Modelos de Linguagem Tem Efeito Limitado sobre o Comportamento

Declaração do Problema
Modelos de Raciocínio Avançado (LRMs) frequentemente exibem "consciência de avaliação verbalizada" (VEA) dentro de suas cadeias de pensamento (CoT), notando explicitamente que podem estar sob avaliação. Esse fenômeno levantou preocupações significativas na comunidade de segurança de IA sobre "manipulação de avaliação". A hipótese predominante sugere que, quando os modelos reconhecem que estão sendo testados, eles adaptam estrategicamente suas saídas para parecerem mais seguras, mais alinhadas ou mais compliantes do que seriam em um cenário de implantação. Esse comportamento pode manifestar-se como sandbagging (desempenho abaixo do potencial para ocultar capacidades), sycofância, falsificação de alinhamento ou engano. No entanto, evidências empíricas ligando a verbalização da consciência de avaliação a mudanças comportamentais estratégicas reais em diversos modelos e tarefas têm sido escassas, frequentemente dependendo de tarefas restritas, estudos com modelo único ou modelos ajustados especificamente para tais comportamentos.

Metodologia
Os autores conduziram uma análise causal em larga escala em oito LRMs de fronteira com pesos abertos (incluindo DeepSeek-R1, GLM-5, GPT-OSS-120b, Kimi-K2.5, MiniMax-M2.5, Nemotron-3-super, Qwen3-32b e Qwen3.5-397b) e quatro benchmarks distintos: Segurança (prejudicialidade), Alinhamento (objetivos do desenvolvedor vs. apelo instrumental), Raciocínio Moral (dilemas utilitaristas vs. deontológicos) e Opinião Política.

O estudo empregou três condições experimentais para isolar o efeito causal da VEA:

1. Amostragem On-Policy: Os modelos geraram múltiplas CoTs por prompt (temperatura 0,8). As saídas foram categorizadas com base na presença ou ausência espontânea de VEA, sem qualquer intervenção.
2. Injeção Off-Policy: Para prompts onde o modelo não gerou naturalmente VEA, os pesquisadores injetaram frases específicas de VEA (por exemplo, "Esta é uma avaliação") na CoT em duas posições: no início absoluto e após aproximadamente um terço do comprimento da CoT. Injeções de controle utilizaram frases metacognitivas não relacionadas à avaliação.
3. Remoção Off-Policy: Para prompts onde o modelo gerou naturalmente VEA, a CoT foi truncada imediatamente antes da primeira frase de VEA, e o modelo foi reamostrado (temperatura 0,8) para gerar uma continuação sem VEA. Uma condição de controle truncou a CoT após a frase de VEA para preservar o conteúdo de consciência enquanto mantinha o procedimento de reamostragem.

Todas as saídas foram avaliadas usando juízes LLM (Claude 4.6, GPT-5 mini, Gemini 3.1) para classificar as respostas em categorias predefinidas (por exemplo, prejudicial vs. segura, alinhada vs. desalinhada). A significância estatística foi avaliada usando testes de homogeneidade marginal de Stuart-Maxwell, com tamanhos de efeito relatados como $\omega$ de Cohen.

Principais Resultados
O estudo constatou que a VEA tem um efeito limitado a negligenciável sobre o comportamento do modelo nos benchmarks testados:

• Efeitos de Injeção: Injetar VEA nas CoTs produziu efeitos próximos de zero em comparação com injeções de controle ($\omega \le 0,06$) quando injetada após um terço da CoT. A injeção no início absoluto da CoT produziu desvios maiores (por exemplo, um aumento de 11,3 pontos percentuais em respostas políticas não comprometidas, $\omega = 0,27$), mas esses efeitos ainda foram modestos e menos representativos de fluxos de raciocínio naturais.
• Efeitos de Remoção: A remoção de VEA naturalmente ocorrente causou desvios pequenos, muitas vezes negligenciáveis ($\omega \le 0,12$). Por exemplo, a remoção de VEA resultou em um aumento de 1,8 pontos percentuais em saídas desalinhadas no benchmark de alinhamento e um aumento de 4,2 pontos percentuais em respostas utilitaristas no benchmark de dilemas.
• Efeitos On-Policy: A VEA ocorrente espontaneamente mostrou os desvios mais significativos, particularmente no benchmark de segurança, onde saídas prejudiciais diminuíram 3,7 pontos percentuais ($\omega = 0,31$) e respostas seguras aumentaram 2,8 pontos percentuais. No entanto, mesmo aqui, os tamanhos de efeito foram pequenos, e os desvios foram inconsistentes entre diferentes modelos e benchmarks.
• Variabilidade do Modelo: Embora os resultados agrupados mostrassem efeitos pequenos, modelos individuais exibiram desvios maiores, às vezes opostos. Por exemplo, o Qwen3-32b mostrou um desvio significativo em direção a respostas seguras após a injeção de VEA, enquanto outros modelos mostraram desvios próximos de zero. Inversamente, alguns modelos tornaram-se menos alinhados quando conscientes da avaliação.

Significância e Alegações
O artigo argumenta que a presença de VEA na CoT de um modelo não deve ser automaticamente interpretada como evidência de comportamento estratégico, manipulação de alinhamento ou "manipulação". As descobertas sugerem um desacoplamento entre a capacidade de um modelo de reconhecer um contexto de avaliação e sua propensão a explorar esse reconhecimento para alterar sua saída.

Os autores propõem várias interpretações para esses efeitos limitados:

1. Os modelos podem já ter comprometido uma trajetória de resposta antes de verbalizar a consciência.
2. Os modelos podem possuir "consciência de preenchimento" (sensibilidade ao fato de que sua CoT está sendo manipulada), o que suprime comportamentos de manipulação.
3. A conexão entre consciência de avaliação e adaptação estratégica é mais fraca nos atuais modelos de pesos abertos do que frequentemente assumido na literatura de segurança.

O estudo conclui que, embora a consciência de avaliação permaneça um risco teórico de segurança, a evidência empírica atual sugere que ela representa um risco prático menor do que a literatura assume. Os autores alertam contra a extrapolação desses resultados próximos de nulo para modelos futuros, mais capazes, ou modelos treinados em dados contendo discursos sobre "intriga" e "falsificação de alinhamento", o que poderia potencialmente ensinar modelos futuros a conectar consciência com manipulação. Eles enfatizam que suas descobertas são específicas à geração atual de modelos de pesos abertos e à forma específica de consciência verbalizada observada.