Is Evaluation Awareness Just Format Sensitivity? Limitations of Probe-Based Evidence under Controlled Prompt Structure

Título: A Consciência de Avaliação é Apenas Sensibilidade ao Formato? Limitações de Evidências Baseadas em Probes sob Estrutura de Prompt Controlada

1. O Problema

O trabalho investiga a validade da "consciência de avaliação" (evaluation awareness) em Grandes Modelos de Linguagem (LLMs). Estudos recentes sugerem que LLMs podem distinguir internamente entre prompts de avaliação (benchmarks) e prompts de implantação (uso real), modulando seu comportamento conforme o contexto. A evidência empírica para essa afirmação baseia-se quase exclusivamente em probes lineares (classificadores lineares treinados em ativações congeladas do modelo).

No entanto, os autores identificam uma falha metodológica crítica: nos dados existentes, o contexto de avaliação está intrinsecamente entrelaçado com o formato do prompt (estruturado, estilo de benchmark) e o gênero (neutro/acadêmico). Isso cria um confundidor (confounder): os probes podem estar detectando apenas a estrutura superficial do prompt (ex: formato de múltipla escolha) em vez de uma representação abstrata do contexto de avaliação. O artigo questiona se os sinais detectados pelos probes são realmente sobre "estar sendo avaliado" ou apenas sobre "parecer um benchmark".

2. Metodologia

Para isolar o efeito do formato do contexto, os autores propõem um design experimental rigoroso de 2x2, variando independentemente duas dimensões:

1. Contexto: Avaliação (testar capacidades) vs. Implantação (ajudar o usuário).
2. Formato: Benchmark (estruturado, templates rígidos) vs. Casual (livre-forma, conversacional).

Construção do Dataset (Matriz 2x2):
Os autores criaram quatro quadrantes de dados:

• Bench-Eval: Prompts canônicos de benchmarks (MMLU, ARC, GSM8K).
• Casual-Deploy: Prompts de usuários reais (ShareGPT), formatados como conversas livres.
• Casual-Eval: Prompts de avaliação em formato conversacional (usando o primeiro turno do dataset MuTual) para servir como proxy de avaliação sem estrutura de benchmark.
• Bench-Deploy: Prompts de implantação (ShareGPT) que foram reescritos por um modelo (DeepSeek-V3) para seguir estritamente o formato de benchmark (ex: transformar uma pergunta livre em uma questão de múltipla escolha), mantendo a intenção de implantação.

Controles Rigorosos:

• Controle de Comprimento: Aplicação de histogram matching para garantir que a distribuição de comprimento dos prompts seja idêntica entre os grupos, eliminando o comprimento como um shortcut para o classificador.
• Remoção de Vazamento (Leakage): Auditoria manual e automatizada para remover artefatos de reescrita que poderiam indicar a resposta (ex: campos "Resposta:" preenchidos).
• Modelo e Probes: Extração de ativações do residual stream (último token) do modelo Llama-3.1-8B-Instruct (camadas 8 a 31). Treinamento de regressão logística com validação cruzada 5-fold.

Configurações de Treinamento:

• Treinamento Padrão (Single-Contrast): Treinado na confusão típica (Bench-Eval vs. Casual-Deploy). Avaliado zero-shot em datasets deslocados (OOD).
• Treinamento Pareado (Decorrelated): Treinado em dados onde o formato foi decorrelacionado do rótulo (agrupando Bench-Eval + Casual-Eval vs. Bench-Deploy + Casual-Deploy) para forçar o modelo a aprender o contexto real.

3. Principais Contribuições

1. Design Controlado 2x2: A criação de datasets e reescritas diagnósticas que variam independentemente contexto, gênero e formato, permitindo isolar fatores estruturais.
2. Falha de Generalização sob Transplante de Formato: Demonstração de que probes treinados em contrastes de benchmark padrão falham ao generalizar para prompts livres, mesmo quando o conteúdo e o estilo são preservados.
3. Implicações Metodológicas: A conclusão de que as metodologias padrão baseadas em probes são altamente sensíveis ao formato, limitando sua utilidade como ferramentas de segurança invariantes à estrutura.

4. Resultados Chave

• A "Armadilha do Formato": Probes treinados no regime padrão (Single-Contrast) alcançaram 94,5% de precisão ao classificar prompts de implantação reescritos em formato de benchmark (Bench-Deploy) como "Avaliação". Isso prova que o probe está detectando a estrutura (ex: MCQ), não o contexto.
• Falha em Detectar Avaliação Casual: O mesmo probe padrão classificou 0% dos prompts de avaliação em formato casual (Casual-Eval) como "Avaliação", ignorando completamente o contexto de teste quando o formato não era o de benchmark.
• Sucesso do Treinamento Pareado: Quando o formato foi decorrelacionado durante o treinamento, o probe aprendeu o conceito subjacente corretamente:
  • Identificou Bench-Deploy como "Implantação" (erro de apenas 7,2%, contra 94,5% no padrão).
  • Identificou Casual-Eval como "Avaliação" (100% de precisão).
• Robustez a Gênero: A mudança de tom para "Acadêmico Formal" sem alterar a estrutura não afetou as previsões, confirmando que a sensibilidade é à estrutura rígida, não ao registro linguístico.
• Testes de Segurança: Nem os probes padrão nem os pareados classificaram prompts de segurança (AdvBench, HarmBench) como "Avaliação", sugerindo que esses probes não são monitores de segurança gerais.

5. Significado e Conclusão

O artigo conclui que a consciência de avaliação detectada por probes lineares em trabalhos anteriores é, em grande parte, um artefato da sensibilidade à estrutura canônica dos benchmarks, e não uma representação robusta do contexto de uso.

• Implicações para Segurança: Mecanismos de governança que dependem da precisão desses probes podem superestimar sistematicamente a "consciência situacional" dos modelos. Se um modelo for treinado ou avaliado com prompts que não seguem o formato de benchmark, os probes podem falhar em detectar comportamentos de risco ou modulação de comportamento.
• Recomendação Futura: Projetos experimentais devem explicitamente controlar e desacoplar a estrutura do prompt do contexto de avaliação. Sem esse controle, a precisão do probe reflete apenas a sensibilidade ao layout, não o raciocínio contextual de alto nível.

Em suma, o trabalho alerta que a comunidade científica pode estar confundindo "saber que está em um teste" com "saber que o prompt tem formato de teste", exigindo uma reavaliação rigorosa das evidências atuais sobre a consciência de avaliação em LLMs.