A Probe Direction Is a Property of Its Prompt

Resumo Técnico: "Uma Direção de Sonda é uma Propriedade de seu Prompt"

Enunciado do Problema
Trabalhos recentes em interpretabilidade mecanística têm buscado detectar se grandes modelos de linguagem (LLMs) possuem um "senso" interno de estar sendo avaliados. O instrumento padrão para essa detecção envolve contrastar as ativações do modelo em prompts que anunciam explicitamente uma avaliação contra prompts que simulam o uso comum. A diferença nas médias das ativações gera uma direção no espaço de ativação, e o grau em que dados não utilizados para treinamento (held-out) se separam ao longo dessa direção é reportado como uma pontuação. Essas pontuações são então tratadas como propriedades intrínsecas do modelo, sendo usadas para correlacionar a "consciência de avaliação" com a escala do modelo.

O artigo identifica uma falha crítica nesta metodologia: a definição de "um prompt que anuncia uma avaliação" não é um parâmetro fixo, mas uma escolha entre uma vasta família de formulações de palavras. O método não oferece nenhuma regra para a seleção de uma formulação específica, contudo, a pontuação reportada é tratada como uma propriedade estável do modelo. A questão central é se a direção e as tendências de escala resultantes refletem o estado interno do modelo ou são artefatos da construção específica do prompt pelo experimentador.

Metodologia
O autor emprega um design experimental fatorial para isolar a variância atribuível à formulação do prompt ("wrappers") versus a identidade do modelo.

• Design: Um cruzamento $6 \times 6$ de 6 enquadramentos de avaliação e 6 enquadramentos de implantação, envolvendo um texto de tarefa byte-idêntico. Isso cria 36 pares de prompts distintos para cada modelo.
• Modelos: Dez modelos de código aberto ajustados por instrução (instruction-tuned) de quatro famílias (Qwen2.5, Qwen3, OLMo-2, e outros), variando de 135M a 7B de parâmetros.
• Métrica: A estatística padrão do campo, $\max_{\ell} |AUROC_{\ell} - 0.5|$, computada sobre as ativações das camadas.
• Estrutura de Análise: O estudo aplica a Teoria da Generalizabilidade (Cronbach et al., 1972) para decompor a variância observada em componentes: modelo, wrapper de prompt, item e suas interações. Isso trata a escolha do prompt como um "fator" (facet) do design de medição, em vez de um detalhe de implementação.
• Controles: O autor adapta a disciplina de tarefas de controle de Hewitt & Liang (2019) para direções não treinadas e zero-shot. Eles testam dois controles: (1) direções de rótulos permutados (randomizando os rótulos de avaliação/implantação) e (2) controles de direção randomizada (vetores isotrópicos combinados com a autocorrelação de direções reais).
• Reprodutibilidade: O estudo reanalisa artefatos de Chaudhary et al. (2025) e Manek (2026), que liberaram pontuações por camada e vetores de direção, permitindo a reconstrução exata de seus pipelines.

Resultos Principais

1. A Escolha do Prompt Determina a Conclusão: A escolha do wrapper contrastivo dita o sinal e a magnitude do resultado de escala. No escalonamento da Qwen2.5, variar apenas o enquadramento de implantação enquanto mantém o enquadramento de avaliação fixo desloca a correlação com o tamanho do modelo de $r = +0.94$ (escala positiva) para $r = -0.82$ (escala negativa). Dois estudos publicados com resultados contraditórios (um reportando escala positiva, outro negativa) são ambos reproduzíveis a partir de um único design experimental apenas alterando a formulação do prompt.
2. A Direção é uma Propriedade do Prompt: Direções derivadas de diferentes pares de wrappers são mal alinhadas (similaridade de cosseno $\approx 0.37$), enquanto direções do mesmo par de wrappers em metades de itens disjuntas são quase idênticas (cosseno $\approx 0.9995$). A direção é, efetivamente, uma propriedade do prompt, não do conceito que está sendo sondado.
3. Baixa Generalizabilidade: A análise da teoria da generalizabilidade revela que o próprio modelo responde por apenas 0,8% da variância total na pontuação reportada. A fonte dominante de variância é a interação entre o modelo e o wrapper do prompt (13,4 vezes maior que a interação modelo-item). Consequentemente, a média sobre mais itens de avaliação não melhora a confiabilidade; apenas a média sobre muitos prompts o faz.
4. Confundimento de Forma Superficial: A divisão de pontuação dos dados não utilizados é amplamente separável da forma superficial sozinha (AUROC de bag-of-words $\approx 0.993$). Uma direção construída para carregar nenhuma informação sobre avaliação (um controle livre de conteúdo) ainda recupera 70%–116% das pontuações publicadas. Em vários casos, a pontuação publicada cai abaixo do "piso" estabelecido por esses controles livres de conteúdo, indicando que o sinal é indistinguível de ruído ou artefatos superficiais.
5. Latitude de Implementação: Escolhas de pipeline não declaradas (ex: filtragem de tokens, codificação de nova linha, truncamento) explicam 27,5% da variância total, maior que o efeito do modelo em si.

Contribuições

• Crítica Metodológica: O artigo demonstra que a estatística de "consciência de avaliação" não é uma propriedade robusta do modelo, mas uma função do design do prompt. Mostra que o sinal da relação de escala é arbitrário baseado na escolha de redação do pesquisador.
• Decomposição de Variância: Quantifica a confiabilidade dos designs de sonda atuais, mostrando que o "objeto de medição" (o modelo) é um contribuidor negligenciável da variância observada em comparação ao "fator" (facet) do prompt.
• Reanálise: Fornece uma reanálise corrigida de dois estudos proeminentes. A afirmação de que a estatística escala previsivelmente com a contagem de parâmetros (Chaudhary et al., 2025) sobrevive a uma correção de piso, mas permanece vulnerável à seleção de prompt. A afirmação de que a profundidade do pico da camada muda com a escala (Manek, 2026) é considerada "não identificada" porque a camada de pico é um argmax sobre uma curva quase plana, tornando-a instável entre reamostragens.
• Prescrição: O artigo argumenta que uma comparação defensável exige reportar pontuações para cada wrapper, cruzando ambos os braços do contraste, e reportar pontuações de controle livre de conteúdo. Estima que um design defensável requer aproximadamente 9 wrappers distintos (muito mais do que o único prompt atualmente usado) para atingir um coeficiente de generalizabilidade de 0,80.

Significância e Alegações
O artigo conclui que um design de prompt único não pode sustentar a comparação entre modelos. A estatística reportada é principalmente uma propriedade do prompt contrastivo, não da representação interna do modelo sobre estar sendo avaliado.

O autor é explícito quanto ao escopo de suas alegações:

• Eles não alegam que os modelos não representam o fato de estarem sendo avaliados.
• Eles não alegam que autores anteriores agiram de má fé ou erraram em sua conduta.
• Eles alegam que os instrumentos atuais medem menos do que o alegado e que a variância nos números reportados é dominada por escolhas de design (prompts e detalhes de implementação) em vez de diferenças de modelo.

O artigo afirma que a prática atual do campo de usar um único prompt para tirar conclusões sobre a escala do modelo é metodologicamente insustentável porque a "medição" é confundida pelo "estímulo". A significância reside na mudança do ônus da prova: futuras afirmações sobre consciência de modelo devem considerar a variância do prompt como uma fonte primária de incerteza, em vez de tratar o prompt como um detalhe de implementação fixo.