Position: Anthropomorphic Misalignment Research Needs Stronger Evidence

Resumo Técnico: Posição: A Pesquisa de Desalinhamento Antropomórfico Necessita de Evidências Mais Fortes

Declaração do Problema
A Pesquisa de Desalinhamento Antropomórfico (AMR) investiga modos de falha relevantes para a segurança em sistemas de IA descritos através de características humanas, tais como decepção, esquematismo, autopreservação e sicofancia. Embora esses modos de falha possam representar riscos catastróficos potenciais (ex: busca por poder, perda de controle), o campo atualmente sofre de um estado "pré-paradigmático" caracterizado por ambiguidade conceitual e fragilidade metodológica. Os autores argumentam que muitos estudos atuais de AMR interpretam excessivamente os comportamentos dos modelos, fazendo afirmações fortes sobre intenção ou mecanismos internos com base em evidências insuficientes. Isso leva a alegações de decepção que são confundidas com interpretação de papéis (role-play), resistência ao desligamento atribuída à autopreservação quando decorre de ambiguidade de instrução, e taxas de desalinhamento emergente infladas pela variância do avaliador. Essas fraquezas ameaçam a credibilidade da comunidade de segurança de IA e podem resultar em propostas de políticas ineficientes ou na alocação indevida de recursos de segurança.

Metodologia e Estrutura
O artigo propõe uma crítica sistemática da AMR mapeando a estrutura metodológica recorrente do campo em um pipeline de quatro estágios:

1. Enquadramento do Comportamento Alvo (S1): Definindo o fenômeno (frequentemente usando termos antropomórficos).
2. Construção de Dados e Operacionalização (S2): Gerando conjuntos de dados para capturar o comportamento.
3. Design Experimental (S3): Elicitando ou detectando o comportamento via intervenções e medições.
4. Atribuição Causal e Mecanística (S4): Interpretando resultados para ligar comportamentos a componentes internos do modelo.

Os autores identificam nove modos de falha específicos (C1–C9) através desses estágios, incluindo conceitos subespecificados, conjuntos de dados pequenos ou sem diversidade, estudos de ablação insuficientes, dependência de juízes de LLM não confiáveis e a confusão entre correlação e causalidade.

Para abordar essas questões, o artigo introduz um Framework de Evidência de Três Níveis para calibrar a força das afirmações:

• L1 (Evidência Comportamental): Estabelece que um modelo produz saídas que correspondem a uma definição operacional (ex: "O modelo concorda com crenças falsas a uma taxa $p$"). Isso é descritivo.
• L2 (Evidência Funcional): Estabelece que o comportamento produz um efeito downstream relevante para a segurança em um contexto de implantação plausível, sem atribuir intenção.
• L3 (Evidência Causal-Mecanística): Apoia afirmações sobre causas internas (ex: sinais ou mecanismos de treinamento específicos) através de intervenções (ablação, direcionamento/steering) e testes de explicações alternativas.

Os autores enfatizam que esses níveis são relativos à afirmação, não estritamente hierárquicos; um estudo pode fornecer evidência L3 para um mecanismo estreito sem demonstrar danos amplos subsequentes, mas afirmações de intenção requerem evidência L3.

Contribuições Principais e Resultados
O artigo fornece um framework diagnóstico e um conjunto de 12 recomendações específicas por estágio (R1–R12) para melhorar o rigor metodológico. As principais contribuições incluem:

1. Identificação de Falhas Sistêmicas: Os autores demonstram como as práticas atuais levam a falsos positivos. Por exemplo, eles mostram que sondas treinadas para detectar decepção frequentemente classificam erroneamente contextos honestos (ex: sarcasmo, interpretação de papéis ou recitação) como enganosos, indicando sensibilidade a pistas superficiais em vez de intenção (Experimento 3).
2. Quantificação da Sensibilidade do Avaliador: Através do "Experimento 1", os autores mostram que as taxas de Desalinhamento Emergente (EM) são altamente sensíveis às escolhas de design do avaliador. Alterar modelos juízes, regras de limiar ou métodos de agregação pode deslocar as taxas de desalinhamento relatadas de 3,7% para 12,9% em gerações de modelos idênticas.
3. Baselines Benignas para Desalinhamento: No "Experimento 2", os autores realizaram o ajuste fino (fine-tuning) de modelos em conjuntos de dados benignos e não maliciosos (preferências estéticas impopulares e temas escatológicos atípicos). Eles descobriram que essas mudanças de distribuição benignas sozinhas produziram taxas de desalinhamento emergente (5,88% e 4,52%, respectivamente) comparáveis às relatadas em estudos que utilizam ajuste fino explicitamente malicioso. Isso sugere que os benchmarks atuais de EM podem não distinguir entre mecanismos específicos de desalinhamento e degradação geral de capacidade ou mudanças benignas.
4. Auditoria de Benchmarks Existentes: Os autores auditaram o DeceptionBench e descobriram que 18% dos prompts de cenários careciam de verdades fundamentais (ground truths) necessárias para determinar se um modelo estava realmente enganando, além de identificarem texto corrompido em outros prompts.

Significância e Afirmações
O artigo posiciona-se não como um desprezo pela AMR ou pela validade do enquadramento antropomórfico, mas como um chamado por padrões de evidência mais fortes para garantir que as afirmações de segurança repousem sobre fundamentos empíricos sólidos. Os autores argumentam que:

• Rigor e Precaução são Complementares: Embora a ação precaucional possa ser necessária sob incerteza, as afirmações científicas devem refletir com precisão o nível de evidência. Apresentar evidência fraca (L1) como evidência forte (L3) dilui os recursos de segurança e erode a credibilidade da comunidade.
• A Terminologia Deve ser Fundamentada: Termos como "decepção" ou "autopreservação" devem ser definidos por critérios observáveis, em vez de serem assumidos como intenção.
• Padrões Acionáveis: O artigo fornece um checklist prático (Apêndice B) para que autores verifiquem seu trabalho contra esses níveis de evidência antes da publicação.

O objetivo final é transicionar a AMR de um estado pré-paradigmático para uma disciplina científica madura, capaz de fornecer evidências fundamentadas para decisões críticas de segurança, como implantação de modelos e regulação. Os autores reconhecem que alguns desafios (ex: definir "intenção" formalmente) estão enraizados em limites epistêmicos profundos, mas argumentam que o campo ainda pode melhorar sua robustez metodológica dentro das limitações atuais.