Preregistration for Experiments with AI Agents

Resumo Técnico: Pré-registro para Experimentos com Agentes de IA

Declaração do Problema
O artigo identifica uma lacuna metodológica crítica no paradigma emergente de experimentos comportamentais "in silico", onde Grandes Modelos de Linguagem (LLMs) e agentes de IA autônomos servem como participantes em estudos de cognição, tomada de decisão e dinâmica social. Embora esses experimentos ofereçam uma escalabilidade e eficiência de custo sem precedentes em comparação com a pesquisa com seres humanos, eles herdam e amplificam os "graus de liberdade do pesquisador" que impulsionaram a crise de replicabilidade nas ciências sociais.

Na pesquisa humana tradicional, altos custos marginais (recrutamento, compensação, tempo) impõem uma fricção natural contra a exploração exaustiva de especificações experimentais. Em contraste, os experimentos de IA possuem um perfil de risco único: alta flexibilidade de especificação combinada com custo marginal próximo de zero. Os pesquisadores podem iterar rapidamente através de um vasto espaço combinatório de configurações — variando famílias de modelos, redação de prompts, parâmetros de decodificação (temperatura, top-p), sementes (seeds), políticas de tentativa (retry policies) e regras de parsing. Isso cria um "jardim de caminhos bifurcados" onde os pesquisadores, intencionalmente ou não, podem percorrer milhares de especificações defensáveis até que um resultado desejado emerja. Como essas iterações frequentemente não deixam rastros visíveis nas publicações finais, o campo corre o risco de acumular literatura onde os achados refletem processos de otimização não divulgados, em vez de fenômenos robustos.

Metodologia e Taxonomia
O artigo não apresenta novos dados experimentais, mas sim constrói uma taxonomia sistemática dos graus de liberdade do pesquisador específicos para experimentos com agentes de IA. Os autores mapeiam essas vulnerabilidades sobre a dinâmica de "p-hacking" identificada na pesquisa com seres humanos, categorizando-as ao longo de todo o pipeline experimental:

1. Seleção de Modelo: Escolha entre dezenas de modelos com capacidades e ajustes de alinhamento variados.
2. Engenharia de Prompt: Refinamento iterativo de mensagens de sistema, instruções do usuário e exemplos de poucos disparos (few-shot), onde mudanças sutis na redação atuam como manipulações de tratamento de alta dimensão.
3. Amostragem e Decodificação: Ajuste de parâmetros estocásticos (temperatura, top-p) e sementes que alteram o conteúdo da resposta e comportamentos de recusa.
4. Orçamento de Inferência: Variação de limites de tokens, contagens de turnos e chamadas de ferramentas (tool calls), que podem mudar fundamentalmente as estratégias dos agentes.
5. Processamento de Resposta: Decisões sobre como lidar com recusas, saídas malformadas ou outliers (ex: exclusão, imputação ou nova tentativa).
6. Operacionalização de Resultados: Seleção de métricas específicas ou prompts de avaliação (incluindo juízes baseados em LLM) post-hoc.

Para ilustrar a magnitude deste problema, os autores referenciam uma simulação (detalhada no Apêndice do artigo) examinando efeitos de ancoragem através de 2.430 especificações. A simulação demonstrou que, ao selecionar diferentes caminhos pelo espaço de especificação, um pesquisador poderia concluir que os LLMs exibem uma ancoragem forte e humana, nenhuma ancoragem, ou até mesmo ancoragem reversa. Isso destaca a "ilusão de robustez", onde um achado parece generalizável simplesmente porque o pesquisador navegou pelo multiverso de especificações para encontrar um caminho de suporte.

Principais Contribuições
A principal contribuição do artigo é a proposta de estender o pré-registro — uma prática central para melhorar a credibilidade na pesquisa com seres humanos — para experimentos com agentes de IA. Os autores introduzem um modelo de pré-registro customizado, projetado para restringir a flexibilidade enquanto preserva a necessária liberdade exploratória. Os componentes principais deste modelo incluem:

• Especificação do Ambiente Computacional: Exigência de identificadores exatos de modelos (incluindo checkpoints de versão), parâmetros de geração, orçamentos de inferência e datas de acesso à API para garantir a reprodutibilidade.
• Transparência de Prompt: Obrigatoriedade de divulgação da íntegra do texto do prompt (mensagens de sistema e do usuário), em vez de resumos, uma vez que mudanças sutis na formatação impactam significativamente o comportamento.
• Divulgação de Testes Piloto: Exigência de que os pesquisadores documentem o histórico de iterações de prompts, modelos testados durante o desenvolvimento e se os resultados preliminares influenciaram as hipóteses finais. Isso aborda a invisibilidade da busca por especificação.
• Distinção entre Confirmatório vs. Exploratório: Rotulagem explícita das análises como teste de hipótese (confirmatório) ou geração de hipótese (exploratório). Para estudos confirmatórios, o modelo exige a pré-especificação de desfechos primários, testes estatísticos e regras de decisão.
• Protocolos de Robustez e Generalização: Se os pesquisadores pretendem testar a robustez através de modelos ou variantes de prompt, devem definir o espaço completo de especificações e regras de agregação antecipadamente, relatando resultados de todo o espaço em vez de selecionar um subconjunto.
• Designs em Estágios: Acomodação de designs adaptativos (ex: usar dados piloto para calibrar a dificuldade) exigindo regras de decisão pré-especificadas para os estágios subsequentes.
• Compromissos de Transparência: Obrigatoriedade de compartilhar saídas brutas de modelos, dados processados e código de análise, juntamente com uma declaração de que a coleta de dados ainda não começou.

Resultos e Alegações
O artigo não relata resultados empíricos de um novo estudo, mas sintetiza evidências das ciências sociais e da literatura de aprendizado de máquina para argumentar por uma mudança de normas. Os autores afirmam que:

1. O Risco é Sistêmico: A combinação de alta flexibilidade e baixo custo em experimentos de IA cria incentivos para a busca de especificação que são mais severos do que na pesquisa com seres humanos.
2. As Normas Atuais são Insuficientes: Diferente do benchmarking tradicional de ML, que depende de conjuntos de teste fixos, os experimentos comportamentais com agentes de IA frequentemente carecem de salvaguardas análogas, levando a uma literatura onde os achados relatados podem ser artefatos de otimização não divulgada.
3. O Pré-registro é a Solução: Ao exigir o compromisso antecipado com hipóteses, métodos e planos de análise, o pré-registro pode restringir o "jardim de caminhos bifurcados", distinguindo entre testes confirmatórios e buscas exploratórias.
4. Viabilidade: O modelo proposto equilibra rigor com praticidade, permitindo o trabalho exploratório desde que este seja claramente rotulado e separado de alegações confirmatórias.

Significância
O artigo argumenta que a comunidade de aprendizado de máquina tem uma oportunidade única de "construir credibilidade nesta pesquisa desde o início", em vez de implementar salvaguardas após uma crise, como fizeram as ciências sociais. Ao institucionalizar o pré-registro, o campo pode garantir que os achados relativos ao comportamento da IA — como vieses, padrões de raciocínio e propriedades de alinhamento — sejam robustos e confiáveis. Isso é particularmente crítico à medida que os agentes de IA assumem papéis autônomos em domínios de alto risco (ex: negociação, gestão de infraestrutura), onde compreender seu comportamento é uma prioridade de pesquisa por si só. Os autores convocam conferências, periódicos e agências de fomento a tornar o pré-registro uma prática padrão, transformando o processo de pesquisa de uma jornada opaca através de um multiverso de especificações em uma ciência legível e cumulativa.