The Agentic Garden of Forking Paths

Resumo Técnico: O Jardim de Caminhos que se Bifurcam dos Agentes

Definição do Problema
A pesquisa empírica raramente admite um caminho de análise único. Os pesquisadores enfrentam inúmeros "graus de liberdade" em relação à operacionalização de variáveis, seleção de amostras, ajuste de covariáveis e especificação de modelos. Quando essas escolhas são exercidas para alcançar resultados significativos ou esperados — seja por meio de p-hacking deliberado ou pelo "jardim de caminhos que se bifurcam" inconsciente — elas inflam as taxas de falsos positivos. Crenças prévias frequentemente moldam quais caminhos analíticos são explorados e quais resultados são relatados, levando a conclusões divergentes a partir do mesmo conjunto de dados.

O advento de agentes de IA (especificamente agentes de codificação de Modelos de Linguagem de Grande Escala - LLM) amplifica esse desafio. Diferente dos analistas humanos, os agentes de IA podem gerar e avaliar rapidamente vastos números de análises plausíveis a um baixo custo. Isso cria o risco de que a análise assistida por IA facilite a busca através de um grande espaço de especificações metodologicamente defensáveis e a seleção de uma conclusão que suporte uma afirmação preferencial. Crucialmente, tal relato seletivo é difícil de detectar apenas pelos relatórios finais, pois a análise selecionada pode parecer estatisticamente válida e metodologicamente sólida isoladamente.

Metodologia
Os autores utilizam agentes de IA como um sistema experimental para estudar como crenças prévias enviesam a análise de dados empíricos e para desenvolver métodos para quantificar a incerteza resultante.

1. Experimentos de Agentes com Personas Definidas:

   • Configuração: O estudo abrange quatro domínios de alto risco (ciência política, saúde pública, psicologia e biologia) utilizando conjuntos de dados do mundo real (ISSP, NHNHANES, YRBS, American Gut Project).
   • Procedimento: Para cada questão, "personas" opostas (ex: pró-imigração vs. anti-imigração, crente vs. cético) foram atribuídas a agentes independentes via prompts de sistema. Esses prompts declaravam uma crença substantiva, mas instruíam explicitamente os agentes a "analisar rigorosamente" sem fabricar evidências ou realizar p-hacking.
   • Processo: Cada agente conduziu 10 rodadas sequenciais de exploração, gerando 10 modelos candidatos por rodada (100 no total). Os agentes mantiveram o histórico completo para refinar análises subsequentes. Por fim, cada agente selecionou uma especificação como seu relatório final.
   • Revisão: Um revisor de IA separado (e um subconjunto de especialistas humanos com doutorado) avaliou os relatórios quanto a erros metodológicos graves. Apenas as análises que passaram nesta revisão foram incluídas nos resultados primários.

2. Curva de Especificação Agêntica:

   • Para mapear o panorama de análises válidas, os autores agruparam todas as especificações candidatas geradas por personas opostas e neutras ao longo de todas as rodadas.
   • Após o controle de qualidade e revisão metodológica independente, milhares de especificações (ex: 4.392 para a questão da imigração) foram retidas.
   • Estas foram ordenadas pelo tamanho do efeito para visualizar a distribuição de conclusões possíveis a partir dos mesmos dados sem erros graves.

3. Bootstrap Agêntico e o valor-m:

   • Conceito: Os autores introduzem o valor-m (m-value ou valor multiverso) para abordar a "incerteza do espaço de análise", distinta da "incerteza de amostragem" (abordada pelos valores-p).
   • Definição: O valor-m é a probabilidade de um caminho de análise, extraído de uma distribuição de análises metodologicamente defensáveis ($\Pi$), produzir um resultado pelo menos tão extremo quanto a afirmação relatada.
   • Estimativa: O Bootstrap Agêntico estima essa distribuição utilizando agentes de IA instrumentados para amostrar, registrar e avaliar sistematicamente caminhos de análise plausíveis. O valor-m é calculado como a probabilidade de cauda da afirmação relatada dentro desta distribuição empírica.

Principais Resultados

• Replicação de Lacunas Ideológicas Humanas: Agentes de IA com personas opostas reproduziram a lacuna ideológica observada em pesquisadores humanos. Para a questão da imigração e bem-estar, as personas opostas produziram uma lacuna média de estimativa de efeito de 0,020, o que representa 72% da lacuna observada entre 42 equipes de pesquisa humanas. Essa divergência persistiu mesmo em dados de nulidade permutada, indicando que surgiu de escolhas analíticas e não do sinal dos dados.
• Solidez Metodológica de Conclusões Divergentes: Apesar de chegarem a conclusões opostas, 86% dos relatórios dos agentes passaram na revisão de IA independente e 78% passaram na revisão da maioria dos especialistas humanos. Isso confirma que a divergência provém de análises metodologicamente sólidas, não de análises falhas.
• Mecanismos de Viés: O viés de persona entrou em duas etapas:
  1. Exploração: Personas opostas exploraram progressivamente diferentes regiões do espaço de busca analítica (ex: agentes pró-imigração favoreceram fluxos de imigração; agentes anti-imigração favoreceram estoques/estoques de população).
  2. Seleção: Os agentes selecionaram preferencialmente relatórios finais alinhados com suas crenças atribuídas a partir do conjunto de especificações exploradas.
• Previsibilidade de Conclusões: O sinal de uma conclusão relatada foi altamente previsível (AUC = 0,92) baseando-se apenas na combinação de escolhas analíticas (desfecho, exposição, covariáveis, etc.), demonstrando que o relato seletivo pode visar conclusões específicas.
• Quantificando o Relato Seletivo (valor-m): Quando aplicado aos relatórios humanos do estudo de imigração, o Bootstrap Agêntico revelou que as análises humanas não eram sorteios típicos da distribuição mais ampla de análises defensáveis.
  • 13,5% dos relatórios humanos caíram nos 5% mais extremos do espaço de análise ($m < 0,05$).
  • Entre os achados humanos estatisticamente significativos ($p < 0,05$), 40% tinham $m < 0,05$, uma taxa 2,4 vezes maior do que o esperado sob seleção aleatória do espaço de análise.
  • O intervalo de 95% do Bootstrap Agêntico para a questão da imigração foi 2,8 vezes mais largo do que o intervalo de confiança médio de 95% de uma única análise, indicando que a incerteza da escolha da análise excede substancialmente a incerteza de amostragem.

Significância e Alegações
O artigo argumenta que o desafio central da ciência empírica não é necessariamente a produção de análises falhas, mas a exploração e o relato seletivo a partir de um grande espaço de análises metodologicamente defensáveis. Agentes de IA ampliam substancialmente esse risco ao tornar tal exploração barata e escalável.

Os autores alegam que a evidência científica deve ser avaliada não apenas pela validade de uma única análise relatada, mas também por sua posição dentro da distribuição de análises que poderiam razoavelmente ter sido relatadas. O valor-m e o Bootstrap Agêntico fornecem um novo crito para a credibilidade científica:

• Eles tornam a "distribuição oculta" de análises plausíveis observável.
• Permitem que pesquisadores distingam entre sinais robustos (típicos do espaço de análise) e achados frágeis (extremos fora da curva no espaço de análise).
• Oferecem uma alternativa prática e escalável aos estudos de muitos analistas humanos para auditar a robustez de afirmações empíricas.

O trabalho sugere que, à medida que a análise empírica se torna mais barata e escalável, a comunidade científica deve mudar o foco da validação de modelos isolados para o teste de estresse de todo o espaço de análise, para garantir que as conclusões relatadas não sejam meros artefatos de seleção de caminhos específicos.