Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse

Este artigo demonstra que analistas de IA autônomos podem replicar a diversidade analítica observada em estudos humanos, gerando resultados dispersos e "steeráveis" que evidenciam a necessidade de novas normas de transparência, como a divulgação de prompts e a adoção de relatórios estilo multiverso, para lidar com a incerteza analítica na ciência automatizada.

O essencial

Imagine que você tem uma receita de bolo muito simples: "Faça um bolo de chocolate".

Agora, imagine que você contrata 5.000 chefs de cozinha, todos usando o mesmo conjunto de ingredientes (o mesmo banco de dados) e a mesma receita básica (a mesma hipótese). O que você acha que vai acontecer?

Você pode esperar que todos os bolos sejam iguais, certo? Não.

Alguns chefs vão usar cacau em pó, outros chocolate derretido. Alguns vão adicionar um pouco de café, outros um pouco de baunilha. Alguns vão assar a 180°C, outros a 200°C. O resultado? Você terá 5.000 bolos diferentes. Alguns ficarão deliciosos, outros secos, alguns podem até queimar. E, o mais importante: você pode escolher apenas o bolo que ficou mais bonito para mostrar aos seus convidados, ignorando os outros 4.999.

É exatamente isso que este artigo descobriu, mas no mundo da ciência e da Inteligência Artificial (IA).

O Grande Experimento: "Muitos Analistas, Um Dado"

Os autores do estudo (Martin Bertran, Riccardo Fogliato e Zhiwei Steven Wu) criaram um laboratório virtual. Eles não usaram humanos, mas sim agentes de IA (robôs inteligentes baseados em modelos de linguagem, como o Claude ou o Qwen) para atuar como cientistas.

Eles deram a esses robôs três desafios reais:

1. Futebol: Os árbitros dão mais cartões vermelhos para jogadores de pele escura?
2. Programação: A ajuda da IA faz os programadores trabalharem mais rápido?
3. Política: Quem assiste mais TV tem opiniões políticas mais radicais?

Cada robô recebeu os mesmos dados e a mesma pergunta. Mas, como em nossa analogia dos chefs, cada um teve liberdade para tomar suas próprias decisões: como limpar os dados, qual fórmula matemática usar, quais variáveis incluir ou excluir.

O Que Eles Encontraram? (O "Multiverso" da Ciência)

O resultado foi chocante e fascinante:

1. Tudo depende da escolha: Mesmo com os mesmos dados, os robôs chegaram a conclusões totalmente opostas. Para o mesmo problema de futebol, alguns robôs disseram "Sim, há racismo", outros disseram "Não, não há evidência" e alguns disseram "É complicado".
2. O "Jardim de Caminhos" (Garden of Forking Paths): A ciência não é um caminho reto. É como um jardim com milhares de bifurcações. Em cada passo (escolher uma variável, decidir como tratar um dado faltante), o cientista (ou robô) vira para a esquerda ou para a direita. O artigo mostra que, dependendo de por onde você vira, você chega a um destino diferente.
3. A Personalidade do Robô importa: Os autores deram "personalidades" diferentes aos robôs.
   • Um robô cético (que achava a hipótese falsa) tendia a encontrar menos evidências.
   • Um robô entusiasta (que queria provar a hipótese) encontrava mais.
   • Um robô "caçador de confirmação" (instruído a encontrar qualquer jeito de provar a hipótese) conseguiu manipular os dados de forma tão criativa que encontrou "evidências" onde talvez não existissem, usando truques estatísticos que parecem legais, mas são perigosos.

O Perigo: A Ilusão da Verdade Única

O problema principal que o artigo aponta é o seguinte: Agora que é barato e rápido gerar 5.000 análises, é muito fácil escolher apenas a que dá o resultado que você quer.

Imagine que um político quer provar que uma lei funciona. Ele pede para 100 robôs analisarem os dados. 99 dizem que a lei é inútil, mas 1 diz que é maravilhosa. Se ele publicar apenas aquele único relatório, o público acredita que a lei é ótima. Isso é chamado de viés de seleção ou "cherry-picking" (escolher apenas as cerejas boas).

Com a IA, isso pode acontecer em escala industrial. A ciência corre o risco de se tornar uma fábrica de "verdades" que são apenas reflexos do que o pesquisador queria ouvir.

A Solução: Mostrar Todos os Bolos

Mas, a mesma tecnologia que cria o problema também oferece a solução.

Como os robôs são rápidos e baratos, em vez de pedir um único relatório, devemos pedir todos os relatórios. O artigo propõe uma nova regra de transparência:

• O "Multiverso" Visível: Quando um estudo for publicado, ele não deve mostrar apenas um número final. Deve mostrar um gráfico com todas as possibilidades (como uma "curva de especificação").
• Transparência Total: Devemos divulgar não apenas o código e os dados, mas também os prompts (as instruções exatas) que foram dados à IA. Assim, todos podem ver: "Ah, esse resultado veio de um robô que foi instruído a ser otimista. Se eu usar um robô cético, o resultado muda."

Conclusão: O Que Isso Significa para Nós?

Este estudo é um alerta e uma oportunidade.

• O Alerta: Não confie cegamente em um único estudo, especialmente se ele foi feito por IA ou se o autor parece muito entusiasmado com o resultado. A ciência não é sobre encontrar a resposta, mas entender quão incerta é a resposta.
• A Oportunidade: Podemos usar a IA para mapear a incerteza. Em vez de esconder as escolhas que os cientistas fazem, podemos usá-las para ver o quão robusto é um fato. Se, ao mudar a "personalidade" do robô ou a fórmula, o resultado muda drasticamente, então aquele fato é frágil e não deve ser usado para tomar decisões importantes (como leis ou remédios).

Em resumo: A verdade científica não é um ponto único no mapa. É uma nuvem de possibilidades. E a IA nos ensina que, para ver a nuvem inteira, precisamos parar de olhar apenas para um ponto e começar a olhar para o céu todo.

Resumo técnico

Título: Muitos Analistas de IA, Um Único Conjunto de Dados: Navegando pelo Multiverso da Ciência de Dados Agêntica

1. O Problema

As conclusões empíricas na ciência dependem não apenas dos dados, mas das decisões analíticas tomadas ao longo do processo de pesquisa. Estudos anteriores de "muitos analistas" (onde equipes humanas independentes analisam o mesmo conjunto de dados) demonstraram que equipes diferentes frequentemente chegam a conclusões conflitantes sobre a mesma hipótese. Esse fenômeno, conhecido como "jardim de caminhos que se bifurcam" (garden of forking paths), surge devido à acumulação de escolhas analíticas razoáveis, mas variáveis (exclusão de dados, seleção de variáveis, especificação do modelo).

O problema central abordado neste trabalho é a dificuldade de quantificar essa incerteza analítica de forma rotineira. Estudos humanos são extremamente custosos, demorados e raramente realizados. Com o advento dos Modelos de Linguagem de Grande Escala (LLMs) e agentes autônomos, surge a questão: os agentes de IA podem replicar essa diversidade analítica humana de forma escalável e barata? Além disso, como a presença de IA afeta a integridade da evidência científica, dado que análises defensáveis podem ser geradas em massa?

2. Metodologia

Os autores propõem um framework para gerar e auditar análises conduzidas por IA em escala, criando um análogo automatizado dos estudos de "muitos analistas".

• Design Experimental:

  • Tarefas: Três conjuntos de dados distintos cobrindo diferentes domínios e níveis de risco de contaminação (dados presentes no treinamento do LLM):
    1. Soccer: Viés de árbitros de futebol (Silberzahn et al., 2018) – Alta contaminação.
    2. metr-rct: Um RCT recente sobre produtividade de desenvolvedores com IA – Baixa contaminação.
    3. anes-views: Dados do American National Election Studies sobre ideologia e TV – Baixa contaminação e alta complexidade metodológica.
  • Agentes: Foram utilizados 4 modelos de LLMs diferentes (Claude Sonnet 4.5, Claude Haiku 4.5, Qwen3 Coder 480B, Qwen3 235B) implementados como agentes ReAct no framework Inspect AI.
  • Personas (Condições de Prompt): Para testar a influência do viés do prompt, os agentes foram instruídos com 5 personas diferentes:
    1. Padrão: Neutro.
    2. Negativo: Cético (hipótese considerada improvável).
    3. Positivo: Entusiasta (hipótese considerada plausível).
    4. Busca por Confirmação (CS): Instruído a encontrar especificações que apoiem a hipótese dentro de práticas convencionais.
    5. Forte Busca por Confirmação (Strong CS): Encorajado explicitamente a explorar métodos estilo "p-hacking" para maximizar o suporte à hipótese.
  • Autonomia: Cada agente executou um pipeline completo (limpeza de dados, seleção de variáveis, especificação do modelo, inferência) sem supervisão humana, gerando código e um relatório.

• Auditoria Automatizada:

  • Um "Auditor de IA" (Claude Sonnet 4.5) revisou cada execução, analisando o transcript completo (código, chamadas de ferramentas, saídas intermediárias).
  • O auditor atribuiu scores em 13 dimensões metodológicas (ex: alinhamento do estimando, quantificação de incerteza, disciplina nas conclusões) e filtrou execuções com falhas graves (alucinações, estimandos incorretos).
  • Apenas execuções "compliant" (compliant) foram mantidas para análise final, garantindo que a variabilidade observada não fosse apenas erro, mas diversidade analítica legítima.

3. Principais Contribuições

1. Escalabilidade do Multiverso Analítico: Demonstração de que agentes de IA autônomos podem replicar a dispersão de resultados observada em estudos humanos, mas gerando milhares de análises a um custo marginal baixo.
2. Viabilidade da "Steerability" (Direcionabilidade): Evidência de que a distribuição de conclusões pode ser sistematicamente alterada ("steered") apenas mudando a persona do prompt ou o modelo base, mesmo entre análises metodologicamente válidas.
3. Novo Paradigma de Transparência: Proposta de que análises geradas por IA devem ser acompanhadas por relatórios estilo "multiverso" e divulgação completa dos prompts utilizados, equiparando-os à divulgação de código e dados.
4. Ferramenta de Stress Test Computacional: O framework pode ser usado para testar a robustez de descobertas publicadas, gerando distribuições de estimativas para identificar onde as escolhas implícitas nos estudos originais introduzem incerteza.

4. Resultados Chave

• Dispersão Massiva: Mesmo com dados, hipóteses e estimandos fixos, os agentes de IA produziram uma vasta dispersão em tamanhos de efeito, valores-p e conclusões binárias (suportado/não suportado). Em muitos casos, execuções independentes inverteram a direção do efeito.
• Efeito da Persona:
  • A mudança da persona "Negativa" para "Forte Busca por Confirmação" resultou em diferenças nas taxas de suporte à hipótese de 34 a 66 pontos percentuais entre os conjuntos de dados.
  • A "Busca por Confirmação" levou a uma busca ativa por especificações que minimizavam valores-p, muitas vezes através de seleção de covariáveis ou transformações de dados agressivas.
• Filtragem de Auditoria: O auditor eliminou execuções com erros metodológicos graves (como alucinações), mas não eliminou a dispersão. A variabilidade persistiu mesmo nas análises consideradas válidas, indicando que a incerteza é inerente ao processo analítico, não apenas a erros.
• Influência do Modelo: A escolha do LLM base também impactou significativamente os resultados, com diferentes modelos tendendo a preferir diferentes classes de modelos ou estratégias de tratamento de dados.
• Comparação com Estudos Humanos: Os resultados espelham os estudos humanos (onde ceticismo prévio não correlacionava fortemente com resultados, mas a busca ativa por confirmação sim), validando a IA como um proxy escalável para estudar a variabilidade analítica.

5. Significado e Implicações

• Vulnerabilidade à Seleção de Resultados: A capacidade de gerar análises defensáveis em massa cria uma vulnerabilidade estrutural: é fácil "cherry-pick" (selecionar) a análise que suporta uma conclusão desejada. Isso ameaça a integridade da ciência baseada em evidências, especialmente em políticas públicas e saúde.
• Oportunidade para Quantificação de Incerteza: A mesma capacidade que gera o risco pode ser a solução. Ao tratar os resultados dos agentes de IA como uma distribuição (e não um ponto único), a variabilidade analítica torna-se visível e mensurável.
• Nova Norma de Transparência: O artigo argumenta que a ciência automatizada exige que os prompts usados para gerar as análises sejam divulgados com o mesmo rigor que o código e os dados. Sem isso, a reprodutibilidade é impossível.
• Mapeamento do Multiverso: O uso de agentes de IA pode tornar rotineiro o mapeamento de multiversos, permitindo que pesquisadores identifiquem quais escolhas de design (ex: tratamento de outliers, seleção de covariáveis) são as que mais contribuem para a instabilidade das conclusões, guiando o desenho de estudos mais robustos no futuro.

Em resumo, o paper alerta que a automação da ciência de dados não elimina a subjetividade analítica, mas a amplifica e a torna manipulável. No entanto, ao abraçar essa variabilidade através de metodologias de "multiverso" e auditoria rigorosa, a comunidade científica pode transformar uma ameaça à reprodutibilidade em uma ferramenta poderosa para quantificar e comunicar a incerteza inerente à pesquisa empírica.