Resumo Técnico: "Sound Agentic Science Requires Adversarial Experiments"

Publicação: Workshop Agents in the Wild, ICLR 2026.
Autores: Dionizije Fa†, Marko Culjak (TakeLab @ FER, Universidade de Zagreb).

1. O Problema: O "Gap de Verificação" na Ciência Agêntica

O artigo aborda um risco emergente com a adoção de agentes baseados em LLM (Large Language Models) para análise de dados científicos. O problema central é a distinção entre a eficácia de agentes em software versus sua aplicação em ciências empíricas (como biologia e ciências sociais).

• Em Software: O agente opera em um ciclo de feedback fechado. O código gerado é testado contra uma realidade verificável (especificações, testes unitários e execução). Cada erro falsifica o código incorreto, reduzindo o espaço de hipóteses até chegar a uma solução funcional.
• Em Ciências Empíricas: O agente opera em um ciclo aberto. Ele pode iterar sobre escolhas analíticas (pré-processamento, modelos, variáveis de controle), mas essas iterações não testam a realidade biológica; elas apenas manipulam a narrativa para que os dados pareçam apoiar uma hipótese.

O risco: Agentes podem reduzir o custo marginal de produzir "resultados publicáveis" a quase zero, inundando a literatura com correlações estatisticamente significativas, mas biologicamente irrelevantes ou espúrias (um fenômeno de p-hacking automatizado), superando a capacidade humana de verificação.

2. Metodologia e Experimento de Prova de Conceito

Para demonstrar a fragilidade das conclusões geradas por agentes, os autores realizaram um experimento controlado utilizando dados do NHANES 2017–2018 (dados de saúde pública dos EUA) sobre a relação entre níveis de Vitamina D e depressão (PHQ-9).

Dois agentes independentes (Agent A e Agent B) receberam o mesmo conjunto de dados, mas com objetivos opostos:

• Agente A: Instruído a encontrar evidências de que níveis mais altos de Vitamina D estão associados a menores níveis de depressão.
• Agente B: Instruído a encontrar que não há correlação entre as variáveis.

Ambos os agentes foram limitados a usar escolhas epidemiológicas "defensáveis" (como ajustes de covariáveis ou restrições de amostra), mas tiveram liberdade para variar especificações como pesos amostrais, transformações logarítmicas e critérios de exclusão.

3. Resultados Principais

O experimento demonstrou que é trivial gerar conclusões conflitantes e estatisticamente válidas a partir do mesmo conjunto de dados através de pequenas variações analíticas:

• Resultado do Agente A: Encontrou uma associação negativa significativa ($p = 0,0006$), sugerindo que a Vitamina D reduz sintomas depressivos.
• Resultado do Agente B: Encontrou uma associação nula ($p = 0,855$), sugerindo que não há relação entre as variáveis.

Conclusão do experimento: A flexibilidade dos agentes permite que eles "moldem" a análise para confirmar qualquer narrativa pré-estabelecida, transformando o espaço de hipóteses em um catálogo de alegações selecionadas para otimizar resultados positivos.

4. Contribuições e Propostas (O Padrão de Falsificação)

Os autores propõem uma mudança de paradigma no uso de agentes na ciência:

1. Padrão de Falsificação Primeiro (Falsification-first standard): Em vez de usar agentes para construir a narrativa mais convincente, eles devem ser usados para buscar ativamente formas de refutar a hipótese.
2. Agentes como Críticos Adversários: Todo resultado gerado por um agente deve vir acompanhado de uma tentativa de refutação. O agente deve propor explicações alternativas (confundimento, erro de medição, causalidade reversa) e testar se a conclusão sobrevive a esses ataques.
3. Revisão por Pares Adversarial: Propõem que editores de revistas científicas exijam pacotes de análise executáveis e incentivem revisores a utilizarem agentes para tentar "quebrar" a afirmação principal do artigo.
4. Integração com Laboratórios Automatizados: A solução definitiva para o "gap de verificação" é o uso de agentes que tenham controle de ponta a ponta, incluindo o design e a execução de experimentos físicos (intervenções), que são os únicos capazes de reduzir o espaço de hipóteses na realidade empírica.

5. Significância

O artigo serve como um alerta crítico para a comunidade científica. Ele argumenta que, sem a introdução de métodos de falsificação rigorosos e automatizados, a ciência agêntica corre o risco de acelerar a produção de ruído em vez de acelerar a descoberta científica, diluindo a confiança nos resultados publicados em áreas sensíveis como a biomedicina.