Nonstandard Errors in AI Agents

O estudo demonstra que agentes de IA de ponta, ao analisarem os mesmos dados de mercado, produzem resultados empíricos divergentes devido a erros não padrão decorrentes de escolhas analíticas variadas, e que a exposição a exemplos de alto desempenho reduz drasticamente essa dispersão, embora por meio de imitação e não de compreensão genuína.

O essencial

Imagine que você pede para 150 chefs de cozinha diferentes, todos usando a mesma receita básica e os mesmos ingredientes, para preparar o prato "Sopa de Legumes" e dizer o quanto de sal ela tem.

Você esperaria que todos dissessem mais ou menos a mesma coisa, certo?

Bem, um novo estudo feito por pesquisadores da Universidade do Texas descobriu que, quando você pede para Inteligências Artificiais (IAs) fazerem o mesmo trabalho de pesquisa científica, o resultado é um caos organizado. Mesmo com os mesmos dados e a mesma pergunta, cada IA chega a uma conclusão diferente.

Aqui está a explicação simples do que aconteceu, usando analogias do dia a dia:

1. O Grande Experimento: 150 "Pesquisadores Robôs"

Os autores criaram 150 agentes de IA autônomos (robôs que escrevem código e analisam dados sozinhos). Eles deram a todos os mesmos dados sobre o mercado de ações (SPY) e pediram para responder a 6 perguntas, como: "O mercado ficou mais eficiente com o tempo?" ou "O volume de negociações aumentou?".

O Resultado: Os robôs não concordaram.

• Para algumas perguntas, eles concordaram quase perfeitamente.
• Para outras, as respostas variaram drasticamente. Um grupo disse que o volume de dinheiro subiu 6% ao ano, enquanto outro grupo disse que caiu 5% ao ano. Ambos usaram os mesmos dados!

2. Por que isso acontece? O "Jardim de Caminhos"

A principal causa não é que os robôs estão "errados" ou "loucos". É porque a pergunta era um pouco vaga.

Imagine que a pergunta é: "Quantos carros passaram por aqui?"

• O Robô A decide contar apenas os carros vermelhos.
• O Robô B decide contar apenas os carros de luxo.
• O Robô C decide contar todas as motos e caminhões também.

Todos estão respondendo à pergunta, mas cada um escolheu um "caminho" diferente para medir a realidade. No estudo, isso se chama Erro Não Padrão (NSE). É a incerteza que surge porque cada pesquisador (ou robô) escolhe uma ferramenta de medição diferente.

3. O Estilo de Cada "Raça" de Robô

O estudo descobriu algo fascinante: diferentes modelos de IA têm "personalidades" ou "estilos" fixos.

• Os robôs do modelo Sonnet eram como chefs que sempre usam sal. Eles preferiam medir a eficiência do mercado de uma maneira específica (autocorrelação).
• Os robôs do modelo Opus eram como chefs que sempre usam pimenta. Eles insistiam em medir de outra forma (razão de variância).

Não importa quantas vezes você rodasse o mesmo robô, ele tendia a escolher o mesmo "tempero". Isso significa que a IA não é neutra; ela carrega os preconceitos de como foi treinada.

4. A Crítica dos Colegas Não Funciona

Os pesquisadores tentaram uma segunda etapa: fizeram os robôs lerem os trabalhos uns dos outros e darem críticas (como um revisor de artigos).

• O que aconteceu? Nada mudou. Os robôs continuaram com suas opiniões.
• A analogia: Imagine pedir para 150 pessoas que gostam de pizza de abacaxi lerem críticas de quem odeia pizza de abacaxi. Elas podem mudar a receita um pouco, mas não vão parar de gostar de abacaxi. A crítica escrita não convenceu os robôs a mudarem sua "escolha de caminho".

5. O Poder (e o Perigo) de Seguir a Turma

Na terceira etapa, os pesquisadores mostraram aos robôs os 5 melhores trabalhos que os outros robôs haviam feito.

• O que aconteceu? A mágica aconteceu. Os robôs que estavam no "caminho errado" (na visão deles) mudaram de ideia e copiaram os líderes.
• O resultado: A variação entre eles caiu drasticamente (de 80% a 99% em alguns casos).
• O problema: Eles não mudaram porque acharam a nova ideia melhor. Eles mudaram por imitação. Se os "líderes" tivessem escolhido o caminho errado, todos teriam seguido o erro. É como se todos os alunos de uma sala copiassem a resposta do aluno que o professor elogiou, sem entender se a resposta estava certa.

6. A Lição para o Futuro

O estudo nos dá três avisos importantes:

1. Não confie em apenas uma IA: Pedir para uma IA fazer uma análise e aceitar o resultado como "verdade absoluta" é perigoso. A resposta pode depender apenas de qual "modelo" de IA você usou.
2. A IA espelha nossa confusão: A variação nos resultados da IA não é um defeito do robô, mas um espelho da ambiguidade da ciência humana. Se até os robôs não conseguem concordar sobre como medir algo, é porque a pergunta em si é difícil de definir.
3. Use o "Multiverso": Em vez de pedir uma resposta, os pesquisadores sugerem que devemos pedir para várias IAs rodarem o mesmo experimento de formas diferentes e olharmos para a faixa de todas as respostas possíveis. Isso nos dá uma ideia real da incerteza, em vez de uma falsa certeza.

Resumo final:
A IA é uma ferramenta poderosa, mas não é um oráculo infalível. Ela pode nos ajudar a ver todas as possíveis respostas para uma pergunta, mas cabe a nós, humanos, decidir qual resposta faz mais sentido no mundo real. A "verdade" não é um ponto único, mas muitas vezes um leque de possibilidades que a IA nos ajuda a explorar.

Resumo técnico

Título: Erros Não Padrão em Agentes de IA

Autores: Ruijiang Gao e Steven Chong Xiao (University of Texas at Dallas)
Contexto: Estudo sobre a confiabilidade e variabilidade de agentes de IA autônomos na pesquisa empírica.

1. O Problema

A pesquisa empírica automatizada está acelerando, com agentes de IA sendo capazes de coletar dados, codificar, estimar estatisticamente e escrever relatórios completos. No entanto, surge uma questão fundamental: se diferentes agentes de IA analisarem os mesmos dados e testarem a mesma hipótese, eles produzirão os mesmos resultados?

A literatura humana já documentou extensivamente os "graus de liberdade do pesquisador" (escolhas analíticas subjetivas que levam a resultados divergentes), um fenômeno chamado de Erros Não Padrão (NSE - Nonstandard Errors). O objetivo deste estudo é investigar se agentes de IA, que carecem de viés humano idiossincrático (como treinamento acadêmico específico ou pressões institucionais), ainda exibem NSE significativos devido à ambiguidade inerente das tarefas de pesquisa e à estocasticidade dos modelos de linguagem.

2. Metodologia

Os autores replicaram o design experimental do estudo Menkveld et al. (2024), mas substituindo pesquisadores humanos por agentes de IA.

• Agentes: 150 agentes autônomos Claude Code foram implantados.
  • 100 agentes usando o modelo Sonnet 4.6.
  • 50 agentes usando o modelo Opus 4.6.
  • Todos operaram com parâmetros de amostragem padrão (temperatura = 1.0) e total autonomia (leitura de arquivos, escrita de código, depuração).
• Dados: Dados de negociação e cotações em milissegundos do NYSE TAQ para o ETF SPY (2015–2024), totalizando 66 GB e mais de 7 bilhões de linhas.
• Hipóteses: Os agentes testaram 6 hipóteses sobre tendências de qualidade de mercado (ex: eficiência de mercado, spread bid-ask, volume de negociação, impacto de preço).
• Protocolo de Feedback em 3 Estágios:
  1. Estágio 1 (Análise Independente): Cada agente analisa os dados e produz um relatório sem interferência externa.
  2. Estágio 2 (Revisão por Pares de IA): Os agentes recebem feedback escrito anônimo de dois avaliadores de IA (um Sonnet e um Opus) e revisam seus relatórios.
  3. Estágio 3 (Exposição a Artigos de Topo): Os agentes recebem os 5 relatórios melhor avaliados do Estágio 2 e têm a oportunidade de revisar suas análises uma última vez.
• Isolamento: Os agentes rodaram em contêineres isolados (Singularity) para garantir que a variação entre eles surgisse apenas da estocasticidade do modelo e não da comunicação entre agentes.

3. Principais Contribuições

1. Extensão do Conceito de NSE para IA: Demonstra que os Erros Não Padrão persistem mesmo quando a intervenção humana é removida da cadeia de pesquisa, indicando que a variabilidade é frequentemente inerente à própria definição da tarefa de pesquisa (subespecificação).
2. Estilos Empíricos Estáveis: Identifica que diferentes famílias de modelos (Sonnet vs. Opus) desenvolvem "estilos empíricos" sistemáticos e estáveis, preferindo certas métricas e especificações de forma consistente.
3. Análise de Multiverso em IA: Mostra que os "multiversos" gerados por IA podem ser estruturalmente mais estreitos que os humanos (menos diversidade de paradigmas de estimação), mas ainda sofrem de grandes desvios devido à escolha de métricas.
4. Avaliação de Mecanismos de Feedback: Compara a eficácia da revisão por pares versus a exposição a exemplos de sucesso na redução da dispersão de resultados.

4. Resultados Chave

A. Existência e Magnitude dos NSE

Os agentes exibiram erros não padrão significativos. A variabilidade não foi ruído aleatório, mas estruturada:

• Exemplo (H1 - Eficiência de Mercado): A mediana das estimativas variou de -0,74%/ano a +1,7%/ano, com um Intervalo Interquartil (IQR) de 2,43%/ano.
• Exemplo (H4 - Volume): O IQR foi de 10,69%/ano, impulsionado inteiramente pela escolha da métrica: agentes que usaram volume em dólares encontraram crescimento de ~+6%/ano, enquanto os que usaram volume em ações encontraram declínio de ~-5%/ano.

B. Estrutura do NSE: Escolha de Métrica vs. Paradigma

• Concentração na Escolha de Métrica: A maior parte da variabilidade (NSE) ocorreu em "forks" de escolha de métrica (ex: autocorrelação vs. razão de variância; volume em dólares vs. ações).
• Uniformidade de Paradigma: Diferente dos humanos, que usam frequentemente "mudanças relativas" (ratios período a período), nenhum agente de IA escolheu esse paradigma. Todos usaram regressão OLS com tendência temporal (56% nível, 44% log).
• Estilos de Modelo:
  • Sonnet: Preferiu fortemente autocorrelação (87%) e regressão OLS em nível.
  • Opus: Preferiu universalmente razão de variância (100%) e regressão OLS logarítmica.

C. Efeitos do Feedback

• Revisão por Pares (Estágio 1 → 2): Ineficaz. O IQR permaneceu essencialmente inalterado. Os agentes fizeram mudanças idiossincráticas e não direcionadas em resposta aos comentários, movendo-se para cima e para baixo da mediana de forma equilibrada, sem convergência agregada.
• Exposição a Artigos de Topo (Estágio 2 → 3): Altamente Eficaz (mas com riscos).
  • Para famílias de métricas convergentes, o IQR colapsou em 80–99%.
  • Mecanismo: Os agentes migraram massivamente para as métricas usadas nos artigos de topo (ex: 62 de 87 agentes que usavam autocorrelação mudaram para razão de variância).
  • Risco de Divergência: Em casos onde os artigos de topo apresentavam opções conflitantes (ex: H1 e H5), a exposição aumentou a dispersão, pois os agentes adotaram inconsistemente novas opções metodológicas introduzidas pelos exemplos.

D. Imitação vs. Raciocínio

Os agentes demonstraram "imitação em massa" sem justificativa analítica profunda. Em H4 (Volume), 91% dos agentes mudaram sua métrica entre o Estágio 1 e o 3, muitas vezes invertendo suas escolhas originais apenas porque um artigo de topo usou a métrica oposta, mesmo que isso não fosse economicamente justificado para o seu caso específico.

5. Significado e Implicações

1. Limites Inferiores para Erros Humanos: O NSE observado em IA pode servir como um limite inferior para o NSE humano. Se agentes com treinamento e arquitetura idênticos discordam sobre a escolha de métricas, isso indica que a ambiguidade reside na própria pergunta de pesquisa, não apenas no pesquisador.
2. Credibilidade de Políticas Automatizadas: Projetos que usam IA para avaliação de políticas (como o Autonomous Policy Evaluation) não devem confiar em uma única estimativa gerada por IA. A escolha da métrica pode inverter conclusões de políticas.
3. A Necessidade de Multiverso: A prática padrão para pesquisa com IA deve ser a análise de multiverso (rodar múltiplas configurações, métricas e modelos) para mapear a distribuição completa de resultados plausíveis, em vez de buscar um único "verdadeiro" resultado.
4. Viés de Alinhamento: Tentar alinhar modelos de IA para reduzir essa variabilidade (fazendo-os escolher sempre a mesma métrica) pode ser contraproducente para a pesquisa científica, pois mascararia a incerteza inerente e legítima sobre qual operacionalização é a mais adequada. A variabilidade da IA reflete a incerteza aprendida da literatura acadêmica.

Conclusão

O estudo conclui que agentes de IA de ponta exibem erros não padrão substanciais e estruturados. A revisão por pares automatizada não resolve esses erros, enquanto a exposição a exemplos de sucesso força uma convergência rápida, mas que pode ser irracional e dependente do viés dos exemplos escolhidos. A pesquisa empírica automatizada exige transparência sobre as escolhas de métricas e o uso de abordagens de multiverso para garantir a robustez dos resultados.