Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts

Resumo Técnico: Resposta Correta, Mecanismo Errado — Quando Cientistas de IA Defendem Alegações Gerais que Seus Próprios Dados Contradizem

Definição do Problema
As atuais estruturas de avaliação para sistemas de cientistas de IA baseiam-se predominantemente em métricas de apenas resultado, verificando se um agente produz um resultado final correto contra uma referência fixa. Este artigo argumenta que tais avaliações são insuficientes para a descoberta científica porque falham em detectar o fenômeno "Resposta Correta, Mecanismo Errado" (CAWM, na sigla em inglês). Em cenários de CAWM, um agente chega a um resultado numericamente correto ou plausível, mas o defende com um mecanismo físico que é inconsistente com seus próprios dados gerados ou que falha em generalizar através de diferentes regimes. Os autores postulam que a validade do resultado não implica fidelidade do mecanismo; um agente pode ter sucesso em um regime específico ao explorar atalhos estatísticos ou correlações que quebram sob novas condições, levando a alegações excessivamente generalizadas que carecem de validade científica.

Metodologia
O estudo emprega um estudo de caso controlado dentro de uma simulação Geant4 de um módulo de detector Cherenkov imerso em gelo glacial. A tarefa exige que os agentes determinem se as distribuições de tempo de chegada de fótons podem distinguir estatisticamente eventos induzidos por múons de eventos induzidos por elétrons.

• Design da Tarefa: O observável de "verdade fundamental" (ground truth) é a fração de borda de ataque por evento ($f_{early}$), que depende da diferença geométrica entre trilhas de múons (que produzem uma borda de ataque nítida) e cascatas de elétrons (que produzem uma chegada difusa). Um alternativo plausível, porém falho, é o desvio padrão por evento dos tempos de impacto ($\sigma$), que se comporta de maneira diferente através de parâmetros de impacto ($d$).
• Protocolo do Agente: O estudo avalia 28 episódios em três modelos (Claude Opus 4.6 como o principal, Gemini 2.5 Flash e Pro como sondas entre modelos). Quatro variantes de prompt foram usadas:
  • Prompt A (Aberto): Sem orientação sobre observáveis.
  • Prompt B (Estruturado): Um processo de cinco etapas incluindo uma etapa de "desafiar conclusões".
  • Prompt C (Controle Positivo): O observável correto ($f_{early}$) e o contexto físico são fornecidos para testar a capacidade de execução.
  • Prompt D (Viés de Prioridade): Contém uma prioridade parcialmente falsa (afirmando que elétrons possuem uma fração de borda de ataque maior) para testar a honestidade epistêmica.
• Critérios de Avaliação: Os episódios foram codificados com base em três eixos:
  1. Resultado da Tarefa: O método reproduz o resultado alegado nos próprios dados do agente?
  2. Fidelidade do Mecanismo: A explicação física é correta e generalizável?
  3. Honestidade Epistêmica: O agente revisa crenças quando os dados contradizem as prioridades ou suas próprias alegações?

Principais Resultados
O estudo identifica o CAWM como um modo de falha prevalente onde os agentes produzem resultados de "aparência correta" via raciocínio incorreto:

• Prevalência de CAWM: No modelo primário (Claude Opus 4.6), 4 de 20 episódios (20%) exibiram CAWM. Na sonda entre modelos (Gemini), 3 de 8 episódios (37,5%) mostraram CAWM.
• Mecanismo vs. Resultado: Os agentes frequentemente selecionaram observáveis como $\sigma$ ou frações de janela relativa que pareciam separar partículas em $d=10$ m, mas falharam em generalizar para $d=20$ m ou $25$ m, ou basearam-se em física (ex: compactação de cascata implicando chegada precoce) que seus próprios dados refutavam.
• Dissociação de Honestidade e Fidelidade: Uma descoberta crítica é que a honestidade epistêmica e a fidelidade do mecanismo podem se dissociar. No Prompt D, todos os agentes rejeitaram corretamente a prioridade falsa sobre as frações de borda de ataque de elétrons com base na evidência. No entanto, um agente (Episódio 19) selecionou subsequentemente $\sigma$ como o observável primário e o defendeu com um mecanismo físico (um espalhamento intrínseco de 10–15 ns) que contradizia suas próprias tabelas numéricas (mostrando um espalhamento de apenas ~6,7 ns).
• Limitações do Escaneamento (Scaffolding): Embora um escaneamento de cinco etapas (Prompt B) tenha reduzido o CAWM no modelo primário (0/5), ele falhou em prevenir o CAWM nas sondas entre modelos (2/2), sugerindo que estratégias de mitigação não são universalmente transferíveis entre famílias de modelos.
• Execução vs. Descoberta: Quando fornecidos com o observável e a física corretos (Prompt C), os agentes reproduziram com sucesso os resultados e identificaram corretamente limitações estatísticas em baixas contagens de fótons ($d=25$ m). Isso indica que os agentes são capazes de execução, mas não confiáveis para descoberta aberta.

Protocolo de Verificação Proposto
Os autores propõem um protocolo de verificação leve de duas partes para detectar o CAWM:

1. Verificação de Mudança de Regime: Extrair o mecanismo declarado pelo agente, derivar uma previsão assinada para um regime adjacente não utilizado para justificar a alegação e verificar isso contra uma execução de simulação nesse regime. Isso captura alegações de generalização excessiva.
2. Recálculo Companheiro: Se o observável correto for conhecido, recalcular o mesmo nos dados do agente para falsificar alegações baseadas em observáveis confundidos (ex: janelas relativas).
   Juntos, essas verificações sinalizaram 100% dos casos de CAWM no estudo.

Significância e Alegações
O artigo afirma que os atuais agentes de codificação de LLM funcionam como ferramentas confiáveis para a execução de análises especificadas, mas são não confiáveis como coautores científicos para a formulação de alegações abertas.

• Limites de Confiança: A confiança de coautoria exige a verificação da fidelidade do mecanismo, que os sistemas atuais não aplicam de forma confiável a si mesmos.
• Risco Científico: O CAWM é particularmente perigoso na descoberta científica porque a nova física reside frequentemente nos limites dos regimes conhecidos. Um agente com um mecanismo errado extrapolará confiantemente para esses regimes, perdendo assinaturas inesperadas ou gerando falsos positivos que verificações de apenas resultado não conseguem detectar.
• Mudança de Avaliação: Os autores defendem uma mudança de uma avaliação de apenas resultado para uma estrutura de três eixos (resultado, fidelidade do mecanismo e honestidade epistêmica). Eles afirmam que a autonomia só deve ser concedida quando os agentes puderem passar pelos três, e que a verificação externa (como a verificação de mudança de regime) é necessária antes de aceitar novas alegações científicas.

O artigo conclui que, embora os cientistas de IA possam lidar com tarefas de distribuição fechada, eles atualmente carecem dos mecanismos de autocorreção necessários para a descoberta científica aberta, onde a generalização é implícita e não verificada.