Grounded autonomous research: a fault-tolerant LLM pipeline from corpus to manuscript in frontier computational physics

Resumo Técnico: Pesquisa Autônoma Fundamentada em Física Computacional de Fronteira

Definição do Problema
Agentes de pesquisa autônomos alcançaram a automação de ponta a ponta em domínios "amigáveis à calibração", como o aprendizado de máquina, onde o feedback de execução (ex: curvas de perda de treinamento) ou valores de referência estabelecidos fornecem verificação intrínseca. No entanto, a ciência física de fronteira apresenta um desafio categórico: o raciocínio físico dita as escolhas metodológicas, as ferramentas são frequentemente subdocumentadas e a execução não fornece uma verdade fundamental (ground truth). Nesses ambientes, agentes sem suporte (unscaffolded) recorrem a seus vieses internos, produzindo resultados plausíveis, mas não verificáveis, e alucinando metodologias que não podem ser corrigidas apenas pela execução. O problema central é a falta de um mecanismo estrutural para forçar os agentes a confrontar seus resultados contra âncoras da literatura externa, em vez de meramente citá-las.

Metodologia: O Pipeline Fundamentado (Grounded Pipeline)
Os autores apresentam um pipeline de ponta a ponta que transforma um corpus de 11.083 artigos de física da matéria condensada do arXiv em um manuscrito de nível de publicação. O sistema opera através de seis fases utilizando 47 sessões de LLM de "contexto fresco" que compartilham apenas estados em disco, evitando a acumulação de erros de histórico de conversação.

1. Arquitetura e Suporte (Scaffolding):

   • Isolamento de Contexto Fresco: Cada sessão começa com uma janela de contexto limpa. A comunicação ocorre exclusivamente via artefatos em disco, garantindo que erros ou alucinações em uma sessão não se propaguem criticamente para a próxima.
   • Fundamentação Distribuída: O pipeline utiliza uma base de conhecimento curada (INDEX.md, PSEUDOPOTENTIALS.md) e "regras da casa" (PILOT_HOUSE_RULES.md) contendo restrições operacionais e fluxos de trabalho verificados. Crucialmente, estes são carregados apenas a partir da fase de Piloto (S2) em diante, mantendo a fase de concepção de ideias (Amplitude/Profundidade) livre de viés metodológico.
   • Revisão Adversária: Sessões dedicadas são instruídas a "procurar em vez de confirmar", atuando como um mecanismo de tolerância a falhas para capturar excessos de afirmações (overclaims).

2. O Fluxo de Trabalho de Seis Fases:

   • Amplitude (3 sessões): Mapeia o corpus para identificar temas de pesquisa candidatos.
   • Profundidade (5 sessões): Expande os candidatos em questões de pesquisa específicas com alvos de reprodução explícitos. Um registro de diversidade garante direções não sobrepostas.
   • Piloto (24 sessões): O núcleo do motor de "fundamentação". Envolve:
     • Seleção de Programa (S1): Seleciona uma direção baseada na viabilidade do software (deve ser executável por ferramentas de código aberto nomeadas).
     • Verificação de Ferramental (S2): Verifica a pilha local e carrega a base de conhecimento curada.
     • Reprodução (S3): Reproduz 5 artigos publicados como âncoras numéricas.
     • Ciclo de Revisão de Portão Iterativo: Um ciclo de portões computacionais seguidos de revisões adversárias. Se um resultado desvia da literatura, o agente deve confrontar a discrepância. O processo é limitado por um hiperparâmetro (max_pilot_cycle) que força uma transição para a produção ou terminação se a convergência não for alcançada.
   • Pré-produção e Produção: Consolida a receita do piloto em um plano travado e executa as computações inéditas.
   • Escrita: Redige o manuscrito em sessões de contexto fresco, integrando as descobertas com a literatura.

3. Definição Operacional de "Fundamentação" (Grounding):
   O artigo define "fundamentação" não como disponibilidade de literatura, mas como confronto numérico estruturalmente forçado. Nos pontos de verificação de calibração, o pipeline força uma comparação numérica entre os valores computados pelo agente e os valores de referência publicados. Se os valores não coincidirem dentro da tolerância (nível T4: ≤20% de desvio), o agente deve revisar sua metodologia ou emitir um veredito de "NÃO PASSOU" (NOT PASS).

Principais Contribuições

1. Pipeline de Ponta a Ponta: Um sistema que concebe autonomamente uma direção de pesquisa, calibra a metodologia via reprodução, realiza computações inéditas de primeira ordem e escreve um manuscrito sobre altermagnetismo piezomagnético.
2. Mecanismo de Fundamentação Operacional: A identificação da fase de Piloto como o elemento arquitetônico que operacionaliza a fundamentação. Através de dois modos de falha pareados (uma linha de base pré-arquitetura carente de fundamentação na seleção de tópicos e uma ablação sem piloto carente de fundamentação na execução), os autores demonstram que, sem o confronto numérico forçado, os agentes aceitam tópicos não ancoráveis ou prosseguem com suposições não verificadas.
3. Primitivos de Tolerância a Falhas: O sistema emprega isolamento de contexto fresco, fundamentação distribuída e revisão adversária para capturar erros. Na fase de piloto, 15 "episódios de captura" foram documentados onde esses mecanismos corrigiram saídas excessivamente confiantes ou errôneas.
4. Padrão de Intervenção Quantificado: A intervenção humana limitou-se à curadoria de conhecimento operacional (ex: adicionar uma regra de verificação de sanidade ou protocolo de validação de Wannier após uma falha de reprodução) e recuperação de paywall/API. Nenhuma direção científica ou escolha de parâmetros foi feita por humanos.

Resultados
O pipeline produziu um manuscrito de nível de submissão sobre altermagnetismo piezomagnético contendo três descobertas físicas substantivas:

1. Resposta Hall anômala permitida por simetria em MnTe em uma âncora de banda de valência profunda, com uma amplitude de platô de $\alpha = 397$ S/cm.
2. Resposta piezomagnética orbital em MnTe, rendendo $\Lambda_{orb}^{zxx} = -1.96$ $\mu_B$/célula por unidade de deformação.
3. Resposta de classe de simetria cruzada em d-wave Lieb CsV$_2$Te$_2$O sob cisalhamento B$_{1g}$, rendendo $\Lambda_{topo} = -24.9$ $\mu_B$/célula por unidade de cisalhamento.

O sistema navegou com sucesso por 2.162 eventos de consulta à literatura através de 14 canais. Identificou e documentou incertezas sistemáticas, como um sistemático de truncamento de base no âncora de magnetização orbital do MnTe, recusando-se a certificar a convergência onde os dados eram insuficientes (emitindo vereditos de "NÃO PASSOU").

Significância e Alegações
O artigo alega que este trabalho estabelece uma base para a pesquisa autônoma em domínios científicos de alto risco onde a execução não fornece a verdade fundamental.

• Mudança de "Plausível" para "Ancorado": O sistema vai além de gerar texto plausível, produzindo resultados que são estruturalmente forçados a confrontar a realidade externa.
• O Papel do Piloto: O estágio de piloto é identificado como o "grande mecanismo de âncora". Sem ele, os agentes ou selecionam tópicos que não podem ser calibrados (falha da linha de base pré-arquitetura) ou prosseguem com métodos não verificados apesar de terem acesso a valores de referência (falha da ablação sem piloto).
• Incerteza Honesta: O valor do pipeline reside em sua capacidade de identificar seus próprios limites. Ao documentar incertezas sistemáticas e recusar a certificação de convergência quando as âncoras são inconclusivas, ele produz "falhas ancoradas" que são tratáveis para futuras iterações, em vez de "mistérios ocultos" de alucinação não fundamentada.
• Aplicabilidade de Fronteira: Embora as âncoras de fronteira atuais sejam escassas e provisórias (ex: valores publicados únicos para novos fenômenos), a arquitetura trata a consistência com a literatura como a métrica primária de sucesso, reconhecendo que isso representa uma "exposição medida" em vez de uma verdade absoluta.

O trabalho não pretende substituir cientistas humanos, mas fornecer um arcabouço de suporte e tolerância a falhas que lida com a carga operacional do confronto com a literatura, permitindo que pesquisadores humanos foquem na curadoria do conhecimento e na interpretação de resultados ancorados.