Fantastic Scientific Agents and How to Build Them: AgentBuild for Rietveld Refinement

Resumo Técnico: AgentBuild para Refinamento de Rietveld

Problema
A transição de fluxos de trabalho científicos de executáveis determinísticos para agentes de Grande Modelo de Linguagem (LLM) introduz um desafio crítico: as práticas atuais de desenvolvimento (ajuste fino, aprendizado por reforço e engenharia de prompt) obscurecem o julgamento do cientista. O ajuste fino codifica a expertise em pesos não difíceis que desaparecem na troca de modelos; o aprendimento por reforço exige recompensas escalares que falham em capturar julgamentos visuais multicritério; e abordagens de "prompt-and-go" carecem de um nível de aceitação. Consequentemente, os cientistas carecem de um artefato legível que defina o que é uma análise competente, e a "competência" de um agente não é um ativo durável, mas uma propriedade transitória de um checkpoint específico do modelo.

Metodologia: AgentBuild
O artigo propõe o AgentBuild, um primitivo de estágio de fluxo de trabalho que trata a construção de agentes como um processo de compilação impulsionado por um contrato elaborado pelo cientista, em vez de um processo de treinamento. A metodologia separa a propriedade intelectual do cientista do comportamento de execução do agente através de três componentes principais:

1. O Contrato Elaborado pelo Cientista: O especialista no domínio elabora três artefatos distintos que servem como a "origem" da competência do agente:

   • Rubrica com Controle de Versão: Uma especificação de critérios qualitativos e visuais (ex: identificação de fase, índices de ajuste, estrutura de relatório) com limiares estritos de aprovação.
   • Currículo Graduado por Dificuldade: Um conjunto de tuplas pareadas contendo amostras científicas representativas e relatórios de referência, organizados do fácil ao difícil.
   • Base de Conhecimento Externa Curada: Um corpus de leitura apenas (read-only) de procedimentos de domínio (ex: tutoriais do GSAS-II) que informa a construção, mas nunca entra no agente.

2. O Ciclo de Construção (Build Loop): O AgentBuild opera como um loop de meta-otimização:

   • Entradas: O contrato (rubrica, currículo, base de conhecimento), um handle de modelo base, um inventário de ferramentas MCP (Model Context Protocol) e um limite de edição.
   • Juiz: Um juiz LLM orientado por rubrica pontua o Agente-Sob-Desenvolvimento (AUD) contra os casos do currículo. Ele avalia tanto a qualidade do output quanto a aderência à trajetória da rubrica.
   • Meta-Otimizador: Um LLM que muta a montagem do AUD (prompts de sistema, fiação de ferramentas, código auxiliar) dentro de um limite de edição declarado. Crucialmente, o otimizador não pode modificar o motor científico subjacente, a rubrica ou o currículo.
   • Teste de Aceitação: O loop utiliza um critério P-strict: cada caso do currículo ativo deve atender a todos os limiares das dimensões da rubrica em uma única iteração para prosseguir.
   • Saídas: Um agente empacotado versão A2A (Agent-to-Agent) e uma trilha de proveniência (PROV) documentando cada diff, pontuação e handle de modelo.

3. Interface Durável: O sistema garante que a interface do agente persista através de gerações de modelos. Se o modelo base mudar, o AgentBuild é executado novamente contra o mesmo contrato para "re-ajustar" o agente em vez de "reconstruí-lo" do zero. O contrato do cientista permanece o ativo durável; o agente é um derivado.

Principais Contribuições

• Framework AgentBuild: Um estágio de fluxo de trabalho que compila agentes a partir de um contrato elaborado pelo cientista, mudando o papel do cientista de codificador de agentes para autor de contratos.
• Arquitetura de Duas Bases de Conhecimento: Uma separação estrita entre a Base de Conhecimento do Produtor (curada pelo cientista, apenas leitura durante a construção) e a Base de Conhecimento do Consumidor AUD (elaborada pela máquina, lida durante a execução). Isso evita que o otimizador vaze a PI do cientista para o contexto de execução do agente.
• Avaliação Orientada por Rubrica: O uso de uma rubrica multidimensional, visual e textual como um teste de aceitação tipado, substituindo funções de recompensa escalar por um portão de "passa/falha" baseado em plausibilidade científica e aderência ao fluxo de trabalho.
• Estudo de Caso de Refinamento de Rietveld: A instanciação deste framework para análise de dados de difração de raios X (XRD) usando GSAS-II, demonstrando a construção de um agente capaz de inspeção visual e refinamento.

Resultados: O Experimento SNR
Os autores instanciaram o AgentBuild para refinar dados de XRD para uma amostra de Óxido de Lítio, Lantânio e Zircônio (LLZO) através de uma escada de Relação Sinal-Ruído (SNR) (tempos de contagem variando de 1 minuto a 4 horas).

• Trajetória de Construção: Partindo de um harness vazio, a construção progrediu através de casos de linha de base (PbSO4, fluorapatita) e varreduras de LLZO de baixa contagem.
• Marco: Na Iteração 7, o agente passou por um conjunto de quatro casos sob o critério P-strict, lidando com sucesso a varredura de 30 minutos.
• Caso de Fronteira: A construção escalou para a varredura de 4 horas (Iteração 9). O agente resultante produziu um refinamento plausível (Rwp 5.78%) que correspondia visualmente aos dados. No entanto, ele falhou no contrato de escopo de fluxo de trabalho estrito (especificamente a dimensão T2 referente ao uso de ferramentas e aderência ao protocolo), liberando parâmetros fora do protocolo restrito justificado pela maior qualidade dos dados.
• Desempenho de Holdout: Em casos de reserva (ex: varredura de 10 minutos), o agente terminal manteve fortes pontuações de relatório científico e de trajetória (D4-D6 e T1-T5), mesmo quando verificações determinísticas de identificação de fase (D1-D3) falharam devido a problemas de parsing de interface, e não por falhas de raciocínio.

Significância e Alegações
O artigo alega que o AgentBuild fornece um mecanismo para manter o julgamento do cientista legível, elaborado e fora do loop de construção.

• Guarda de Não-Substituição: A metodologia garante que a afirmação científica resida na rubrica e no currículo elaborados, não nos pesos do modelo. Um modelo base pode formatar artefatos, mas o contrato constitui a afirmação científica.
• Conformidade FAIR: Ao tratar a construção como um estágio de fluxo de trabalho com uma trilha de proveniência, os agentes resultantes satisfazem os princípios FAIR (Findable, Accessible, Interoperable, Reusable) para software de pesquisa, especificamente a posição FAIR-CWFR (FAIR para Fluxos de Trabalho Computacionais e Pesquisa).
• Modéstia de Escopo: Os autores declaram explicitamente que este trabalho avalia o refinamento de fase única e focado em SNR. Não pretendem resolver o refinamento de múltiplas fases, modelagem de impurezas fracas ou identificação de fase como um benchmark geral. A falha na varredura de 4 horas é enquadrada não como uma falha de ajuste de padrão, mas como uma falha de contrato de escopo de fluxo de trabalho, expondo os limites do protocolo atual em vez da capacidade de raciocínio do agente.
• Trabalhos Futuros: O artigo identifica a necessidade de interfaces mais nítidas entre a narração científica não determinística e a validação determinística, e sugere expansões futuras para incluir cenários de múltiplas fases e classes de materiais mais amplas.

Em resumo, o artigo argumenta que os agentes científicos devem ser vistos como derivados compilados de um contrato durável, onde o processo de construção é uma otimização iterativa e orientada por avaliação da montagem do agente, e não um retreinamento da expertise do cientista.