Fantastic Scientific Agents and How to Build Them: AgentBuild for Rietveld Refinement

Resumen Técnico: AgentBuild para el Refinamiento de Rietveld

Declaración del Problema
La transición de los flujos de trabajo científicos de ejecutables deterministas a agentes basados en Modelos de Lenguaje de Gran Escala (LLM) introduce un desafío crítico: las prácticas de desarrollo actuales (ajuste fino, aprendizaje por refuerzo e ingeniería de prompts) oscurecen el juicio del científico. El ajuste fino codifica la experiencia en pesos no difusibles que desaparecen al cambiar de modelo; el aprendizaje por refuerzo requiere recompensas escalares que no logran capturar juicios visuales multicriterio; y los enfoques de "prompt-and-go" carecen de una barra de aceptación. En consecuencia, los científicos carecen de un artefacto legible que defina qué constituye un análisis competente, y la "competencia" de un agente no es un activo duradero, sino una propiedad transitoria de un checkpoint específico del modelo.

Metodología: AgentBuild
El artículo propone AgentBuild, un primitivo de etapa de flujo de trabajo que trata la construcción de agentes como un proceso de compilación impulsado por un contrato redactado por el científico, en lugar de un proceso de entrenamiento. La metodología separa la propiedad intelectual del científico del comportamiento en tiempo de ejecución del agente a través de tres componentes principales:

1. El Contrato Redactado por el Científico: El experto en el dominio redacta tres artefactos distintos que sirven como el "origen" de la competencia del agente:

   • Rúbrica con Control de Versiones: Una especificación de criterios cualitativos y visuales (por ejemplo, identificación de fases, índices de ajuste, estructura de informes) con umbrales de paso estrictos.
   • Currículo Graduado por Dificultad: Un conjunto de tuplas emparejadas que contienen muestras científicas representativas e informes de referencia, organizadas de fácil a difícil.
   • Base de Conocimiento Externa Curada: Un corpus de solo lectura de procedimientos de dominio (por ejemplo, tutoriales de GSAS-II) que informa la construcción pero que nunca entra en el agente.

2. El Bucle de Construcción (Build Loop): AgentBuild opera como un bucle de meta-optimización:

   • Entradas: El contrato (rúbrica, currículo, base de conocimiento), un manejador de modelo base, un inventario de herramientas MCP (Protocolo de Contexto de Modelo) y un límite de edición.
   • Juez: Un LLM basado en rúbricas califica al Agente en Desarrollo (AUD) contra los casos del currículo. Evalúa tanto la calidad de la salida como la adherencia a la trayectoria respecto a la rúbrica.
   • Meta-Optimizador: Un LLM que muta el ensamblaje del AUD (prompts de sistema, cableado de herramientas, código auxiliar) dentro de un límite de edición declarado. Crucialmente, el optimizador no puede modificar el motor científico subyacente, la rúbrica o el currículo.
   • Prueba de Aceptación: El bucle utiliza un criterio P-estricto: cada caso activo del currículo debe cumplir con cada umbral de dimensión de la rúbrica en una sola iteración para proceder.
   • Salidas: Un agente empaquetado versiónado, tipo A2A (Agente-a-Agente), y un rastro de procedencia (PROV) que documenta cada diferencia (diff), puntuación y manejador de modelo.

3. Interfaz Duradera: El sistema asegura que la interfaz del agente persista a través de las generaciones de modelos. Si el modelo base cambia, AgentBuild se ejecuta nuevamente contra el mismo contrato para "re-ajustar" el agente en lugar de "re-construirlo" desde cero. El contrato del científico es el activo duradero; el agente es un derivado.

Contribuciones Clave

• Marco de Trabajo AgentBuild: Una etapa de flujo de trabajo que compila agentes a partir de un contrato redactado por un científico, desplazando el rol del científico de la codificación del agente a la redacción del contrato.
• Arquitectura de Dos Bases de Conocimiento: Una separación estricta entre la Base de Conocimiento del Productor (curada por el científico, de solo lectura en el momento de la construcción) y la Base de Conocimiento del Consumidor del AUD (autoría de la máquina, leída en tiempo de ejecución). Esto evita que el optimizador filtre la propiedad intelectual del científico en el contexto de ejecución del agente.
• Evaluación Basada en Rúbrica: El uso de una rúbrica multidimensional, visual y textual como una prueba de aceptación tipada, reemplazando las funciones de recompensa escalar con una compuerta de "pasa/no pasa" basada en la plausibilidad científica y la adherencia al flujo de trabajo.
• Caso de Estudio de Refinamiento de Rietveld: La instanciación de este marco para el análisis de datos de difracción de rayos X (XRD) usando GSAS-II, demostrando la construcción de un agente capaz de inspección visual y refinamiento.

Resultados: El Experimento SNR
Los autores instanciaron AgentBuild para refinar datos de XRD para una muestra de Litio Lantano Zirconio Óxido (LLZO) a través de una escalera de Relación Señal-Ruido (SNR) (tiempos de conteo que varían desde 1 minuto hasta 4 horas).

• Trayectoria de Construcción: Partiendo de un armazón en blanco, la construcción progresó a través de casos base (PbSO4, fluorapatita) y escaneos de LLZO de bajo conteo.
• Hito: Para la Iteración 7, el agente pasó una suite de cuatro casos bajo el criterio estricto P-estricto, manejando con éxito el escaneo de 30 minutos.
• Caso de Frontera: La construcción escaló al escaneo de 4 horas (Iteración 9). El agente resultante produjo un refinamiento plausible (Rwp 5.78%) que coincidía visualmente con los datos. Sin embargo, falló el contrato de alcance de flujo de trabajo estricto (específicamente la dimensión T2 respecto al uso de herramientas y la adherencia al protocolo), liberando parámetros fuera del protocolo restringido justificado por la mayor calidad de los datos.
• Desempeño en Holdout: En casos de reserva (por ejemplo, escaneo de 10 minutos), el agente terminal mantuvo reportes científicos y puntuaciones de trayectoria fuertes (D4-D6 y T1-T5), incluso cuando los controles deterministas de identificación de fase (D1-D3) fallaron debido a problemas de parsing de la interfaz más que a fallos de razonamiento.

Significancia y Reivindicaciones
El artículo afirma que AgentBuild proporciona un mecanismo para mantener el juicio del científico legible, redactado y fuera del bucle de construcción.

• Salvaguarda de No-Reemplazo: La metodología asegura que la afirmación científica resida en la rúbrica y el currículo redactados, no en los pesos del modelo. Un modelo base puede formatear artefactos, pero el contrato constituye la afirmación científica.
• Cumplimiento FAIR: Al tratar la construcción como una etapa de flujo de trabajo con un rastro de procedencia, los agentes resultantes satisfacen los principios FAIR (Encontrable, Accesible, Interoperable, Reutilizable) para el software de investigación, específicamente la posición FAIR-CWFR (FAIR para Flujos de Trabajo Computacionales y de Investigación).
• Modestia en el Alcance: Los autores declaran explícitamente que este trabajo evalúa el refinamiento de fase única enfocado en SNR. No pretende resolver el refinamiento de múltiples fases, el modelado de impurezas débiles o la identificación de fases como un benchmark general. El fallo del escaneo de 4 horas se enmarca no como un fallo de ajuste de patrones, sino como un fallo del contrato de alcance de flujo de trabajo, exponiendo los límites del protocolo actual en lugar de la capacidad de razonamiento del agente.
• Trabajo Futuro: El artículo identifica la necesidad de interfaces más nítidas entre la narración científica no determinista y la validación determinista, y sugiere expansiones futuras que incluyan escenarios de múltiples fases y clases de materiales más amplias.

En resumen, el artículo argumenta que los agentes científicos deben ser vistos como derivados compilados de un contrato duradero, donde el proceso de construcción es una optimización iterativa y dirigida por la evaluación de la ensambladura del agente, no un reentrenamiento de la experiencia del científico.