Grounded autonomous research: a fault-tolerant LLM pipeline from corpus to manuscript in frontier computational physics

Resumen Técnico: Investigación Autónoma Anclada en la Física Computacional de Frontera

Planteamiento del Problema
Los agentes de investigación autónomos han logrado una automatización de extremo a extremo en dominios "amigables para la calibración", como el aprendizaje automático, donde la retroalimentación de ejecución (por ejemplo, curvas de pérdida de entrenamiento) o los valores de referencia establecidos proporcionan una verificación intrínseca. Sin embargo, la ciencia física de frontera presenta un desafío categórico: el razonamiento físico dicta las elecciones metodológicas, las cadenas de herramientas suelen estar insuficientemente documentadas y la ejecución no proporciona una verdad de referencia (ground truth). En estos entornos, los agentes sin andamiaje recurren a sus prioris internos, produciendo resultados plausibles pero inverificables, y alucinando metodologías que no pueden ser corregidas únicamente mediante la ejecución. El problema central es la falta de un mecanismo estructural que obligue a los agentes a confrontar sus resultados contra anclajes de la literatura externa, en lugar de simplemente citarlos.

Metodología: El Pipeline Anclado
Los autores presentan un pipeline de extremo a extremo que transforma un corpus de 11,083 artículos de arXiv sobre física de la materia condensada en un manuscrito de nivel de publicación. El sistema opera a través de seis fases utilizando 47 sesiones de LLM de "contexto fresco" que comparten únicamente el estado en disco, evitando la acumulación de errores de historial conversacional.

1. Arquitectura y Andamiaje:

   • Aislamiento de Contexto Fresco: Cada sesión comienza con una ventana de contexto limpia. La comunicación ocurre únicamente mediante artefactos en disco, asegurando que los errores o alucinaciones en una sesión no se propaguen de manera crítica a la siguiente.
   • Anclaje Distribuido: El pipeline utiliza una base de conocimientos curada (INDEX.md, PSEUDOPOTENTIALS.md) y "reglas de la casa" (PILOT_HOUSE_RULES.md) que contienen restricciones operativas y flujos de trabajo verificados. Crucialmente, estos se cargan solo desde la etapa de Piloto (S2) en adelante, manteniendo la fase de concepción de ideas (Amplitud/Profundidad) libre de sesgo metodológico.
   • Revisión Adversaria: Sesiones dedicadas son instruidas para "buscar en lugar de confirmar", actuando como un mecanismo de tolerancia a fallos para detectar afirmaciones excesivas.

2. El Flujo de Trabajo de Seis Fases:

   • Amplitud (3 sesiones): Mapea el corpus para identificar temas de investigación candidatos.
   • Profundidad (5 sesiones): Expande los candidatos en preguntas de investigación específicas con objetivos de reproducción explícitos. Un registro de diversidad asegura direcciones no superpuestas.
   • Piloto (24 sesiones): El motor central de "anclaje". Implica:
     • Selección de Programa (S1): Selecciona una dirección basada en la viabilidad del software (debe ser ejecutable por herramientas de código abierto nombradas).
     • Verificación de Herramientas (S2): Verifica el stack local y carga la base de conocimientos curada.
     • Reproducción (S3): Reproduce 5 artículos publicados como anclajes numéricos.
     • Revisión de Puerta Iterativa: Un ciclo de puertas computacionales seguidas de revisiones adversarias. Si un resultado se desvía de la literatura, el agente debe confrontar la discrepancia. El proceso está limitado por un hiperparámetro (max_pilot_cycle) que fuerza la transición a producción o la terminación si no se logra la convergencia.
   • Pre-producción y Producción: Consolida la receta del piloto en un plan bloqueado y ejecuta las computaciones novedosas.
   • Escritura: Redacta el manuscrito en sesiones de contexto fresco, integrando los hallazgos con la literatura.

3. Definición Operacional de "Anclaje" (Grounding):
   El artículo define el "anclaje" no como la disponibilidad de literatura, sino como la confrontación numérica estructuralmente impuesta. En los puntos de control de calibración, el pipeline fuerza una comparación numérica entre los valores computados por el agente y los valores de referencia publicados. Si los valores no coinciden dentro de la tolerancia (nivel T4: $\leq$ 20% de desviación), el agente debe revisar su metodología o emitir un veredicto de "NO PASA".

Contribuciones Clave

1. Pipeline de Extremo a Extremo: Un sistema que concibe autónomamente una dirección de investigación, calibra la metodología mediante la reproducción, realiza computaciones novedosas de primeros principios y escribe un manuscrito sobre el piezomagnetismo altermagnético.
2. Mecanismo de Anclaje Operacional: La identificación de la etapa de Piloto como el elemento arquitectónico que operacionaliza el anclaje. A través de dos modos de fallo emparejados (una línea base de pre-arquitectura carente de anclaje en la selección de temas y una ablación sin piloto carente de anclaje de ejecución), los autores demuestran que sin la confrontación numérica impuesta, los agentes aceptan temas no anclables o proceden con supuestos no verificados.
3. Primitivas de Tolerancia a Fallos: El sistema emplea aislamiento de contexto fresco, anclaje distribuido y revisión adversaria para capturar errores. En la etapa de piloto, se documentaron 15 "episodios de captura" donde estos mecanismos corrigieron salidas excesivamente confiadas o erróneas.
4. Patrón de Intervención Cuantificado: La intervención humana se limitó a la curación de conocimiento operacional (por ejemplo, añadir una regla de verificación de sanidad o un protocolo de validación de Wannier tras una reproducción fallida) y recuperación de API/muros de pago. Cero decisiones científicas o de parámetros fueron tomadas por humanos.

Resultados
El pipeline produjo un manuscrito de nivel de envío sobre piezomagnetismo altermagnético que contiene tres hallazgos físicos sustantivos:

1. Respuesta Hall anomalía permitida por simetría en MnTe en un ancla de banda de valencia profunda, con una amplitud de meseta de $\alpha = 397$ S/cm.
2. Respuesta piezomagnética orbital en MnTe, produciendo $\Lambda_{orb}^{zxx} = -1.96$ $\mu_B$/celda por unidad de deformación.
3. Respuesta de clase de simetría cruzada en d-wave Lieb CsV$_2$Te$_2$O bajo cizalladura B$_{1g}$, produciendo $\Lambda_{topo} = -24.9$ $\mu_B$/celda por unidad de cizalladura.

El sistema navegó con éxito 2,162 eventos de consulta de literatura a través de 14 canales. Identificó y documentó incertidumbres sistemáticas, tales como una sistemática de truncamiento de base en el ancla de magnetización orbital de MnTe, negándose a certificar la convergencia cuando los datos eran insuficientes (emitiendo veredictos de "NO PASA").

Significancia y Reivindicaciones
El artículo afirma que este trabajo establece una base para la investigación autónoma en dominios científicos de alto riesgo donde la ejecución no proporciona una verdad de referencia.

• Cambio de lo "Plausible" a lo "Anclado": El sistema va más allá de generar texto de apariencia plausible para producir resultados que están estructuralmente forzados a confrontar la realidad externa.
• El Rol del Piloto: El piloto se identifica como el "gran mecanismo de anclaje". Sin él, los agentes o seleccionan temas que no pueden calibrarse (fallo de la línea base de pre-arquitectura) o proceden con métodos no verificados a pesar de tener acceso a valores de referencia (fallo de la ablación sin piloto).
• Incertidumbre Honesta: El valor del pipeline reside en su capacidad para identificar sus propios límites. Al documentar incertidumbres sistemáticas y negarse a certificar la convergencia cuando los anclajes son inconclusos, produce "fallos anclados" que son tratables para futuras iteraciones, en lugar de "misterios ocultos" de alucinación no anclada.
• Aplicabilidad en la Frontera: Aunque los anclajes de frontera actuales son escasos y provisionales (por ejemplo, valores publicados únicos para nuevos fenómenos), la arquitectura trata la consistencia con la literatura como la métrica principal de éxito, reconociendo que esto representa una "exposición medida" en lugar de la verdad absoluta.

El trabajo no pretende reemplazar a los científicos humanos, sino proporcionar un marco de andamiaje y tolerancia a fallos que gestione la carga operativa de la confrontación con la literatura, permitiendo a los investigadores humanos centrarse en la curación del conocimiento y la interpretación de los resultados anclados.