Resumen Técnico: SAGE – Investigación Autónoma Autocorrectiva mediante la Atribución de Fallos de Múltiples Hipótesis

1. Planteamiento del Problema

Los agentes de investigación autónomos han avanzado hasta el punto en que pueden redactar hipótesis, escribir código, ejecutar experimentos y generar artículos. Sin embargo, estos sistemas siguen siendo frágiles cuando los experimentos fallan. Bajo el paradigma prevaleciente, la recuperación de fallos depende de la reflexión monolítica (heredada de marcos como Reflexion y Self-Refine), donde una rica trayectoria de métricas, registros y decisiones de diseño se comprime en una única crítica verbal.

Este enfoque crea dos modos de fallo primarios:

1. Ensayo y Error Localizado: Los agentes ajustan repetidamente los hiperparámetros o realizan correcciones menores en diseños fundamentalmente defectuosos porque atribuyen erróneamente la causa raíz.
2. Pivotes Drásticos (Hard Pivots): Los agentes descartan la evidencia acumulada y reinician el flujo de trabajo por completo, a menudo pivotando hacia una nueva hipótesis cuando el problema era simplemente un error de implementación o un desalineamiento de diseño.

La dificultad central es la asignación de crédito estructural: una curva de aprendizaje plana o un error de tiempo de ejecución pueden derivar de una hipótesis débil, un diseño de evaluación desalineado o un defecto de código. La reflexión monolítica colapsa esta ambigüedad causal multinivel en una sola conjetura, lo que a menudo lleva a los agentes a corregir el síntoma más saliente mientras pasan por alto el problema metodológico más profundo.

2. Metodología: SAGE y MHFA

Los autores proponen SAGE (Self-correcting, Autonomous, Grounded Experimenter), un sistema que reemplaza la reflexión monolítica con un flujo de recuperación estructurado y de múltiples etapas. La innovación central es la Atribución de Fallos de Múltiples Hipótesis (MHFA), que operacionaliza el método científico de las "múltiples hipótesis de trabajo" y la "inferencia fuerte".

2.1 Contexto de Fallo Estructurado

Antes del diagnóstico, SAGE construye un contexto de fallo estructurado ($C_{fail}$) que comprende:

• Conocimiento ($K$): El stack semántico que incluye la hipótesis actual, la configuración de diseño y un resumen del código ejecutado.
• Trayectoria ($T$): Generada por TrajPivot, un detector de estancamiento de asesoría. Este normaliza las métricas y calcula características como el decaimiento marginal ($D$) y la pendiente de regresión ($S$) para proporcionar firmas formales de los modos de fallo (por ejemplo, estancamiento de mejora vs. inestabilidad).

2.2 El Proceso de Diagnóstico MHFA

MHFA ejecuta un proceso de tres etapas para diagnosticar fallos:

1. Generación Causal Divergente: Un agente con un rol de "investigador sénior" genera $K \in [3, 5]$ explicaciones distintas y fundamentadas en evidencia para el fallo. Estas explicaciones se categorizan como Método (método central poco sólido) o Diseño (protocolo experimental desalineado). Los fallos de implementación de bajo nivel (por ejemplo, ejecuciones con métricas en cero) se gestionan mediante una ruta de reparación explícita separada antes de invocar MHFA.
2. Clasificación de Severidad de Fallo: Un crítico independiente con un rol "escéptico" audita la solidez lógica de cada hipótesis frente a la evidencia citada. Asigna una puntuación de criticidad ($s^* \in [0, 1]$) y rectifica la categoría si es necesario.
3. Enrutamiento Determinista: Una regla simbólica fija $\pi(c^*, s^*)$ mapea la causa raíz verificada a una intervención consciente de la jerarquía.
   • Puertas de Severidad de Profundidad: Las puntuaciones bajas activan el refinamiento local; las altas activan el refinamiento estructural o los pivotes.
   • La Categoría Selecciona el Nivel: Las causas de Diseño dirigen hacia el rediseño del protocolo; las causas de Método dirigen hacia el refinamiento del método o el pivote de la hipótesis.
   • Fundamentación de Suficiencia de Datos (Verdict Clamp): Para evitar descartar resultados válidos pero débiles, se aplica un umbral de confianza ($\kappa_0 = 0.6$). Si un resultado es "Válido" pero débil, el enrutador degrada una acción de "Pivote" a una de "Refinamiento", preservando los hallazgos negativos honestos.

2.3 Reporte Fundamentado

Para asegurar la honestidad científica, SAGE emplea un mecanismo de reporte de dos etapas que restringe las tablas numéricas a los valores medidos:

1. Manifiesto Proactivo: Se deriva una lista blanca de datos permisibles del mejor resumen del experimento y se inyecta en el prompt de redacción.
2. Sanitizador Reactivo: Una verificación post-redacción compara cada celda de las tablas numéricas contra un registro de valores medidos empíricamente. Los valores no verificados se reemplazan con un centinela de redacción (---).
   Nota: Este mecanismo se dirige específicamente a las tablas numéricas y no verifica automáticamente las afirmaciones a nivel de prosa sobre librerías, conjuntos de datos o arquitecturas de modelos, una brecha que los autores identifican como un desafío pendiente.

3. Contribuciones Clave

1. Reencuadre de la Reflexión: El artículo desplaza la reflexión del agente de una crítica verbal de cadena única a un marco de atribución de múltiples hipótesis. Al estructurar la atribución causal, MHFA preserva las explicaciones competidoras antes de comprometerse con una reparación.
2. Enrutamiento Consciente de la Jerarquía: El sistema desacopla el diagnóstico de la acción. Una regla determinista mapea las causas estructurales verificadas a intervenciones en el nivel de abstracción apropiado (Hipótesis, Diseño o Implementación), evitando la deriva semántica.
3. Validación Empírica: Los autores demuestran que SAGE mejora significamente la tasa de recuperación de experimentos con métricas y produce artefactos de mayor calidad en comparación con las bases de reflexión y AI-Scientist-v2.

4. Resultados Experimentales

El sistema fue evaluado en un benchmark de 12 temas que abarca cinco dominios (Aprendizaje Automático, Estadística, Computación Cuántica, Biología y Física de Altas Energías).

• Tasa de Recuperación: SAGE aumentó la producción de salidas con métricas del 42% (5/12 temas) en la base de reflexión al 92% (11/12 temas).
• Calidad del Artefacto: Bajo una evaluación ciega y uniforme de los artefactos completos:
  • SAGE: 52.0/100
  • AI-Scientist-v2: 48.2/100
  • Base de Reflexión: 24.8/100
    Las ganancias se concentraron en Desarrollo de Código (67.5 vs. 58.3) y Ejecución de Código (62.5 vs. 51.7).
• Evaluación Humana: Tres revisores de doctorado en ML calificaron a SAGE como el más alto (5.67/10) comparado con AI-Scientist-v2 (4.72) y la base (3.00), acreditando a SAGE por sus diseños controlados y el aislamiento explícito de variables de confusión.
• Ablación: Eliminar los componentes de MHFA (generación divergente o el crítico independiente) degradó significamente el rendimiento, confirmando que la estructura de múltiples hipótesis, y no solo la ruta de reparación, es lo que impulsa una recuperación fiable.

5. Significado y Reivindicaciones

El artículo afirma que SAGE establece una base altamente confiable para la investigación autónoma futura al acoplar la recuperación estructurada con restricciones de fundamentación explícitas.

• Cambio de Cuello de Botella: Los autores argumentan que una vez que la recuperación estructurada (vía MHFA) hace que los experimentos autónomos sean ejecutables y empíricamente medibles de manera fiable, los límites fundamentales de la autonomía se desplazan hacia los procesos posteriores. Específicamente, la implementación fiel y la fundamentación de procedencia de métodos (verificar que las afirmaciones a nivel de prosa coincidan con el código ejecutado) han emergido como las fronteras críticas abiertas.
• Honestidad Científica: Al redactar explícitamente los números alucinados y negarse a fabricar resultados cuando faltan métricas, SAGE prioriza la integridad sobre la apariencia de éxito.
• Alcance Modesto: Los autores declaran explícitamente que, aunque SAGE produce artefactos significativamente más fiables, la escritura científica totalmente autónoma y la generación de artículos listos para conferencias siguen siendo problemas abiertos notoriamente difíciles. El sistema mejora la fiabilidad del proceso de investigación, pero aún no resuelve el problema de producir una prosa de calidad de publicación que se alinee perfectamente con las complejas afirmaciones metodológicas.

En resumen, SAGE demuestra que pasar de la reflexión monolítica al diagnóstico causal estructurado de múltiples hipótesis permite a los agentes autónomos escapar de los óptimos locales, recuperarse de fallos experimentales profundos y reportar resultados con un nivel de honestidad y fundamentación nunca antes visto en el campo.