Resumen Técnico: AutoResearch

Planteamiento del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) generan cada vez más código, recuperan literatura y redactan artefactos científicos, pero con frecuencia fallan al cerrar el bucle de validación. Específicamente, los agentes a menudo no pueden verificar si los experimentos generados se ejecutan correctamente o si las fuentes citadas respaldan genuinamente las afirmaciones generadas. Sistemas previos, como SWE-agent y AutoGPT, utilizan la ejecución para la depuración o la producción de resultados, pero no enmarcan explícitamente la evidencia en tiempo de ejecución como una señal de eliminación compartida entre el código, las citas y las afirmaciones del manuscrito. Esta brecha conduce a artefactos de investigación que pueden estar operativamente rotos o bibliográficamente alucinados.

Metodología: El Marco de Trabajo AutoResearch

AutoResearch es un marco de trabajo multi-agente basado en la ejecución, diseñado para automatizar flujos de trabajo de investigación con un enfoque en la fiabilidad en lugar de la el descubrimiento científico totalmente autónomo. Trata la ejecución no meramente como una herramienta para la producción de resultados, sino como una restricción de validez de la hipótesis.

Arquitectura Central

El sistema opera mediante un flujo de trabajo de 23 etapas impulsado por configuración, gestionado por un Orquestador con transiciones de estado explícitas (PENDING → RUNNING → FAILED → DONE). La arquitectura consta de diez capas:

1. Orquestador: Una máquina de estados determinista que gestiona el flujo de 23 etapas a través de 8 fases.
2. Control Impulsado por Configuración: Todos los comportamientos se rigen por configuraciones YAML, lo que garantiza la reproducibilidad y la capacidad de conexión (pluggability).
3. Subsistemas Multi-Agente: Agentes especializados que operan bajo el orquestador:
   • CodeAgent: Genera scripts y realiza la autocuración analizando trazas de error.
   • BenchmarkAgent: Recupera líneas base mediante RAG y computa deltas de rendimiento.
   • FigureAgent: Genera visualizaciones a partir de registros (logs).
   • ReviewAgents: Tres agentes independientes critican los borradores, con la retroalimentación final determinada por voto de mayoría.
4. Herramientas y Entorno: Los agentes ejecutan experimentos de Python en entornos aislados de Docker o E2B, instalando dependencias y generando artefactos en LaTeX, PNG y CSV.
5. Conocimiento y Recuperación: Utiliza RAG estructurado para recuperar de arXiv, Semantic Scholar y OpenAlex, construyendo tarjetas de conocimiento y eliminando duplicados.
6. Capa de Verificación (Núcleo Anti-Alucinación): Un proceso de verificación de citas de cuatro pasos (validación de ID de arXiv, búsqueda de DOI/CrossRef, coincidencia con Semantic Scholar y puntuación de relevancia basada en LLM) que debe superar todas las comprobaciones antes de que una cita sea aceptada.
7. Bucle de Experimentación (Núcleo de Automejora): Un bucle de autocuración donde el CodeAgent repara el código basándose en trazas de error y memoria de sesión, reejecutando inmediatamente en el entorno aislado (sandbox).
8. Motor de Decisión: Un controlador heurístico (PIVOT/REFINE/PROCEED) que decide si proceder, refinar el intento actual o pivotar basándose en desviaciones de métricas y contradicciones.
9. Escritura y Publicación: Genera manuscritos completos en LaTeX (5,000–6,500 palabras) sección por sección, extrayendo planteamientos del problema y resultados de la memoria almacenada.
10. Autoevolución (MetaClaw): Un mecanismo que almacena habilidades derivadas de fallos (disparador, lección, inyección) e las inyecta en ejecuciones futuras para reducir la exploración redundante de hipótesis.

Principios de Diseño

• La Ejecución Expone Inconsistencias: La ejecución en entornos aislados sirve como la prueba principal de validez operativa, convirtiendo los fallos en señales de reparación accionables.
• La Verificación Filtra Afirmaciones No Respaldadas: Una capa dedicada filtra citas no respaldadas y texto con exceso de afirmaciones antes de que entren en el artefacto final.
• El Control de Decisión Reduce los Reintentos Desperdiciados: El controlador heurístico coordina la ejecución, la reparación y la escritura para minimizar los reintentos improductivos.

Contribuciones Clave

1. Contribución de Sistemas: La presentación de AutoResearch, un marco que acopla la ejecución en entornos aislados, la reparación iterativa, la verificación de citas, el control de decisiones y la generación de artefactos estructurados.
2. Patrón de Fiabilidad Basado en la Ejecución: Un patrón de diseño que utiliza los fallos en tiempo de ejecución, los fallos de verificación de citas y la retroalimentación de los agentes de revisión como señales de filtrado. Esto busca mejorar la fiabilidad del flujo de trabajo, no garantizar la corrección científica.
3. Contribución Empírica: Evaluación en generación de código, código científico, validación de citas y tareas de flujo de trabajo de extremo a extremo, demostrando mejoras bajo protocolos controlados mientras se reconocen las limitaciones en la fiabilidad del entorno y la novedad abierta.

Resultados Experimentales

Las evaluaciones se realizaron en HumanEval, MBPP, un subconjunto de SciCode, tareas de validación de citas y una pequeña prueba de estrés de extremo a extremo (CrossDomain-15).

• Validez de Citas: El verificador interno de cuatro pasos redujo el proxy de error de soporte de citas automatizado del 34% al 2%. La anotación externa de 500 citas confirmó una tasa de citas inválidas del 3.5% para AutoResearch, comparada con un 31% para una línea base de Agente de Herramientas sin verificación.
• Éxito de Ejecución: AutoResearch logró una tasa de éxito de ejecución del 79% en entornos aislados, superando a las líneas base como Vanilla LLM (41%) y ReAct (55%).
• Completitud de Tareas: En el flujo de trabajo de extremo a extremo CrossDomain-15, AutoResearch logró una tasa de completitud del 73.3% (11/15 tareas), significativamente superior al Tool-Agent (52%) y SWE-agent (56%).
• Auditoría de Soporte de Afirmaciones: En una auditoría de 500 pares de afirmación-cita locales, AutoResearch aumentó los pares directamente respaldados al 78% (frente al 38% de solo RAG) y redujo los casos de afirmaciones no respaldadas o fuentes incorrectas al 10% (frente al 37%).
• Estudios de Ablación: Eliminar la capa de verificación redujo la completitud al 48%; eliminar la ejecución en sandbox la redujo al 40%; eliminar MetaClaw redujo la completitud al 62%. Esto confirma la naturaleza complementaria de la ejecución y la verificación.

Significado y Alcance

El artículo posiciona a AutoResearch como un asistente de investigación orientado a la fiabilidad, declarando explícitamente que no es un científico totalmente autónomo ni un benchmark de calidad de manuscrito independiente.

• Alcance de las Afirmaciones: El sistema verifica la ejecutabilidad operativa y reduce las alucinaciones bibliográficas, pero no establece la novedad científica ni la corrección de todas las afirmaciones del manuscrito.
• Limitaciones: Los autores señalan que la configuración errónea del entorno sigue siendo la categoría de fallo más grande (75% de los fallos registrados). El sistema tiene dificultades con la búsqueda creativa de puertas abiertas (por ejemplo, inventar algoritmos novedosos) y es más adecuado para validar y refinar flujos de trabajo candidatos.
• Conclusión: Los resultados respaldan el valor de acoplar señales de ejecución y verificación para mejorar la fiabilidad de los artefactos de investigación generados. Sin embargo, desafíos relacionados con la fiabilidad del entorno, la revisión científica completa a nivel de afirmación y la novedad científica de puertas abiertas permanecen abiertos.