Can AI Evaluate AI Scientists? A Benchmarking Study of Autonomous Research Generation Systems Using Automated Multi-Model Review

Resumen Técnico: Evaluación Comparativa de Sistemas de Generación de Investigación Autónoma

Planteamiento del Problema
La rápida proliferación de sistemas de "Científico de IA"—pipelines autónomos capaces de generar artículos de investigación a partir de propuestas de problemas con una supervisión humana mínima—ha superado el desarrollo de metodologías de evaluación rigurosas. Mientras que sistemas como The AI Scientist, CycleResearcher y Data-to-Paper prometen democratizar y acelerar el descubrimiento científico, no existe un marco estandarizado para comparar la calidad de sus resultados. La revisión por pares humana tradicional es prohibitivamente costosa a escala, y los métodos de evaluación automatizados existentes tienen dificultades para evaluar la naturaleza multidimensional de la investigación científica (originalidad, rigor, claridad y significancia) a través de diversos marcos. Este estudio aborda la brecha crítica en la evaluación comparativa sistemática de estos sistemas autónomos para determinar qué arquitecturas producen investigación más cercana a los estándares de calidad establecidos.

Metodología
Los autores llevaron a cabo un estudio de evaluación comparativa riguroso y de extremo a extremo que involucra cuatro de los principales marcos de Científico de IA autónomo:

1. Sakana AI (v1 y v2): Pipelines de extremo a extremo que utilizan ejecución secuencial lineal (v1) y búsqueda de árbol agéntica con retroalimentación de lenguaje y visión (v2).
2. CycleResearcher: Un marco iterativo que integra un Agente Investigador y un Agente Revisor, entrenado mediante aprendizaje por refuerzo sobre conjuntos de datos de revisión por pares.
3. Data-to-Paper: Un flujo de trabajo centrado en los datos que acepta conjuntos de datos empíricos como entrada para generar hipótesis y manuscritos.
4. FARS (Sistema de Investigación Totalmente Automatizado): Un sistema multi-agente que sirve como referencia de evaluación, utilizando agentes especializados para la ideación, planificación, experimentación (con acceso a 160 GPUs NVIDIA) y escritura.

Protocolo Experimental:

• Estandarización de Entradas: Todos los sistemas fueron evaluados sobre un conjunto consistente de 15 propuestas de investigación del dataset FARS. Para acomodar los requisitos de entrada distintos de Data-to-Paper (que requiere conjuntos de datos en lugar de especificaciones de problemas), se desarrollaron wrappers personalizados para extraer y preprocesar los conjuntos de datos empíricos asociados de repositorios de GitHub.
• Generación de Resultados: Cada marco generó artículos para las 15 propuestas. Sakana v1 y v2 generaron múltiples ideas por propuesta, que posteriormente fueron fusionadas en artículos consolidados únicos utilizando un sistema de reconciliación basado en LLM. Esto resultó en 60 artículos de los cuatro marcos más 15 artículos de referencia de FARS (75 en total).
• Evaluación Automatizada: Los autores emplearon un marco de evaluación multi-modelo utilizando tres modelos de lenguaje extensos (LLM) de frontera como revisores independientes: GPT-5.4, Gemini 3.1 Pro y Claude Opus 4.6.
• Dimensiones de Evaluación: Los artículos fueron puntuados en una escala de 1 a 5 a través de cuatro dimensiones centrales: Originalidad (novedad de las contribuciones), Rigor Científico (solidez metodológica), Claridad (calidad de la exposición) y Significancia (potencial impacto). También se computó una puntuación de síntesis.

Resultos Clave

1. Brecha de Rendimiento: Los artículos de referencia de FARS superaron significativamente a los marcos competidores. FARS logró puntuaciones de síntesis media de 2.14–2.47 (en una escala de 1 a 5) a través de los tres modelos revisores. En contraste, los sistemas competidores puntuaron entre 1.00 y 1.87. Notablemente, las puntuaciones de FARS fueron más de 2 veces superiores a las de los siguientes mejores sistemas en las evaluaciones de Gemini y Claude.
2. Consistencia de los Revisores: Hubo un fuerte acuerdo entre los revisores de Gemini y Claude (correlación de Spearman $\rho = 0.907, p < 0.001$), y ambos correlacionaron extremadamente fuerte con la puntuación de síntesis ($\rho = 0.961$). Sin embargo, GPT-5.4 exhibió un acuerdo más débil ($\rho \approx 0.32$) con los otros revisores, lo que sugiere que utiliza criterios de evaluación diferentes.
3. Análisis Dimensional: FARS demostró un rendimiento superior en todas las dimensiones, particularmente en Claridad (2.87 vs. 1.60 para el mejor competidor, CycleResearcher). Un estudio de caso sobre "Evaluación de Agentes Web" (Propuesta FA0006) destacó que FARS operacionalizó metodologías concretas con éxito, mientras que los competidores produjeron artículos con "metodología poco desarrollada" o "fallos conceptuales mayores".
4. Compromiso entre Eficiencia y Calidad: Aunque FARS fue el de mayor calidad, no fue incluido en la comparación de costos ya que fue pre-generado. Entre los marcos competidores, CycleResearcher fue el más rápido (10 minutos/artículo) pero tuvo puntuaciones de calidad más bajas. Data-to-Paper fue el más rentable ($9/artículo), mientras que Sakana v2 fue el más lento y costoso ($26/artículo). El estudio encontró que los sistemas más rápidos y económicos subdesempeñaron sistemáticamente en la calidad de los artículos.

Contribuciones Clave

• Primera Evaluación Rigurosa: Este artículo presenta la primera evaluación comparativa cuantitativa de los principales sistemas de Científico de IA, evaluando cuatro marcos líderes sobre propuestas de investigación idénticas contra un estándar de referencia de alta calidad.
• Marco de Evaluación Escalable: Los autores introducen un marco práctico de evaluación por LLM multi-modelo que evalúa artículos de investigación a través de cuatro dimensiones centrales, proporcionando tanto puntuaciones cuantitativas como retroalimentación cualitativa dentro de 15–30 minutos por artículo.
• Evidencia Cuantitativa de Brechas: El estudio proporciona evidencia empírica de que los marcos competidores actuales (Sakana, CycleResearcher, Data-to-Paper) rezagan significativamente respecto al benchmark de FARS, con brechas de rendimiento que superan las 2 veces en métricas clave.
• Validación de la Revisión Automatizada: La fuerte correlación entre revisores de LLM independientes (Gemini y Claude) valida la confiabilidad de la evaluación automatizada para evaluar la calidad de la investigación autónoma, ofreciendo una alternativa escalable a la revisión por pares humana.

Significancia
El artículo establece un benchmark fundacional para el campo del descubrimiento científico autónomo. Al demostrar que los marcos actuales de Científicos de IA producen resultados que son sustancialmente inferiores en calidad a un sistema de referencia multi-agente maduro (FARS), el estudio resalta las limitaciones actuales de la investigación totalmente autónoma. Los resultados sugieren que, si bien estos sistemas muestran promesa, aún no están listos para generar investigación de calidad de publicación sin una supervisión humana sustancial. Además, la validación de la evaluación multi-modelo de LLM proporciona una herramienta necesaria para la mejora iterativa de estos sistemas, permitiendo a los desarrolladores identificar debilidades sistemáticamente y refinar las arquitecturas. El trabajo subraya el compromiso crítico entre la eficiencia computacional y la calidad de la investigación, informando decisiones de despliegue futuras en entornos con recursos limitados.