Resumen Técnico: MLReplicate: Evaluación de Sistemas de Investigación Autónomos para la Reproducibilidad en Aprendizaje Automático

Enunciado del Problema

Aunque los sistemas de investigación autónomos capaces de generar manuscritos científicos completos han avanzado rápidamente, los marcos de evaluación robustos y realistas no han logrado seguir el ritmo. Las pruebas de referencia existentes abordan típicamente etapas aisladas del ciclo de vida de la investigación, como la generación de ideas, la ejecución experimental o la reproducción de código, en lugar de la tubería completa de extremo a extremo. Además, las evaluaciones actuales a menudo dependen de jueces basados en Modelos de Lenguaje Grande (LLM) cuya alineación con el juicio de expertos humanos se comprende mal, lo que dificulta distinguir contribuciones científicas genuinas de resultados plausibles pero superficiales. Adicionalmente, prácticamente todas las pruebas de referencia existentes evalúan la calidad del resultado de forma aislada de factores de implementación práctica, como el costo computacional, el tiempo de ejecución y el grado de intervención humana requerido, los cuales son críticos para determinar la viabilidad en el mundo real.

Metodología

Para abordar estas brechas, los autores introducen MLReplicate, una prueba de referencia de extremo a extremo diseñada para evaluar sistemas de investigación autónomos en la reproducibilidad del aprendizaje automático.

Construcción del Conjunto de Datos

La prueba de referencia se construye a partir de 8 artículos destacados de ICML 2025 que abarcan diversos subcampos (aprendizaje profundo, modelado probabilístico, modelos generativos, equidad y meta-ciencia). Cada artículo se reformula en una "especificación de verdad fundamental" estandarizada, abstrayendo el manuscrito original en un conjunto de hipótesis, diseños experimentales, métricas de evaluación y hallazgos clave. Esta especificación sirve como entrada canónica para todos los sistemas aguas abajo, asegurando restricciones idénticas mientras omite intencionalmente decisiones de diseño implícitas para reflejar las condiciones de investigación del mundo real donde la información a menudo es incompleta.

Sistemas Evaluados

Se evaluaron seis sistemas de investigación autónomos de última generación, produciendo un total de 45 manuscritos generados:

1. AI SCIENTIST-V1 (Flujo de trabajo secuencial)
2. AI SCIENTIST-V2 (Búsqueda en árbol agéntica)
3. AGENT LABORATORY (Multiagente con retroalimentación humana opcional)
4. CYCLERESEARCHER (LLM ajustados finamente enfocados en escritura y revisión)
5. AI RESEARCHER (Marco agéntico unificado)
6. TINY SCIENTIST (Flujo de trabajo secuencial)

Protocolo de Evaluación

La evaluación emplea un enfoque de doble protocolo:

1. Revisión Automatizada Estilo Conferencia: Las 37 presentaciones válidas (después de filtrar 3 experimentos fallidos y 8 artículos rechazados en el escritorio por longitud insuficiente) fueron evaluadas por tres modelos revisores automatizados (DeepReviewer, ZGCA y SafeReviewer) a través de la tubería de la 1ª Conferencia Internacional de Científicos de IA (ICAIS 2025).
2. Evaluación Humana Estructurada por Expertos: Los 10 artículos aceptados por la tubería automatizada fueron sometidos a revisión independiente por tres expertos humanos con experiencia en investigación de aprendizaje automático a nivel de posgrado. Los revisores evaluaron seis dimensiones (calidad técnica, claridad, significancia, originalidad, formato, relevancia de citas) en una escala de 4 puntos, proporcionaron juicios binarios sobre alucinaciones y ofrecieron una recomendación general en una escala de 6 puntos.

Métricas Operacionales

El estudio rastrea sistemáticamente el costo computacional (USD), el tiempo de ejecución (tiempo real), el uso de tokens (entrada/salida) y el grado de intervención humana requerido para el postprocesamiento (formato, alineación de citas, compilación LaTeX).

Resultados Clave

Tasa de Aceptación y Calidad

• Bajas Tasas de Aceptación: Solo 10 de 37 presentaciones válidas fueron aceptadas por la tubería de revisión automatizada. AGENT LABORATORY representó 5 de estas aceptaciones, mientras que AI SCIENTIST-V2 recibió cero aceptaciones.
• Crítica Humana: Los revisores humanos fueron significativamente más críticos que la tubería automatizada. En todos los sistemas, las calificaciones generales promedio cayeron en el rango de "rechazo marginal a rechazo". Ningún sistema produjo resultados considerados confiablemente listos para publicación por expertos humanos.
• Alucinaciones: Se identificó una alucinación generalizada, con el 59% de todas las evaluaciones conteniendo afirmaciones fabricadas o no respaldadas. Específicamente, el 100% de las presentaciones de AI RESEARCHER y el 67% de las presentaciones de TINY SCIENTIST contenían alucinaciones.
• Defectos Metodológicos: Los revisores humanos identificaron consistentemente inconsistencias metodológicas, como evaluaciones realizadas exclusivamente en conjuntos de datos sintéticos, marcadores de posición de plantillas sin resolver (por ejemplo, [Nombre del Conjunto de Datos]) y referencias a módulos de código inexistentes.

Correlación entre Juicio Automatizado y Humano

• Correlación General Débil: La correlación entre las calificaciones generales automatizadas y humanas fue débil y estadísticamente no significativa (Pearson r = +0.29).
• Nuance Dimensional: Surgieron correlaciones moderadas a fuertes para dimensiones específicas: Solidez (r = +0.77) y Significancia/Contribución (r = +0.84). Sin embargo, Claridad/Presentación permaneció no significativa. Esto sugiere que los revisores automatizados pueden capturar dimensiones subyacentes específicas pero fallan en traducirlas en evaluaciones holísticas alineadas.

Costo vs. Calidad

• Ningún Poder Predictivo del Cómputo: Ni el presupuesto de tokens ni el costo computacional predicen la calidad del resultado.
• Paradoja de Eficiencia: El sistema más barato y rápido (CYCLERESEARCHER) y el sistema más intensivo en recursos (AI RESEARCHER, requiriendo ~38 veces más tokens de entrada y costos significativamente más altos) no mostraron una relación lineal con la calidad. En la evaluación humana, el sistema más intensivo en recursos no superó a las alternativas más eficientes.
• El Diseño Importa: Los resultados indican que el diseño del flujo de trabajo de investigación autónoma importa más que la escala bruta del cómputo.

Significancia y Afirmaciones

El artículo afirma que MLReplicate establece un marco de evaluación práctico y extensible para el progreso sistemático hacia el descubrimiento científico impulsado por IA confiable. Sus contribuciones principales son:

1. Una Prueba de Referencia Unificada: Es el único marco que evalúa conjuntamente múltiples sistemas de investigación autónomos a través de múltiples criterios (ideación, experimentación, implementación, escritura y revisión) dentro de un único entorno estandarizado.
2. Protocolo de Doble Evaluación: Al combinar la revisión automatizada estilo conferencia con la evaluación humana estructurada por expertos, permite el análisis sistemático del acuerdo y la divergencia entre el juicio de la IA y el humano.
3. Verificación de la Realidad Operativa: Destaca que los sistemas actuales de investigación autónoma exhiben una brecha sustancial entre su capacidad para generar manuscritos y el rigor científico genuino. La presencia generalizada de alucinaciones e inconsistencias metodológicas sugiere que estos sistemas aún no están listos para la contribución científica autónoma sin una supervisión humana significativa.
4. Perspectivas de Eficiencia: El estudio desafía la suposición de que un aumento en el cómputo o los presupuestos de tokens conduce a mejores resultados científicos, demostrando que el diseño efectivo de la tubería es un factor más crítico que la escala bruta de recursos.

Los autores posicionan a MLReplicate como un paso fundamental hacia una evaluación basada en principios y fundamentada en la reproducibilidad, enfatizando la necesidad urgente de progreso continuo en el razonamiento de largo horizonte, el rigor experimental y el control de alucinaciones para cerrar la brecha entre la generación autónoma y la contribución científica genuina.