Resumen Técnico: CORE-Bench

Planteamiento del Problema

La reproducibilidad computacional —la capacidad de reproducir los resultados de un estudio científico utilizando el código y los datos proporcionados— es una piedra angular del proceso científico. Sin embargo, a pesar de la amplia disponibilidad de datos y código, una proporción significativa de estudios en diversos campos (incluyendo las ciencias de la computación, la medicina, la economía y la psicología) no logra ser computacionalmente reproducible. Los desafíos incluyen versiones de librerías no especificadas, diferencias arquitectónicas (por ejemplo, ARM frente a x86), incompatibilidades de sistemas operativos y la varianza inherente de los resultados.

Si bien los avances recientes en agentes de IA y sistemas de IA compuestos han mostrado promesas en la automatización de tareas de codificación complejas (por ejemplo, SWE-bench), existe una falta de benchmarks diseñados para evaluar a los agentes en la tarea específica, rutinaria pero crítica, de reproducir investigaciones científicas existentes. Antes de que los agentes puedan ser confiables para llevar a cabo investigación novedosa, primero deben demostrar la capacidad de reproducir fielmente el trabajo existente.

Metodología

Construcción del Benchmark (CORE-Bench)

Los autores presentan CORE-Bench (Benchmark de Agentes de Reproducibilidad Computacional), un conjunto de datos que comprende 270 tareas derivadas de 90 artículos científicos de tres disciplinas: Ciencias de la Computación, Ciencias Sociales y Medicina. Los artículos fueron obtenidos de CodeOcean, una plataforma conocida por albergar cápsulas de investigación reproducible, lo que garantiza la existencia de una verdad fundamental (ground truth) para una reproducción exitosa.

Criterios de Selección:
Los autores filtraron 5,090 cápsulas de CodeOcean utilizando diez criterios para asegurar la viabilidad y la validez de constructo (Tabla 2). Los criterios clave incluyeron:

• Correspondencia con un artículo de acceso público.
• Implementación en Python o R.
• Presencia de un archivo README.
• Tiempo de ejecución inferior a 45 minutos en hardware estándar.
• Baja varianza en los resultados (asegurando salidas deterministas o casi deterministas).
• Tamaño inferior a 10 GB.

Niveles de Dificultad de las Tareas:
Para evaluar un espectro de capacidades de los agentes, los autores crearon tres niveles de dificultad para cada uno de los 90 artículos (Tabla 3):

1. CORE-Bench-Easy: Se le proporciona al agente la salida de código completa de una ejecución exitosa. La tarea consiste puramente en la extracción de información de textos o figuras existentes.
2. CORE-Bench-Medium: Se le proporciona al agente un Dockerfile e instrucciones de texto. El agente debe ejecutar el comando de Docker para reproducir el código y luego extraer los resultados.
3. CORE-Bench-Hard: Se le proporciona al agente únicamente el archivo README. Este debe instalar independientemente las dependencias, determinar el comando de ejecución correcto, ejecutar el código y extraer los resultados. Este nivel imita el escenario del mundo real de reproducir un artículo sin contenedores preempaquetados.

Métricas de Evaluación:

• Precisión (Accuracy): Una tarea se marca como correcta solo si el agente responde correctamente a todas las preguntas asociadas. Las preguntas requieren la extracción de valores específicos (por ejemplo, precisión del modelo, etiquetas de los ejes, coeficientes de correlación) de salidas de terminal, PDFs, HTML o figuras.
• Integración de Visión y Lenguaje: Las tareas incluyen tanto preguntas basadas en texto como preguntas basadas en visión que requieren el análisis de figuras y gráficos.
• Entorno de Evaluación (Evaluation Harness): Para asegurar la imparcialidad y la capacidad de paralelización, los autores construyeron un entorno de evaluación que ejecuta cada par agente-tarea en una Máquina Virtual (VM) aislada. Esto evita que los agentes manipulen el benchmark y permite ejecutar cientos de tareas en paralelo, reduciendo el tiempo de evaluación de ~20 días (secuencial) a ~2 horas.

Agentes de Referencia (Baselines)

Los autores evaluaron dos arquitecturas de agentes utilizando GPT-4o y GPT-4o-mini como los LLMs subyacentes:

1. AutoGPT: Un agente de propósito general con modificaciones mínimas (la adición de una herramienta query_vision_language_model).
2. CORE-Agent: Una variante de AutoGPT específica para la tarea, personalizada para cada nivel de dificultad. Las modificaciones incluyeron:
   • Verificaciones programáticas para asegurar el envío de un report.json correctamente formateado.
   • Sugerencias de prompting específicas (por ejemplo, usar pdftotext para PDFs, priorizar archivos específicos, usar rutas absolutas en lugar de variables de entorno y preinstalar dependencias antes de ejecutar el código).

Resultados Clave

Desempeño General:

• CORE-Agent (GPT-4o) logró el mayor desempeño: 60.00% en tareas Easy, 57.78% en Medium y 21.48% en tareas Hard.
• AutoGPT (GPT-4o) tuvo un desempeño significativamente inferior, particularmente en tareas Hard (6.67%), lo que resalta la necesidad de adaptaciones específicas para la tarea.
• GPT-4o-mini mostró una menor precisión en todos los agentes y niveles de dificultad, pero demostró una relación costo-precisión favorable.

Observaciones Clave:

1. Impacto de las Modificaciones Específicas de la Tarea: Adaptar un agente generalista (AutoGPT) con prompts y restricciones específicos (CORE-Agent) produjo mejoras masivas, especialmente para modelos más débiles (por ejemplo, GPT-4o-mini mejoró del 8.89% al 44.44% en tareas Easy).
2. Gradiente de Dificultad: El desempeño cayó significamente a medida que aumentaba la dificultad, confirmando que la gestión de dependencias y la ejecución de comandos (nivel Hard) siguen siendo los principales cuellos de botella.
3. Diferencias de Modalidad: Los agentes se desempeñaron significativamente mejor en preguntas basadas en texto (87.88% en Easy) que en preguntas basadas en visión (59.26% en Easy), teniendo dificultades para identificar figuras relevantes entre múltiples salidas.
4. Diferencias de Lenguaje: Las tareas de Python fueron significativamente más fáciles de reproducir que las de R, debido en parte a la complejidad de procesar manuscritos PDF generados por R y a los tiempos de instalación de dependencias más largos.
5. Modos de Fallo: Los fallos comunes incluyeron:
   • Recuperar información de la figura o el archivo incorrecto.
   • Ignorar las instrucciones de Docker e intentar una reproducción manual (lo que lleva a límites de contexto).
   • Quedarse atrapados en bucles de instalación de dependencias (nivel Hard).
   • Intentar acceder a sitios web externos (por ejemplo, CodeOcean) que requieren renderizado de JavaScript, algo que los agentes no pudieron manejar.

Significancia y Reivindicaciones

El artículo postula que reproducir la investigación existente es un prerrequisito necesario para construir agentes capaces de realizar investigación científica novedosa. Los autores afirman que:

1. Viabilidad de la Automatización: Aunque la automatización total de la reproducibilidad computacional es actualmente difícil (21% de precisión en las tareas más difíciles), no es imposible. Las modificaciones simples y específicas de la tarea en agentes generalistas pueden generar ganancias sustanciales de desempeño.
2. Utilidad de CORE-Bench: El benchmark proporciona un entorno estandarizado, realista y desafiante para medir el progreso de los agentes. Cubre un conjunto diverso de habilidades que incluyen codificación, interacción con la terminal, recuperación e interpretación de visión-lenguaje.
3. Aplicación en el Mundo Real: Los agentes exitosos podrían asistir a los autores en la verificación de la reproducibilidad antes de la publicación, ayudar a investigadores independientes a replicar estudios y ayudar a los editores de revistas a evaluar los envíos.
4. Seguridad y Salvaguardas: El estudio destaca la necesidad de mejores salvaguardas para evitar que los agentes tomen acciones inseguras o inesperadas (por ejemplo, crear miles de cuentas o fallar al renderizar sitios que dependen de JavaScript) cuando se despliegan en flujos de trabajo científicos reales.

Los autores concluyen que, si bien el estado actual de los agentes deja un "amplio margen de mejora", CORE-Bench sirve como un paso fundacional para impulsar el desarrollo de agentes de investigación confiables y mejorar el estado general de la reproducibilidad computacional en la ciencia.