Resumen Técnico: ReproRepo

Planteamiento del Problema

La reproducción de resultados de investigación es fundamental para el progreso científico, pero la verificación de hallazgos y la construcción sobre trabajos previos a menudo requiere navegar por combinaciones complejas de artículos, código, datos y artefactos experimentales. Aunque los agentes de Modelos de Lenguaje Extensos (LLM) muestran una gran promesa para automatizar aspectos de la reproducibilidad, los benchmarks de evaluación existentes enfrentan un cuello de botella crítico de escalabilidad. Los enfoques previos dependen en gran medida de un esfuerzo manual sustancial para la curación de datos, preguntas curadas por expertos, preparación de artefactos y evaluación manual. En consecuencia, estos conjuntos de datos suelen cubrir menos de 100 artículos, presentan frecuentemente solo artefactos de alta calidad y tienen dificultades para mantenerse relevantes en el panorama de investigación de rápido cambio debido a la dificultad de actualizarlos.

Metodología: El Marco de Trabajo ReproRepo

Para abordar la escalabilidad, los autores introducen ReproRepo, un marco para la evaluación escalable, realista y fácilmente actualizable de agentes de LLM en auditoría de reproducibilidad. La innovación central es el aprovechamiento de los GitHub issues como señales de supervisión humana que ocurren de forma natural. En lugar de que los expertos diseñen tareas manualmente o inyecten errores, Repro-Repo trata los problemas reportados por los usuarios como evidencia de bloqueadores de reproducción del mundo real.

Construcción de Datos

El marco construye un benchmark a partir de tres fuentes primarias:

1. Artículos de Conferencias: Artículos aceptados en las principales conferencias de aprendizaje automático (NeurIPS 2022/2024, ICLR 2026).
2. Repositorios de GitHub: Bases de código vinculadas a estos artículos.
3. GitHub Issues: Problemas (issues) tanto abiertos como cerrados reportados por usuarios que intentan reproducir el trabajo.

El pipeline de datos implica filtrar los artículos para retener solo aquellos con repositorios utilizables y al menos un problema relacionado con la reproducibilidad. Para la evaluación, el sistema construye instantáneas de repositorio (snapshots) específicas:

• Issues Abiertos: El estado del repositorio en el momento de la recolección.
• Issues Cerrados: El estado del repositorio inmediatamente antes de la creación del problema (pre-fix), asegurando que los agentes evalúen el código tal como un usuario lo habría visto al encontrar el problema.
• Instantáneas Post-Fix: Para los issues cerrados con parches, se recupera un estado post-fix para servir como conjunto de validación para medir falsos positivos (es decir, asegurar que los agentes no reporten problemas que ya han sido resueltos).

Tarea y Protocolo del Agente

La evaluación se centra en un entorno de inspección estática de bajo cómputo. A los agentes se les proporciona el PDF del artículo y una instantánea del repositorio, pero se les prohíbe estrictamente:

• Ejecutar código o configurar entornos.
• Acceder a internet, APIs externas o metadatos ocultos del benchmark.
• Ver los GitHub issues reales utilizados para la verdad de terreno (ground truth).

Los agentes tienen la tarea de realizar una auditoría estática para predecir posibles bloqueadores de reproducibilidad, emitiendo una lista clasificada de hallazgos ordenada por la probabilidad estimada de que un usuario los encuentre.

Métricas de Evaluación

Las predicciones de los agentes son evaluadas por un juez de LLM separado contra los issues reportados por humanos ocultos. La evaluación utiliza tres etiquetas:

• Coincidencia Exacta (Exact Match - EM): El hallazgo identifica el mismo problema práctico y disparador.
• Coincidencia Semántica (Semantic Match - SM): El hallazgo identifica un bloqueador semánticamente relacionado con un traslape concreto pero especificidad incompleta (por ejemplo, el mismo pipeline pero un punto de falla diferente).
• Ninguna (None): No hay evidencia útil de que el agente haya descubierto el problema.

Las métricas se agregan a nivel de issue (fracción de los issues humanos recuperados) y a nivel de artículo (fracción de los artículos donde al menos uno o todos los issues ocultos son recuperados). Se calcula una Tasa de Falsos Positivos (FPR) ejecutando los agentes en instantáneas post-fix; si un agente reporta un hallazgo que coincide con un issue ya corregido, se cuenta como un falso positivo.

Contribuciones Clave

1. Marco Escalable: Introducción de ReproRepo, que utiliza los GitHub issues como supervisión gratuita y de naturaleza natural, permitiendo benchmarks diversos y continuamente actualizables con una anotación manual mínima.
2. Benchmark de Gran Escala: Construcción de un conjunto de datos que comprende 1,149 artículos recientes de aprendizaje automático y 7,553 bloqueadores de reproducción reportados por humanos, significativamente mayor que los benchmarks de reproducibilidad previos.
3. Evaluación Sistemática: Una evaluación exhaustiva de los agentes de modelos frontera (incluyendo Claude Code y Codex emparejados con modelos como GPT-5.5 y Claude Opus 4.7) bajo restricciones de inspección estática.

Resultados Experimentales

El estudio evaluó cuatro configuraciones de agentes de modelos frontera en 1,149 artículos. Los hallazgos clave incluyen:

• Alta Recuperación de Bloqueadores: Sorprendentemente, los agentes estáticos (sin ejecución de código) pueden identificar una fracción sustancial de los bloqueadores reportados por humanos. La mejor configuración (Codex con GPT-5.5) presentó al menos un bloqueador reportado por humanos semánticamente relacionado para ~90% de los artículos (89.7% para ICLR 2026, 93.3% para la sección principal de NeurIPS 2024).
• Localización Semántica vs. Exacta: Aunque los agentes son altamente efectivos para exponer fallas visibles e identificar la región semántica correcta (las tasas de Coincidencia Semántica son significativamente más altas que las de Coincidencia Exacta), tienen dificultades con la localización exacta. Por ejemplo, en ICLR 2026, la tasa de Coincidencia Semántica fue del 58.1% mientras que la tasa de Coincidencia Exacta fue del 25.4%.
• Baja Tasa de Falsos Positivos: Los agentes demostraron una alta precisión, manteniendo bajas las Tasas de Falsos Positivos (máximo de 3.50% entre modelos), lo que indica que los problemas reportados están fundamentados en evidencia estática plausible y no en alucinaciones.
• Categorías de Fallas: Los agentes funcionaron mejor en "Configuración Incorrecta Silenciosa" (ej. falta de artefactos, configuraciones desajustadas) y "Falla Inmediata por Crash" (ej. importaciones rotas). Tuvieron más dificultades con "Crash Tardío" y "Número Incorrecto Silencioso", que a menudo requieren ejecución o comparación contra métricas reportadas.
• Relación Costo-Rendimiento: Aunque GPT-5.5 logró el mayor rendimiento, DeepSeek-V4-Pro alcanzó tasas de coincidencia semántica a nivel de artículo similares (89.0% vs. 89.7%) a una fracción del costo (23% por ejecución), lo que sugiere un fuerte compromiso para el triaje general.

Significado y Reivindicaciones

El artículo afirma que ReproRepo proporciona un marco reutilizable y escalable para futuras evaluaciones de agentes de LLM en la auditoría de reproducibilidad del mundo real. Los autores sostienen que:

• La inspección estática es viable para el triaje: Los agentes pueden identificar eficazmente problemas de reproducibilidad del mundo real sin ejecutar código, lo que los hace útiles para la revisión inicial y el triaje de autores.
• Los GitHub issues son una señal de supervisión válida: El uso de reportes de usuarios que ocurren naturalmente permite la construcción de benchmarks a gran escala y realistas que son difíciles de mantener con la curación manual de expertos.
• Persisten las limitaciones: Los autores señalan modestamente que, si bien los agentes son buenos para exponer fallas visibles, aún no son suficientes para la localización exacta de errores o para identificar tipos de fallas menos visibles que requieren ejecución. El marco está destinado a ser una señal de triaje en lugar de un juicio definitivo sobre la reproducibilidad.

El trabajo concluye que, si bien los agentes actuales no pueden reemplazar totalmente la validación basada en la ejecución, ofrecen una herramienta poderosa para escalar la auditoría inicial de la reproducibilidad de la investigación.