Resumen Técnico: Reprodgen – Replicando Código de Ciencia de Datos con Errores y Corregido

Declaración del Problema

Reproducir código de ciencia de datos fiable a partir de fuentes informales de preguntas y respuestas de desarrolladores (por ejemplo, Stack Overflow, GitHub Issues) es un desafío significativo. Aunque estos foros contienen discuscciones ricas sobre el diagnóstico y la resolución de problemas del mundo real, la información suele ser no estructurada, incompleta y carece de un contexto de ejecución crítico. Específicamente, las publicaciones frecuentemente omiten dependencias de librerías, entornos de ejecución, requisitos funcionales y conjuntos de datos de ejemplo.

Los benchmarks existentes para la depuración y reparación suelen basarse en conjuntos de datos curados, pero la construcción de tales benchmarks directamente a partir de publicaciones informales sigue siendo difícil. Existe una brecha crítica en la reconstrucción automatizada de pares de código con errores y parches que sean ejecutables. Los enfoques actuales del estado del arte (SOTA), como AutoCodeRover y ArchCode, tienen dificultades con esta tarea:

• AutoCodeRover asume un contexto de repositorio completo; cuando se aplica a publicaciones de Stack Overflow que carecen de archivos fuente, falla al recuperar el contexto y produce parches no ejecutables.
• ArchCode a menudo malinterpreta la intención, generando la solución optimizada directamente en lugar de reproducir el comportamiento erróneo original, y falla al sintetizar los datos simulados necesarios.

Sin código con errores ejecutable, es imposible analizar el comportamiento en tiempo de ejecución, validar los requisitos inferidos o verificar si un parche generado realmente resuelve el defecto. Este artículo aborda la necesidad de un marco capaz de reconstruir fielmente tanto el comportamiento defectuoso como el arreglo correspondiente a partir de texto informal.

Metodología: El Marco de Trabajo Reprodgen

Los autores proponen Reprodgen, un marco basado en Modelos de Lenguaje de Gran Escala (LLM) diseñado para generar automáticamente programas de Python con errores y parcheados que sean ejecutables a partir de publicaciones de foros de preguntas y respuestas. El marco emplea un flujo de trabajo de Generador–Revisor, inspirado en el estilo de programación por parejas de Piloto–Navegador (Driver–Navigator), para refinar iterativamente el código hasta que sea tanto ejecutable como semánticamente consistente con la discusión de origen.

Flujo de Trabajo Principal

1. Análisis de Q&A: El sistema extrae la pregunta, una respuesta seleccionada (preferiblemente la aceptada) y los metadatos de la publicación del foro.
2. Generación de Pensamiento Estructurado (Guía): Antes de la síntesis de código, Reprodgen genera tres artefactos intermedios estructurados para guiar el proceso:
   • Intención de Código (CI): Una especificación semántica de alto nivel de la funcionalidad pretendida por el desarrollador, distinguiendo entre la "CI con errores" (el objetivo descrito en la pregunta) y la "CI parcheada" (el objetivo tras la corrección).
   • Requisitos Funcionales (FR): Especificaciones estructuradas y orientadas al usuario que describen el comportamiento esperado, las relaciones de entrada-salida y los casos de borde, independientes de los detalles de implementación.
   • Cadena de Pensamiento Estructurada (SCoT): Una descripción de razonamiento procedimental paso a paso de cómo las entradas se transforman en salidas, modelando el flujo de control tanto para la lógica incorrecta como para la correcta.
   • Nota: Estos artefactos son generados y revisados iterativamente por un LLM Revisor independiente para asegurar la precisión y completitud antes de proceder a la generación de código.
3. Generación y Ejecución de Código:
   • El LLM Generador sintetiza código ejecutable, infiriendo dependencias faltantes, sintetizando datos simulados (mock data) y fijando semillas aleatorias para asegurar la reproducibilidad.
   • Un Ejecutor de Código ejecuta los scripts generados en contenedores Docker aislados. Captura la salida estándar, los flujos de error y los códigos de salida para determinar la ejecutabilidad.
4. Refinamiento Iterativo:
   • Si la ejecución falla o el comportamiento no coincide con la publicación de origen, el LLM Revisor evalúa la salida contra la publicación de Q&A original y los artefactos de guía generados.
   • El Revisor proporciona retroalimentación (etiquetas: Correcto, Parcialmente Correcto, Incorrecto, Desconocido) y justificaciones.
   • El Generador utiliza esta retroalimentación para refinar el código en iteraciones subsecuentes (limitado a tres bucles por subtarea).

Conjuntos de Datos de Evaluación

Los autores construyeron dos benchmarks para evaluar el marco:

• ReprodgenBench-B: Un conjunto de datos de 203 publicaciones de Stack Overflow (muestreadas de un conjunto curado de 427) que cubren siete librerías de ciencia de datos (NumPy, pandas, Matplotlib, scikit-learn, SciPy, DataFrame, PyQt). La verdad de terreno para este conjunto de datos fue establecida por dos jueces humanos expertos validando los artefactos sintetizados por el LLM.
• ReprodgenBench-GI: Un conjunto de datos de 50 problemas (Issues) cerrados de GitHub de cinco librerías, reproducidos y validados manualmente por un experto humano para asegurar una línea base totalmente validada por humanos.

Contribuciones Clave

1. Marco Reprodgen: Un novedoso marco de programación por parejas que aprovecha los LLM para generar y revisar código ejecutable con errores y parcheado a partir de publicaciones informales, integrando la síntesis de datos simulados, la inferencia de dependencias y la validación semántica.
2. Enfoque de Prompting Estructurado: Un método que combina la Intención de Código, los Requisitos Funcionales y la Cadena de Pensamiento Estructurada (SCoT) con retroalimentación de evaluación iterativa para asegurar la claridad y corrección semántica.
3. ReprodgenBench-V: Un benchmark de 176 programas de ciencia de datos del mundo real (incluyendo los subconjuntos utilizados para la evaluación) publicado y curado a partir de Stack Overflow y GitHub Issues, promoviendo la reproducibilidad en la investigación de depuración automatizada.
4. Tabla de Clasificación de la Comunidad (Leaderboard): Una plataforma para la comparación transparente de modelos basada en la Tasa de Ejecución, Tasa de Éxito y similitud semántica.

Resultados Experimentales

El marco fue evaluado a través de múltiples LLM de código abierto (Qwen 2.5, Gemma 3, Phi-4, DeepSeek-Coder, Code Llama) en ambos benchmarks.

• Efectividad (RQ1):

  • Qwen 2.5 y Gemma 3 demostraron el desempeño general más sólido. En ReprodgenBench-B, Qwen 2.5 logró una Tasa de Éxito (SR) del 58.12% para el código con errores y del 51.72% para el código parcheado.
  • Código con errores vs. Parcheado: La replicación de código con errores fue consistentemente más fiable que la replicación de código parcheado. Esto se atribuye a que el comportamiento con errores suele estar descrito explícitamente o implícito en las publicaciones, mientras que la generación de parches requiere inferir la corrección adecuada y coincidir con el comportamiento esperado post-arreglo.
  • Diferencias de Dataset: Los problemas de GitHub (ReprodgenBench-GI) mostraron tasas de ejecutabilidad más altas que las publicaciones de Stack Overflow, probablemente debido a que las plantillas de reporte de errores de GitHub son más estructuradas y proporcionan un contexto más claro.

• Fiabilidad de los Revisores (RQ2):

  • Gemma 3 y Qwen 3 fueron identificados como los LLM revisores más fiables, logrando puntuaciones F1 ponderadas por cobertura de 0.88 y 0.86, respectivamente.
  • Se observó una brecha de rendimiento entre las subtareas textuales (CI, FR, SCoT) y la evaluación a nivel de código. Los revisores funcionaron bien en la extracción de intención y requisitos, pero tuvieron dificultades significativas al evaluar la corrección del código parcheado, lo cual requiere razonar sobre cambios de comportamiento sutiles.

• Eficiencia (RQ3):

  • Gemma 3 ofreció la mejor velocidad, con tiempos de generación promedio de ~17 segundos para el código con errores y ~13 segundos para el código parcheado.
  • Qwen 2.5 requirió un poco más de tiempo pero logró el menor número de iteraciones de refinamiento de ejecución para el código parcheado, indicando una convergencia estable.
  • Se encontró que los bucles de refinamiento son más críticos para el código parcheado que para el código con errores, donde la lógica original suele estar disponible directamente.

Significado y Reivindicaciones

El artículo afirma que Reprodgen cierra una brecha de investigación crítica al unificar la síntesis de datos simulados, la inferencia de dependencias, la validación semántica y la ejecutabilidad. A diferencia de sistemas previos que o bien generan código funcional sin reproducir el error o producen parches no ejecutables, Reprodgen genera de manera fiable pares de código con errores y parches que son ejecutables a partir de texto informal.

Los autores enfatizan que su enfoque permite:

• Reproducción Fiel: La capacidad de reproducir el comportamiento defectuoso exacto descrito en discusiones informales, lo cual es un prerrequisito para una depuración fiable y la generación de parches automatizada.
• Benchmarking: La creación de un benchmark de alta confianza (ReprodgenBench) que permite la evaluación sistemática de los LLM en escenarios de depuración realistas.
• Información sobre las Limitaciones de los LLM: El estudio revela que, si bien los LLM sobresalen en la comprensión textual y la extracción de intención, todavía luchan con el análisis de código, la inferencia de dependencias y la generación de parches semánticamente correctos sin un refinamiento iterativo.

El artículo concluye que Reprodgen proporciona una base reproducible y extensible para la investigación futura en la reproducción y reparación de errores basada en LLM para programas de ciencia de datos, reconociendo al mismo tiempo que persisten desafíos en el manejo de contextos ambiguos y en asegurar la alineación semántica perfecta sin intervención humana.