A Reference Framework for Empirical Studies on LLM-Based Code Generation: A Review-Grounded Synthesis

Resumen Técnico: Un Marco de Referencia para Estudios Empíricos sobre la Generación de Código Basada en LLM

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) se utilizan cada vez más para la generación de código y tareas relacionadas con la ingeniería de software. Sin embargo, la evaluación empírica de estos sistemas sigue siendo fragmentada, lo que crea barreras significativas para la reproducibilidad, la comparabilidad y la acumulación de evidencia acumulativa. Los estudios existentes varían ampliamente en sus tareas, fuentes de problemas, contextos de aplicación, atributos de calidad, métricas, métodos empíricos, configuraciones de modelos, entornos y artefactos generados. Esta heterogeneidad dificulta la síntesis de hallazgos entre estudios o la identificación de prácticas metodológicas comunes. Además, la ingeniería de software basada en LLM introduce desafíos metodológicos únicos, incluyendo salidas no deterministas, versiones de modelos en evolución, comportamiento opaco de los modelos, sensibilidad al prompt y la necesidad de evaluar artefactos más allá de la corrección funcional. Las directrices actuales para la ingeniería de software empírica suelen ser insuficientes para estos desafíos específicos, lo que requiere una orientación metodológica a medida.

Metodología
Para abordar esta brecha, los autores realizaron una revisión estructurada de estudios empíricos que involucran LLM en la generación de código y tareas relacionadas. La investigación siguió un proceso de síntesis de abajo hacia arriba (bottom-up) en lugar de proponer un marco a priori.

• Estrategia de Búsqueda: Se realizó una búsqueda estructurada en la ACM Digital Library mediante una consulta booleana dirigida a LLM, generación de código/programación y evaluación empírica. La búsqueda cubrió artículos publicados entre 2023 y 2025.
• Selección: La búsqueda inicial arrojó 75 artículos. Tras aplicar criterios de inclusión y exclusión (centrándose en evaluaciones empíricas de generación de código, adaptación, reparación, pruebas, etc., mientras se excluían artículos de visión no empíricos), se retuvieron 32 artículos. Se identificaron tres artículos adicionales mediante el método de bola de nieve (snowballing), resultando en un corpus final de 35 estudios.
• Extracción de Datos: Para cada estudio, los autores extrajeron y estandarizaron datos relativos a tareas de codificación, contextos de aplicación, fuentes de problemas, atributos de calidad, métricas de evaluación, métodos empíricos, configuraciones de LLM, salidas generadas y configuraciones comparativas.
• Síntesis: Se utilizó un proceso de codificación de abajo hacia arriba para identificar conceptos recurrentes dentro de los campos de extracción. Estos conceptos se agruparon en categorías de nivel inferior y luego se abstrajeron en dimensiones de nivel superior que se repitieron en los estudios revisados.

Contribuciones Clave
El artículo realiza cinco contribuciones primarias:

1. Síntesis de Prácticas Empíricas: Un resumen exhaustivo de las prácticas empíricas encontradas en 32 estudios seleccionados, incluyendo experimentos controlados, evaluaciones de benchmarks, minería de repositorios, estudios de usuario y diseños de métodos mixtos.
2. Identificación de Dimensiones Recurrentes: La identificación de nueve dimensiones metodológicas principales: tareas, fuentes de problemas, contextos de aplicación, atributos de calidad, métricas, métodos empíricos, configuraciones de modelos, entornos y salidas generadas.
3. Propuesta de Marco de Referencia: La derivación de un marco de referencia de abajo hacia arriba compuesto por seis componentes principales para apoyar el diseño, el reporte y la comparación de estudios empíricos sobre la generación de código basada en LLM.
4. Conjunto de Datos de Trazabilidad: La provisión de un conjunto de datos de trazabilidad codificado que vincula los estudios revisados con las dimensiones del marco para apoyar la transparencia y la futura síntesis de evidencia.
5. Aplicación Ilustrativa: Demostraciones de cómo el marco puede utilizarse tanto de forma retrospectiva para mapear estudios existentes como prospectiva para derivar nuevos diseños de estudios empíricos.

Resultados y Componentes del Marco
El análisis de los 35 estudios reveló una variabilidad metodológica sustancial. Las prácticas empíricas más frecuentes fueron los experimentos/evaluaciones controladas (23 estudios) y las comparaciones de estrategias de prompt (22 estudios). El alcance de la evaluación se extiende más allá de la corrección funcional para incluir eficiencia, confiabilidad, seguridad, equidad, cumplimiento de licencias, calidad de la explicación y preocupaciones centradas en el humano.

Basándose en la síntesis, los autores proponen un marco de referencia organizado en seis componentes principales:

1. Tarea de Codificación: Captura la actividad que se está evaluando, incluyendo el tipo de tarea (p. ej., generación general, reparación, explicación), contexto de aplicación (p. ej., programación competitiva, seguridad, ciencia de datos) y fuente del problema (p. ej., benchmarks, repositorios, documentación).
2. Evaluación de Calidad y Métricas: Define los atributos de calidad (p. ej., corrección, seguridad, equidad) y las métricas específicas utilizadas para operacionalizarlos (p. ej., pass@k, tiempo de ejecución, calificaciones humanas, tasas de vulnerabilidad).
3. Diseño de Investigación Empírica: Abarca la estructura metodológica, incluyendo el método de estudio (p. ej., experimento controlado, estudio de usuario), diseño experimental (hipótesis, variables), configuración comparativa (p. ej., LLM vs. Humano, entre modelos) y técnicas de análisis de datos.
4. Entorno: Captura las configuraciones computacionales y de ejecución, incluyendo infraestructura (nube, local), entornos de ejecución/prueba (Docker, jueces en línea) y entornos humanos/organizacionales (aulas, estudios de usuario).
5. Configuración de LLM: Cubre la selección del modelo (propietario vs. código abierto), estrategias de prompting (p. ej., cadena de pensamiento, aumento de recuperación/RAG), ajuste de parámetros (temperatura, muestreo) y estrategias de flujo de trabajo (ajuste fino/fine-tuning, sistemas basados en agentes).
6. Salida Generada: Describe los artefactos producidos, que van desde fragmentos de código y funciones a nivel de repositorio hasta pruebas, parches, explicaciones y trazas de interacción.

Significancia y Reivindicaciones
El artículo afirma que este marco sirve como un vocabulario estructurado para describir, comparar y diseñar estudios empíricos. No pretende prescribir una única metodología experimental, sino hacer explícitas las dimensiones de diseño de los estudios empíricos. Al organizar el espacio de diseño empírico, el marco busca:

• Mejorar la consistencia, comparabilidad y reproducibilidad en evaluaciones futuras.
• Ayudar a los investigadores a identificar brechas metodológicas y razonar sobre configuraciones de estudio compatibles.
• Apoyar la planificación de investigaciones empíricas mejor fundamentadas al tratar los estudios como configuraciones de elecciones interdependientes en lugar de evaluaciones de modelos aislados.

Los autores enfatizan que el marco es una estructura de referencia en evolución. Refleja el estado actual de la literatura (2023–2025) y reconoce que pueden ser necesarios refinamientos futuros para abordar modelos emergentes, flujos de trabajo de prompting y preocupaciones de evaluación. El marco está diseñado para ser extensible, con trabajo futuro planeado para modelar las restricciones de compatibilidad entre componentes y desarrollar soporte de herramientas para el diseño de estudios empíricos.