LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda

A continuación se presenta un resumen técnico detallado del artículo "Ingeniería de Software Empírica Asistida por LLM: Revisión Sistemática de la Literatura y Agenda de Investigación".

1. Declaración del Problema

La Ingeniería de Software Empírica (ESE) enfrenta desafíos crecientes en cuanto a la escala de los datos, la complejidad metodológica y la reproducibilidad. Si bien los Modelos de Lenguaje Grandes (LLM) han surgido como herramientas poderosas para tareas de ingeniería de software (por ejemplo, generación de código), su aplicación como instrumentos metodológicos para apoyar el proceso de investigación en sí mismo (por ejemplo, recopilación de datos, análisis, síntesis) sigue siendo fragmentada.

La literatura actual carece de una síntesis sistemática de:

• Qué tareas específicas de investigación en ESE y fases del ciclo de vida apoyan los LLM.
• Cómo se integran los LLM en los flujos de trabajo empíricos (automatización frente a aumento).
• Los beneficios, limitaciones y riesgos reportados (por ejemplo, alucinaciones, sesgos).
• La medida en que los estudios reportan los detalles necesarios para la reproducibilidad (prompts, configuraciones, validación).

Sin esta síntesis, los investigadores no pueden evaluar críticamente la fiabilidad de los flujos de trabajo asistidos por LLM ni establecer directrices para una adopción responsable.

2. Metodología

Los autores realizaron una Revisión Sistemática de la Literatura (SLR) siguiendo las directrices establecidas para estudios secundarios en ingeniería de software.

• Alcance y Cronología: Artículos revisados por pares publicados entre 2020 y 2025.
• Fuentes: 12 principales foros de ingeniería de software (clasificados CORE A*/A), incluidas conferencias (ICSE, FSE, MSR, ESEM, etc.) y revistas (TSE, EMSE, IST, etc.).
• Estrategia de Búsqueda: Debido a la dificultad de captar el uso metodológico de LLM mediante palabras clave en títulos/resúmenes únicamente, los autores:
  1. Descargaron las actas completas de las 12 fuentes (8.641 artículos).
  2. Aplicaron filtrado por palabras clave en texto completo (por ejemplo, "LLM", "IA Generativa", "ChatGPT", "Prompt").
  3. Realizaron una revisión manual de 1.882 artículos frente a criterios de inclusión/exclusión.
• Criterios de Selección:
  • Inclusión: Estudios donde los LLM apoyan/automatizan tareas de investigación en ESE (clasificación, codificación, síntesis) O estudios que examinan empíricamente los LLM dentro de un contexto de ESE.
  • Exclusión: Estudios que utilizan LLM exclusivamente para el desarrollo general de software (por ejemplo, herramientas de generación de código) sin un componente de investigación empírica.
• Conjunto de Datos Final: Se seleccionaron 50 estudios primarios para un análisis en profundidad.
• Análisis de Datos:
  • Cualitativo: Codificación descriptiva de tareas, análisis temático de beneficios/limitaciones y mapeo a fases del ciclo de vida de la investigación.
  • Cuantitativo: Análisis de frecuencia de tareas, modelos y prácticas de reporte.
  • Evaluación de Reproducibilidad: Evaluada frente a 9 directrices de transparencia (por ejemplo, reporte de versiones de modelos, prompts, validación humana).

3. Contribuciones Clave

1. Taxonomía de Tareas Asistidas por LLM: Identificación de 69 tareas distintas apoyadas por LLM, abstraídas en roles funcionales (por ejemplo, Clasificador Semántico, Filtrador Basado en Criterios, Evaluador).
2. Mapeo del Ciclo de Vida: Análisis de cómo se distribuyen los LLM a lo largo del ciclo de vida de la investigación en ESE (Planificación, Recopilación de Datos, Procesamiento, Análisis, Reporte).
3. Patrones de Integración: Caracterización de modos de participación de LLM: Automatización, Aumento, Soporte a la Decisión y Evaluación.
4. Síntesis de Beneficios y Limitaciones: Un mapa temático de ventajas reportadas (eficiencia, escalabilidad) y riesgos (alucinaciones, sensibilidad a prompts, problemas de reproducibilidad).
5. Auditoría de Reproducibilidad: Una evaluación de las prácticas de reporte, revelando brechas significativas en transparencia (por ejemplo, prompts o detalles de configuración faltantes).
6. Agenda de Investigación: Una hoja de ruta para trabajos futuros centrada en la colaboración humano-IA, sistemas agénticos y reporte estandarizado.

4. Resultados Clave

A. Tareas y Roles (RQ1)

• Roles Dominantes: Los LLM se utilizan principalmente para Clasificación (17 tareas), Filtrado/Selección (14 tareas) y Evaluación (11 tareas).
• Roles Subutilizados: El razonamiento complejo, la abstracción interdisciplinaria y el análisis integrador se exploran raramente.
• Contexto: Las tareas son mayoritariamente estructuradas y bien definidas (por ejemplo, clasificar mensajes de confirmación, filtrar títulos de artículos).

B. Fases de Investigación (RQ2)

• Concentración: El uso de LLM está fuertemente concentrado en las fases de Procesamiento de Datos y Análisis y Síntesis.
• Métodos: Más prevalente en Minería de Repositorios de Software (MSR) y Experimentos Controlados/Estudios de Caso.
• Brechas: Adopción limitada en las fases de Planificación y Diseño y Reporte.

C. Modos de Integración (RQ3)

• Dominio de la Automatización: El 60,9% de las tareas están totalmente automatizadas (el LLM realiza la tarea con intervención humana mínima).
• Colaboración Limitada: Solo el 18,8% son de Aumento (el LLM asiste al humano) y el 1,5% son de Soporte a la Decisión (el LLM sugiere opciones para la elección humana).
• Implicación: Actualmente, los LLM se utilizan para reemplazar pasos de toma de decisiones en lugar de apoyar el razonamiento humano.

D. Beneficios y Limitaciones (RQ4)

• Beneficios: Citados principalmente como Ganancias de Eficiencia (reducción del esfuerzo manual) y Escalabilidad (manejo de grandes conjuntos de datos). El rendimiento analítico (comprensión semántica) también es altamente valorado.
• Limitaciones:
  • Cognitivas/Conocimiento: Alucinaciones, errores de clasificación y falta de comprensión del dominio.
  • Sensibilidad de Entrada: Alta dependencia de la ingeniería de prompts; pequeños cambios en los prompts generan resultados diferentes.
  • Reproducibilidad: Inconsistencia en los resultados y falta de formato estable.
  • Brecha de Reporte: Muchos estudios (29/50) no reportaron limitaciones; los beneficios a menudo se asumen en lugar de validarse empíricamente dentro del estudio.

E. Reproducibilidad (RQ5)

• Deficiencias en el Reporte: Aunque a menudo se reportan las versiones de los modelos, faltan detalles críticos:
  • Prompts: A menudo incompletos o faltantes.
  • Configuraciones: Temperatura, límites de tokens y justificación de configuraciones se omiten frecuentemente.
  • Validación: Los procedimientos de validación humana rara vez se describen en detalle.
• Conclusión: Las prácticas actuales de reporte son insuficientes para reproducir análisis empíricos asistidos por LLM.

5. Significado y Agenda de Investigación

Significado:
Este artículo establece la primera visión integral de los LLM como instrumentos de investigación en ESE. Destaca una desconexión crítica: si bien los LLM ofrecen un potencial transformador para la escalabilidad, la adopción actual es centrada en la automatización, específica de tareas y metodológicamente opaca. La falta de transparencia amenaza la validez y reproducibilidad de los hallazgos empíricos.

Agenda de Investigación Propuesta:
Los autores delinean un cambio de "automatización" a "colaboración" y "descubrimiento":

1. Colaboración Humano-IA: Ir más allá de la automatización total hacia flujos de trabajo interactivos con humanos en el bucle, donde los LLM proporcionen sugerencias en lugar de decisiones finales.
2. IA Agéntica: Explorar sistemas agénticos capaces de planificar flujos de trabajo de múltiples pasos, uso de herramientas y razonamiento iterativo.
3. Soporte al Descubrimiento: Investigar LLM para la generación de hipótesis, análisis exploratorio y el descubrimiento de patrones novedosos.
4. Expansión del Ciclo de Vida: Extender el soporte de LLM a las fases de Planificación (diseño de estudios) y Reporte.
5. Estandarización: Establecer y hacer cumplir directrices estrictas de reporte (prompts, configuraciones, validación) para garantizar la reproducibilidad.
6. Diversificación: Reducir la dependencia de una sola familia de modelos (por ejemplo, ChatGPT) para mejorar la validez externa.

En resumen, el artículo argumenta que para que la ESE asistida por LLM madure, la comunidad debe ir más allá de tratar a los LLM como simples herramientas de automatización y, en su lugar, desarrollar marcos rigurosos, transparentes y colaborativos que los integren responsablemente en el método científico de la ingeniería de software.