Guidelines for Empirical Studies in Software Engineering involving Large Language Models

1. El Problema

Desde el lanzamiento de ChatGPT en 2022, los Modelos de Lenguaje Grandes (LLMs) se han integrado masivamente en la investigación y práctica de la Ingeniería de Software (SE). Sin embargo, su adopción plantea una crisis de reproducibilidad y replicabilidad en los estudios empíricos debido a tres características inherentes de los LLMs:

1. No determinismo: Pequeños cambios en la configuración o el entorno generan resultados significativamente diferentes, incluso con el mismo prompt.
2. Datos de entrenamiento opacos: Especialmente en modelos comerciales, los datos de entrenamiento y los detalles de ajuste fino (fine-tuning) no son públicos, lo que impide auditar sesgos o contaminación de datos.
3. Evolución rápida: Los modelos comerciales cambian sin aviso (desvanecimiento de versiones), haciendo que los resultados reportados en un estudio puedan quedar obsoletos o ser irreproducibles meses después.

Las directrices existentes para estudios empíricos en SE (como los estándares de SIGSOFT) no abordan específicamente estos desafíos únicos de los LLMs.

2. Metodología

El artículo presenta un esfuerzo colaborativo desarrollado por 22 investigadores de la comunidad de SE. El proceso siguió un enfoque similar al de la creación de directrices en otras disciplinas (como CONSORT en medicina):

• Origen: Iniciado en la reunión de ISERN 2024 y refinado en el simposio CHASEAI 2024.
• Proceso Iterativo: Reuniones quincenales para definir la estructura, asignación de autores por sección, revisión por pares interna y validación externa por expertos en SE empírico.
• Selección de Ejemplos: Búsqueda sistemática de literatura existente (dentro y fuera de SE) para ilustrar cada tipo de estudio y directriz, mitigando sesgos mediante revisiones múltiples.
• Evaluación de Calidad: Las directrices se autoevaluaron contra las dimensiones de calidad de los Estándares Empíricos de SIGSOFT.

3. Contribuciones Clave

A. Taxonomía de Tipos de Estudio (7 Categorías)

Los autores proponen una taxonomía para contextualizar las recomendaciones según cómo se utilizan los LLMs en la investigación:

1. LLMs como Anotadores (S1): Automatización de la codificación de datos cualitativos.
2. LLMs como Jueces (S2): Evaluación de la calidad de artefactos de software (código, requisitos).
3. LLMs para Síntesis (S3): Integración de información de múltiples fuentes o generación de datos sintéticos.
4. LLMs como Sujetos (S4): Simulación de comportamiento humano en experimentos.
5. Estudio del Uso de LLMs (S5): Investigación sobre cómo los ingenieros utilizan herramientas con LLMs.
6. LLMs para Nuevas Herramientas (S6): Desarrollo de herramientas de SE asistidas por LLMs (incluyendo agentes autónomos).
7. Benchmarking de LLMs (S7): Evaluación del rendimiento de LLMs en tareas de SE estandarizadas.

B. Ocho Directrices Principales (G1-G8)

Cada directriz distingue entre requisitos obligatorios (Must) y prácticas recomendadas (Should), y se aplica de manera específica a los tipos de estudio anteriores:

1. G1: Declarar el Uso y Rol del LLM: Obligatoriedad de revelar explícitamente qué LLM se usó, para qué tarea y en qué etapa del proceso de investigación.
2. G2: Reportar Versión, Configuración y Personalizaciones: Documentación exacta del modelo, fecha de experimento, parámetros (temperatura, seed), detalles de fine-tuning y checksums.
3. G3: Reportar la Arquitectura de la Herramienta más allá del Modelo: Descripción completa de la arquitectura del sistema (agentes, RAG, lógica de enmascaramiento, interacciones con APIs externas), no solo el modelo base.
4. G4: Reportar Prompts, su Desarrollo y Logs de Interacción: Publicación de todos los prompts (o plantillas), estrategias de desarrollo, y logs completos de interacción (entrada/salida) para permitir la verificación.
5. G5: Validar las Salidas del LLM con Humanos: Cuando no existen métricas de referencia, es obligatorio validar las salidas del LLM contra juicios humanos, reportando la concordancia inter-evaluadores (IRA).
6. G6: Usar un LLM Abierto como Línea Base: Incluir un modelo de código abierto (open-weight) como punto de comparación para garantizar que al menos una parte del estudio sea totalmente replicable.
7. G7: Usar Líneas Base, Benchmarks y Métricas Adecuadas: Justificación rigurosa de las métricas y benchmarks elegidos, considerando su validez de constructo y evitando la contaminación de datos. Se recomienda repetir experimentos y reportar estadísticas descriptivas debido al no determinismo.
8. G8: Reportar Limitaciones y Mitigaciones: Transparencia total sobre las limitaciones (sesgos, deriva de modelos, costos energéticos, privacidad) y las estrategias de mitigación empleadas (triangulación, validación humana, paquetes de replicación).

C. Recursos Prácticos

• Matriz de Aplicabilidad: Una tabla que mapea qué directrices son obligatorias o recomendadas para cada tipo de estudio (S1-S7).
• Lista de Verificación (Checklist): Un instrumento inspirado en CONSORT para autores y revisores, organizado por secciones de un artículo (Introducción, Métodos, Resultados, etc.).
• Recurso Vivo: Las directrices se mantienen en línea en llm-guidelines.org para actualizaciones continuas.

4. Resultados y Hallazgos

El documento no presenta resultados experimentales nuevos, sino que sintetiza el consenso de la comunidad sobre las mejores prácticas. Los hallazgos clave derivados de la revisión de la literatura y la experiencia de los autores incluyen:

• La mayoría de los estudios actuales carecen de la información necesaria para la replicación (versiones exactas, prompts, semillas).
• La validación puramente automática (LLM vs. LLM) es insuficiente; se requiere validación humana para asegurar la validez de constructo en tareas subjetivas.
• El uso de modelos comerciales sin una línea base abierta limita severamente la capacidad de la comunidad para verificar y construir sobre los hallazgos.
• La arquitectura del sistema (agentes, RAG) a menudo tiene más impacto en el rendimiento que el modelo base en sí, y suele ser omitida en los informes.

5. Significancia e Impacto

Este trabajo es fundamental para la madurez de la investigación en SE asistida por IA:

• Restauración de la Confianza: Establece un estándar mínimo para que los resultados de investigación sean auditable y replicables, mitigando el escepticismo sobre la "caja negra" de los LLMs.
• Guía para Revisores: Proporciona criterios concretos para que los revisores de conferencias y revistas evalúen la rigurosidad metodológica de los manuscritos que involucran LLMs.
• Evolución de la Ciencia: Reconoce que la reproducibilidad determinista absoluta puede ser imposible con modelos comerciales, y propone criterios de "confiabilidad" (dependability) y "confirmabilidad" basados en la transparencia y la documentación exhaustiva.
• Sostenibilidad y Ética: Introduce consideraciones sobre el costo energético, la privacidad de datos y los sesgos éticos como partes integrales del diseño experimental.

En resumen, el artículo transforma la práctica de la investigación empírica en SE con LLMs de un enfoque ad-hoc a uno estructurado, transparente y riguroso, asegurando que la comunidad pueda avanzar de manera acumulativa y fiable.