Agile Story-Point Estimation: Is RAG a Better Way to Go?

Título: Estimación de Puntos de Historia Ágil: ¿Es RAG una Mejor Opción?

1. Problema

En el desarrollo de software ágil, la planificación de sprints es una actividad crítica donde el equipo estima el esfuerzo necesario para completar tareas mediante una técnica de consenso conocida como Planning Poker. El esfuerzo se mide en Puntos de Historia (Story Points - SP).

• Limitaciones actuales: Aunque el Planning Poker es efectivo, es un proceso manual, intensivo en tiempo y propenso a sesgos humanos (como el optimismo excesivo de desarrolladores senior o la influencia de personalidades dominantes).
• Necesidad: Existe una necesidad de automatizar este proceso para reducir el tiempo de planificación y eliminar sesgos, utilizando datos históricos para ofrecer estimaciones consistentes y eficientes.
• Brecha de investigación: Estudios anteriores han utilizado aprendizaje automático (ML) y aprendizaje profundo (DL), pero ninguno ha explorado específicamente el uso de Generación Aumentada por Recuperación (RAG) para esta tarea, la cual podría ofrecer mayor interpretabilidad al mostrar ejemplos concretos similares.

2. Metodología

Los autores propusieron un marco de trabajo basado en RAG que consta de dos componentes principales: un Recuperador (Retriever) y un Generador (Generator).

• Datos: Se utilizó el conjunto de datos de Tawosi et al., que contiene 31,960 tareas de 23 proyectos de código abierto de diferentes tamaños (pequeños, medianos y grandes). Los datos se filtraron rigurosamente (eliminando tareas sin descripción, sin SP asignado o con cambios posteriores a la asignación).
• Módulo Recuperador:
  • Utiliza modelos de incrustación (embedding) para convertir el título y la descripción de las tareas en vectores.
  • Se probaron dos modelos: BAAI (bge-large-en-v1.5) y SBERT (all-mpnet-base-v2).
  • Para una nueva tarea, el sistema recupera las top_k tareas más similares del conjunto de entrenamiento basándose en la similitud coseno. Se experimentó con top_k = 2, 3 y 4.
• Módulo Generador:
  • Se utilizó el modelo de lenguaje Llama-3.2-3B-Instruct.
  • Se aplicó ingeniería de prompts (instrucciones del sistema y del usuario) para que el modelo analice las tareas recuperadas y genere un nuevo punto de historia siguiendo la serie de Fibonacci (0, 1, 2, 3, 5, 8...).
  • Se ajustó la temperatura (0, 0.1, 0.2, 0.3) para controlar la determinismo de la generación.
• Evaluación:
  • Métricas principales: Error Absoluto Medio (MAE) y Error Absoluto Mediano (MdAE).
  • Pruebas estadísticas: Se utilizaron pruebas no paramétricas (Wilcoxon signed-rank y Kruskal-Wallis) para validar hipótesis sobre diferencias significativas.
  • Líneas base (Baselines): Se comparó contra cuatro métodos existentes: TF-IDF, Deep-SE, LHC-SE y LHCtc-SE.

3. Contribuciones Clave

1. Primera exploración de RAG para estimación de SP: Este es el primer estudio que aplica un enfoque RAG (recuperación de ejemplos concretos + generación de LLM) para la estimación de puntos de historia en Agile.
2. Análisis de hiperparámetros y escalabilidad: Se investigó sistemáticamente cómo los parámetros de recuperación (top_k, temperatura) y el tamaño del proyecto afectan el rendimiento.
3. Evaluación de modelos de incrustación: Se comparó el impacto de dos modelos de embedding modernos (BAAI vs. SBERT) en la precisión de la recuperación de tareas similares.
4. Interpretabilidad: A diferencia de las "cajas negras" de los modelos de ML tradicionales, el enfoque RAG permite a los desarrolladores ver las tareas históricas similares en las que se basa la estimación, imitando el proceso humano de revisión en Planning Poker.

4. Resultados

Los resultados experimentales, basados en 23 proyectos, arrojaron hallazgos importantes:

• RQ1 (Parámetros de recuperación): Los parámetros óptimos (top_k y temperatura) varían según el tamaño del proyecto y el modelo de embedding elegido. No existe una configuración universalmente óptima.
  • Ejemplo: Para proyectos grandes con BAAI, lo óptimo fue top_k=4 y temp=0.0, mientras que para proyectos pequeños con SBERT fue top_k=4 y temp=0.1.
• RQ2 (Tamaño del proyecto): No se encontró una diferencia estadísticamente significativa en el rendimiento (MAE) entre proyectos pequeños, medianos y grandes (p > 0.05 en la prueba de Kruskal-Wallis). Esto sugiere que el enfoque RAG es robusto independientemente de la escala del repositorio de tareas.
• RQ3 (Elección del modelo de embedding): No hubo diferencias estadísticamente significativas en la precisión entre los modelos BAAI y SBERT (p = 0.16). Ambos proporcionan una calidad de recuperación comparable para esta tarea.
• RQ4 (Comparación con líneas base):
  • El enfoque RAG superó a las líneas base en varios proyectos individuales (especialmente en proyectos pequeños).
  • Sin embargo, no hubo diferencias estadísticamente significativas en el rendimiento global frente a los métodos baselines (Deep-SE, TF-IDF, etc.) cuando se aplicaron pruebas de Wilcoxon.
  • El MAE promedio de RAG fue competitivo, pero no superior de manera concluyente.

5. Significado y Conclusión

• Viabilidad: El enfoque RAG es viable y ofrece un rendimiento competitivo comparable a los métodos de vanguardia, con la ventaja añadida de la transparencia y la interpretabilidad (los desarrolladores pueden ver el contexto recuperado).
• Limitaciones: La eliminación completa del juicio humano en la estimación de puntos de historia parece limitar el rendimiento. Los modelos actuales no logran superar consistentemente a los métodos basados en aprendizaje automático tradicional en términos de error numérico puro.
• Recomendaciones Futuras:
  • Mejorar la limpieza de los datos (eliminar ruido en descripciones).
  • Utilizar conjuntos de datos de entornos industriales controlados para reducir sesgos humanos en las etiquetas de entrenamiento.
  • Explorar el ajuste fino (fine-tuning) del generador en datos específicos del proyecto antes de aplicar RAG.
  • Considerar RAG principalmente como una herramienta de soporte a la decisión que asiste a los equipos en la planificación, en lugar de un reemplazo total del proceso humano.

En resumen, aunque RAG no demostró una superioridad estadística abrumadora sobre los métodos existentes en la precisión numérica, su capacidad para recuperar y presentar ejemplos contextuales lo convierte en una herramienta prometedora para mejorar la calidad de las discusiones en la planificación ágil.