Applying a Requirements-Focused Agile Management Approach for Machine Learning-Enabled Systems

Resumen Técnico: Aplicación de un enfoque de gestión ágil centrado en los requisitos para sistemas habilitados por Aprendizaje Automático (ML)

Planteamiento del problema
Los sistemas habilitados por Aprendizaje Automático (ML) presentan desafíos únicos para la Ingeniería de Requisitos (RE) tradicional y la gestión Ágil. A diferencia del software determinista, los sistemas de ML dependen de la dependencia de los datos, la experimentación y el comportamiento incierto del modelo, lo que hace que los resultados dependan de la calidad de los datos y las elecciones de modelado. Si bien la gestión Ágil está conceptualmente alineada con la naturaleza iterativa del ML, su aplicación directa suele fallar debido a:

• Expectativas irreales de los clientes y falta de alineación entre las partes interesadas del negocio y los profesionales de ML.
• Dificultades en la planificación de sprints y la estimación de esfuerzos debido a la naturaleza experimental de las tareas de ML (por ejemplo, preprocesamiento de datos, ingeniería de características).
• Una falta de directrices bien definidas para adaptar las prácticas ágiles a los proyectos de ML, lo que genera brechas de comunicación y ambigüedad en los requisitos.
  Los enfoques existentes a menudo no logran abordar plenamente cómo las preocupaciones específicas de ML deben identificarse y operacionalizarse en requisitos accionables desde el inicio del proyecto.

Metodología: El enfoque RefineML
Los autores proponen y evalúan RefineML, un enfoque centrado en los requisitos para el refinamiento continuo y ágil de sistemas habilitados por ML. RefineML integra tres componentes principales derivados de la literatura de vanguardia y un estudio de mapeo sistemático:

1. PerSpecML: Un enfoque de especificación de requisitos que estructura las preocupaciones de ML en cinco perspectivas: Objetivos del Sistema, Experiencia del Usuario, Infraestructura, Modelo y Datos.
2. Agile4MLS: Un marco de gestión ágil que adapta Scrum para ML, introduciendo backlogs duales (Software y ML), "Historias de Datos" e "Historias de Modelo", y un principio de "dos sprints de adelanto" para desacoplar la experimentación de ML del desarrollo de software.
3. Conceptos de Lean R&D: Específicamente, el Modelo Mínimo Valioso (MVM) (un modelo viable, no óptimo, para la entrega temprana de valor) y las Capas de Terminación (LoD) (hitos que definen la robustez y validación del modelo).

Fases del proceso RefineML
El enfoque estructura el ciclo de vida del proyecto en cuatro fases:

• Especificación Inicial: Utilizando PerSpecML, el equipo define los requisitos a través de las cinco perspectivas para establecer una comprensión común de los objetivos y los criterios de evaluación.
• Concepción: El Dueño del Producto estructura dos backlogs complementarios: un Backlog de Software (Historias de Usuario convencionales) y un Backlog de ML (Historias de Datos y de Modelo). Se definen "Enablers" (facilitadores) para gestionar la infraestructura y las dependencias arquitectónicas.
• Factibilidad Técnica: El equipo lleva a cabo la Factibilidad de Datos (evaluando disponibilidad/calidad de datos), la Factibilidad de Modelo (evaluando la idoneidad del algoritmo) e implementa una Demo API. La Demo API emula la salida esperada de ML, permitiendo que el equipo de software proceda con la integración mientras el equipo de ML continúa la experimentación.
• Desarrollo Ágil: Siguiendo Agile4MLS, el equipo ejecuta iteraciones sincronizadas. El equipo de ML trabaja "dos sprints por delante", evolucionando la Demo API hacia un MVM y los subsiguientes LoDs, mientras que el equipo de software implementa funcionalidades basadas en la interfaz emulada.

Contexto de evaluación y recolección de datos
RefineML se aplicó en una Colaboración Industria-Academia (IAC) de seis meses entre la PUC-Rio y EXA, una empresa brasileña de ciberseguridad. El proyecto tenía como objetivo desarrollar funciones de ML para la protección contra fraudes en línea, incluyendo la detección de mensajes de estafa, análisis de URL y análisis de capturas de pantalla.

• Participantes: Un equipo de diez profesionales (desarrolladores y científicos de datos), un Líder de Proyecto y Dueños de Negocio.
• Recolección de datos: Se administró un cuestionario basado en el Modelo de Aceptación de Tecnología (TAM) al equipo de desarrollo para evaluar la Utilidad Percibida, la Facilidad de Uso y la Intención de Uso. Se realizaron entrevistas semiestructuradas con el Líder de Proyecto y el Dueño de Negocio.
• Análisis: Los datos cuantitativos se analizaron mediante estadística descriptiva, mientras que los datos cualitativos se sometieron a un análisis temático.

Resultos clave y hallazgos

• Capacidad de resolución de problemas: RefineML entregó con éxito una suite de componentes de ML lista para producción dentro de seis sprints. El equipo entregó un MVM funcional temprano en el ciclo que superó la solución de prevención de fraude existente. El enfoque facilitó la orquestación del trabajo de doble vía (experimentación de ML vs. entrega de producto), reduciendo las dependencias de bloqueo.
• Idoneidad de las fases:
  • Especificación Inicial: Percibida como efectiva para alinear expectativas, aunque algunos la consideraron "larga" sin una facilitación sólida.
  • Concepción y Factibilidad: La estructura de doble backlog y el concepto de "Enablers" fueron vistos como cruciales para separar la experimentación de la integración. La Factibilidad de Datos y de Modelo fueron consideradas pasos "imprescindibles" para evitar la parálisis por análisis.
  • Desarrollo: El principio de "dos sprints de adelanto" y el enfoque MVM fueron altamente valorados por proporcionar "tranquilidad" a los científicos de datos y prevenir la trampa de la "búsqueda del 99% de precisión".
• Aceptación General: Los stakeholders reportaron una alta utilidad percibida y una intención de continuar usando RefineML. El Dueño de Negocio señaló que el enfoque "tiene sentido" y expresó la intención de adoptarlo para futuras iniciativas.
• Limitaciones:
  • Operacionalización: Traducir las preocupaciones de PerSpecML en elementos de backlog de ML accionables (Historias de Datos/Modelo) resultó difícil para profesionales con menos experiencia y dependió fuertemente de una facilitación experimentada.
  • Estimación: La naturaleza estocástica del ML hizo que la estimación del esfuerzo fuera un desafío persistente y no resuelto. Los profesionales notaron que predecir resultados (por ejemplo, mejoras en la precisión) sigue siendo poco confiable.
  • Complejidad: Los desarrolladores junior encontraron el enfoque complejo sin guía experimentada, mientras que los stakeholders senior lo encontraron "genuinamente simple".

Significancia y Reivindicaciones
El artículo afirma que RefineML ofrece un marco práctico y centrado en los requisitos que cierra la brecha entre la gestión ágil y la naturaleza experimental del ML. Su principal significancia radica en:

1. Mejora de la Comunicación: Al hacer explícitos los requisitos, las restricciones y el progreso de ML a través de artefactos como los LoDs y los backlogs duales, el enfoque reduce la percepción de ML como una "caja negra" y mejora la alineación entre los equipos de negocio y técnicos.
2. Andamiaje de Factibilidad: Las fases tempranas de factibilidad (Datos/Modelo) proporcionan un marco estructural para fundamentar los proyectos en la realidad técnica, sacando a la luz los riesgos tempranamente y evitando fallos en etapas tardías.
3. Gobernanza de Co-evolución: La estructura de doble vía permite el refinamiento continuo de los modelos de ML sin retrasar la entrega de software, permitiendo la entrega incremental de valor mediante el concepto de MVM.

Los autores concluyen modestamente que, si bien RefineML gestiona eficazmente la comunicación y la gobernanza, no resuelve la incertidumbre intrínseca de la estimación del esfuerzo de ML. Sugieren que las mejoras futuras deberían centrarse en reducir las barreras de entrada para profesionales con menos experiencia y desarrollar mejores mecanismos para la estimación de esfuerzo consciente de ML.