Applying a Requirements-Focused Agile Management Approach for Machine Learning-Enabled Systems

Resumo Técnico: Aplicação de uma Abordagem de Gestão Ágil Focada em Requisitos para Sistemas Habilitados por Aprendizado de Máquina

Definição do Problema
Sistemas habilitados por Aprendizado de Máquina (ML) apresentam desafios únicos para a Engenharia de Requisitos (RE) tradicional e para a gestão Ágil. Diferente do software determinístico, os sistemas de ML dependem da dependência de dados, experimentação e comportamento incerto do modelo, tornando os resultados dependentes da qualidade dos dados e das escolhas de modelagem. Embora a gestão Ágil esteja conceitualmente alinhada com a natureza iterativa do ML, sua aplicação direta frequentemente falha devido a:

• Expectativas irreais dos clientes e desalinhamento entre stakeholders de negócio e profissionais de ML.
• Dificuldades no planejamento de sprints e estimativa de esforço devido à natureza experimental das tarefas de ML (ex: pré-processamento de dados, engenharia de atributos/features).
• Falta de diretrizes bem definidas para adaptar as práticas ágeis a projetos de ML, levando a lacunas de comunicação e ambiguidade nos requisitos.
  As abordagens existentes muitas vezes falham em abordar plenamente como as preocupações específicas de ML devem ser identificadas e operacionalizadas em requisitos acionáveis desde o início do projeto.

Metodologia: A Abordagem RefineML
Os autores propõem e avaliam o RefineML, uma abordagem focada em requisitos para o refinamento contínuo e ágil de sistemas habilitados por ML. O RefineML integra três componentes principais derivados da literatura de estado da arte e de um estudo de mapeamento sistemático:

1. PerSpecML: Uma abordagem de especificação de requisitos que estrutura as preocupações de ML em cinco perspectivas: Objetivos do Sistema, Experiência do Usuário, Infraestrutura, Modelo e Dados.
2. Agile4MLS: Um framework de gestão ágil que adapta o Scrum para ML, introduzindo backlogs duplos (Software e ML), "Histórias de Dados" (Data Stories) e "Histórias de Modelo" (Model Stories), e um princípio de "dois sprints à frente" para desacoplar a experimentação de ML do desenvolvimento de software.
3. Conceitos de Lean R&D: Especificamente, o Modelo Mínimo Valioso (MVM) (um modelo viável, não otimizado, para entrega de valor precoce) e as Camadas de Pronto (LoD) (marcos que definem a robustez e validação do modelo).

Fases do Processo RefineML
A abordagem estrutura o ciclo de vida do projeto em quatro fases:

• Especificação Inicial: Utilizando o PerSpecML, a equipe define requisitos através das cinco perspectivas para estabelecer um entendimento comum de objetivos e critérios de avaliação.
• Concepção: O Product Owner estrutura dois backlogs complementares: um Backlog de Software (User Stories convencionais) e um Backlog de ML (Histórias de Dados e de Modelo). "Enablers" (facilitadores) são definidos para gerenciar dependências de infraestrutura e arquitetura.
• Viabilidade Técnica: A equipe realiza a Viabilidade de Dados (avaliando disponibilidade/qualidade dos dados), Viabilidade de Modelo (avaliando a adequação do algoritmo) e implementa uma API de Demo. A API de Demo emula a saída esperada do ML, permitindo que a equipe de software prossiga com a integração enquanto a equipe de ML continua a experimentação.
• Desenvolvimento Ágil: Seguindo o Agile4MLS, a equipe executa iterações sincronizadas. A equipe de ML trabalha "dois sprints à frente", evoluindo a API de Demo em um MVM e subsequentes LoDs, enquanto a equipe de software implementa funcionalidades baseadas na interface emulada.

Contexto de Avaliação e Coleta de Dados
O RefineML foi aplicado em uma Colaboração Indústria-Academia (IAC) de seis meses entre a PUC-Rio e a EXA, uma empresa brasileira de cibersegurança. O projeto visava desenvolver funcionalidades de ML para proteção contra fraudes online, incluindo detecção de mensagens de golpe, análise de URL e análise de captura de tela (screenshot).

• Participantes: Uma equipe de dez profissionais (desenvolvedores e cientistas de dados), um Líder de Projeto e Proprietários de Negócio (Business Owners).
• Coleta de Dados: Um questionário baseado no Modelo de Aceitação de Tecnologia (TAM) foi administrado à equipe de desenvolvimento para avaliar a Utilidade Percebida, Facilidade de Uso e Intenção de Uso. Entrevistas semiestruturadas foram realizadas com o Líder de Projeto e o Proprietário de Negócio.
• Análise: Os dados quantitativos foram analisados por meio de estatística descritiva, enquanto os dados qualitativos passaram por análise temática.

Principais Resultados e Descobertas

• Capacidade de Resolução de Problemas: O RefineML entregou com sucesso um conjunto de componentes de ML prontos para produção dentro de seis sprints. A equipe entregou um MVM funcional precocemente no ciclo, que superou a solução existente de prevenção de fraudes. A abordagem facilitou a orquestração do trabalho de via dupla (experimentação de ML vs. entrega de produto), reduzindo dependências de bloqueio.
• Adequação das Fases:
  • Especificação Inicial: Percebida como eficaz para alinhar expectativas, embora alguns a considerassem "longa" sem uma facilitação forte.
  • Concepção e Viabilidade: A estrutura de backlog duplo e o conceito de "Enablers" foram vistos como cruciais para separar a experimentação da integração. As etapas de Viabilidade de Dados e de Modelo foram consideradas passos "obrigatórios" para evitar a paralisia por análise.
  • Desenvolvimento: O princípio de "dois sprints à frente" e a abordagem MVM foram altamente valorizados por proporcionar "paz de espírito" aos cientistas de dados e evitar a armadilha da "busca pelos 99% de precisão".
• Aceitação Geral: Os stakeholders relataram alta utilidade percebida e intenção de continuar usando o RefineML. O Proprietário de Negócio observou que a abordagem "faz sentido" e expressou a intenção de adotá-la para iniciativas futuras.
• Limitações:
  • Operacionalização: Traduzir as preocupações do PerSpecML em itens de backlog de ML acionáveis (Histórias de Dados/Modelo) provou ser difícil para profissionais menos experientes e dependeu fortemente de facilitação experiente.
  • Estimativa: A natureza estocástica do ML tornou a estimativa de esforço um desafio persistente e não resolvido. Os profissionais notaram que prever resultados (ex: melhorias de precisão) permanece pouco confiável.
  • Complexidade: Desenvolvedores juniores acharam a abordagem complexa sem orientação experiente, enquanto stakeholders seniores a consideraram "genuinamente simples".

Significância e Alegações
O artigo alega que o RefineML oferece um framework prático e focado em requisitos que preenche a lacuna entre a gestão ágil e a natureza experimental do ML. Sua principal significância reside em:

1. Melhoria da Comunicação: Ao tornar os requisitos, restrições e o progresso de ML explícitos através de artefatos como LoDs e backlogs duplos, a abordagem reduz a percepção de ML como uma "caixa preta" e melhora o alinhamento entre as equipes de negócio e técnicas.
2. Estruturação de Viabilidade: As fases iniciais de viabilidade (Dados/Modelo) fornecem uma estrutura para fundamentar os projetos na realidade técnica, expondo riscos precocemente e evitando falhas tardias.
3. Governança de Coevolução: A estrutura de via dupla permite o refinamento contínuo dos modelos de ML sem atrasar a entrega de software, permitindo a entrega incremental de valor através do conceito de MVM.

Os autores concluem modestamente que, embora o RefineML gerencie efetivamente a comunicação e a governança, ele não resolve a incerteza intrínseca da estimativa de esforço de ML. Eles sugerem que melhorias futuras devem focar em reduzir as barreiras de entrada para profissionais menos experientes e desenvolver melhores mecanismos para a estimativa de esforço consciente de ML.