Resumo Técnico: Do Fracasso ao Alinhamento: Um Framework de Engenharia de Requisitos para Sistemas de Aprendizado de Máquina

Declaração do Problema

Organizações que desenvolvem Sistemas de Aprendizado de Máquina (MLS) enfrentam desafios significativos para garantir que esses sistemas sejam confiáveis e alinhados às necessidades das partes interessadas. Diferente do software tradicional, o comportamento de um MLS é aprendido a partir de dados em vez de ser explicitamente programado, tornando o desempenho dependente da distribuição e o fracasso inerente devido à generalização e incerteza. As práticas atuais de Engenharia de Requisitos (RE) lutam para modelar e raciocinar sistematicamente sobre os requisitos de MLS porque:

1. Subespecificação: Os domínios operacionais são de abertura indeterminada, e uma especificação completa e antecipada é irrealista.
2. Premissas Implícitas: Premissas de domínio (ex: cobertura de dados, limites de sensoriamento) são frequentemente implícitas, levando ao desalinhamento entre os objetivos dos stakeholders, as premissas do domínio e o comportamento do sistema quando ocorrem falhas.
3. Falta de Integração: Embora a detecção de falhas seja comum nos testes de ML, há uma lacuna na integração sistemática da descoberta de falhas no processo de RE para impulsionar o refinamento de requisitos. As abordagens existentes frequentemente tratam falhas como artefatos de teste ou problemas de depuração, em vez de evidência diagnóstica para refinar requisitos e premissas de domínio.

O artigo aborda três Questões de Pesquisa (RQs):

• RQ1: Como o raciocínio sobre requisitos pode ser operacionalizado para MLS?
• RQ2: Como a descoberta e mitigação de falhas podem ser integradas sistematicamente ao processo de RE?
• RQ3: Até que ponto a adaptação cross-layer impulsionada por falhas melhora mensuravelmente a satisfação dos requisitos?

Metodologia: O Framework REAL

Os autores propõem o REAL (Requirements Engineering for mAchines that Learn - and Fail), um framework baseado em modelos que trata o fracasso como um constructo de primeira classe. O REAL opera em três princípios centrais: tecer requisitos de dados, de modelo e de sistema; usar o fracasso para impulsionar a exploração de requisitos alternativos; e o refinamento iterativo e rastreável.

O framework estabelece um loop de alinhamento iterativo envolvendo três fases:

1. Identificação de Falhas através da Exploração de Cenários

Em vez de assumir a satisfação uniforme de requisitos, o REAL operacionaliza o domínio como um espaço de cenários parametrizado $D(\theta)$.

• Geração Guiada por Gramática: Utiliza Evolução Gramatical (GE) com uma Linguagem de Domínio Específico (DSL) definida por uma gramática formal para gerar automaticamente cenários estruturados (atores, ambientes, comportamentos).
• Filtragem de Admissibilidade: O framework distingue entre falhas válidas (ocorrendo dentro das premissas admissíveis do domínio) e falhas espúrias (gatilhadas por cenários fora do escopo). Apenas falhas válidas, onde $D(\theta), S \not\models R$ e as restrições de admissibilidade se mantêm, são propagadas para análise.

2. Análise de Falhas através da Análise de Obstáculos

As falhas são reinterpretadas como obstáculos em um modelo de metas estilo KAOS.

• Interpretação de Contraexemplos: Um traço de falha é tratado como um contraexemplo para a relação de satisfação.
• Derivação de Obstáculos: As falhas são agrupadas para identificar padrões recorrentes, elevando contraexemplos empíricos em condições de obstáculos explícitos ($O$) onde $O \Rightarrow \neg R$. Isso diagnostica desalinhamentos entre os objetivos dos stakeholders, premissas de domínio e comportamento do sistema.

3. Mitigação de Falhas através de Adaptação Multi-Camada

O REAL distingue quatro camadas de adaptação para restaurar a relação de satisfação ($D, S \models R$):

• Nível de Dados (Data-level): Aumentar as distribuições de treinamento ou reequilibrar classes para abordar lacunas distributivas.
• Nível de Modelo (Model-level): Ajustar arquiteturas, hiperparâmetros ou limiares de decisão para remodelar a fronteira de decisão aprendida.
• Nível de Sistema (System-level): Introduzir lógica de controle consciente de confiança, comportamentos de segurança (fail-safe) ou redundância sem modificar o modelo aprendido em si.
• Nível de Requisito (Requirement-level): Refinar os próprios requisitos ($R$) ou as premissas de domínio ($D$) (ex: delimitar o Domínio de Design Operacional) quando as falhas revelam necessidades subespecificadas ou premissas irreais.

Este processo é iterativo; novas adaptações podem expor novas violações, exigindo novos refinamentos do trio $(D, S, R)$.

Principais Contribuições

O artigo apresenta quatro contribuições principais:

1. Ligação Operacional: Conecta requisitos de stakeholders à variabilidade de domínio executável via exploração de cenários guiada por gramática, permitindo a descoberta sistemática de contraexemplos relevantes para o requisito.
2. Interpretação Baseada em Obstáculos: Reinterpreta falhas empíricas como obstáculos em um modelo de metas, fornecendo um mecanismo principiado para diagnosticar desalinhamento.
3. Estratégia de Mitigação Multi-Camada: Define e avalia a adaptação coordenada entre as camadas de dados, modelo, sistema e requisitos, mostrando explicitamente como as decisões de mitigação afetam a satisfação dos requisitos.
4. Demonstrador de Direção Autônoma: Fornece um pacote de replicação publicamente disponível demonstrando o framework em um sistema de frenagem automática usando CARLA, Scenic e geração de cenários evolutiva.

Resultados Experimentais

O framework foi avaliado usando um sistema de frenagem automática com um componente de detecção de pedestres (YOLOv5) e um controlador de frenagem determinístico.

Configuração Experimental:

• Ambiente: Simulador CARLA com Scenic para especificação de cenários.
• Geradores: GRAPE (Evolução Gramatical) para geração de cenções.
• Foco: Variação sistemática de tamanho de pedestre, distância, direção, vestimenta e clima (nevoeiro).

Descobertas:

• Identificação de Falhas: O framework identificou com sucesso violações de requisitos válidas, como detecções perdidas de pedestres crianças (relacionadas ao tamanho), falhas sob baixa saliência visual (contraste de vestimenta) e desempenho degradado em nevoeiro (visibilidade).
• Análise de Obstáculos: As falhas foram agrupadas em três classes de obstáculos: PedestrianSizeTooSmall (TamanhoDoPedestreMuitoPequeno), VisualSaliency (SaliênciaVisual) e AdverseWeather (ClimaAdverso).
• Eficácia da Mitigação:
  • Nível de Modelo (M1): Mudar para um modelo maior (YOLOv5m) melhorou a precisão (+17%), mas introduziu falhas de latência em cenários de curta distância.
  • Nível de Dados (M2): O ajuste fino direcionado para dados de pedestres crianças eliminou as falhas relacionadas ao tamanho e melhorou significativamente o desempenho no nevoeiro (a taxa de colisão caiu de 100% para 0% em clima nominal).
  • Nível de Sistema (M4): A implementação de frenagem consciente de confiança reduziu as taxas residuais de colisão com crianças de 100% para 8% sem retreinar o modelo.
  • Nível de Requisito (M5): Escopar explicitamente o Domínio de Design Operacional (ODD) e definir limiares quantitativos esclareceu os limites das garantias de segurança.
• Impacto Geral: A adaptação coordenada cross-layer reduziu as taxas de colisão com crianças de 100% (baseline) para 8% e eliminou falhas em clima nominal. O estudo demonstrou que a otimização isolada do modelo é insuficiente; o alinhamento requer abordar a interação entre dados, modelo, sistema e requisitos.

Significância e Alegações

O artigo alega que o REAL fornece um processo sistemático para integrar resultados de testes em artefatos de RE. Sua significância reside em:

• Mudança de Perspectiva sobre a Falha: Mover a visão da falha de um defeito técnico para uma evidência diagnóstica de desalinhamento entre requisitos, premissas e implementação.
• Operacionalização do Alinhamento: Fornecer um mecanismo concreto para ligar metas de alto nível dos stakeholders a comportamentos de baixo nível do sistema e premissas de domínio através da análise de obstáculos.
• Coordenação Cross-Layer: Demonstrar que restaurar o alinhamento em MLS requer adaptação coordenada entre múltiplas camadas (dados, modelo, sistema, requisitos) em vez de correções isoladas.

Os autores mantêm uma postura modesta, reconhecendo que a avaliação é limitada a um exemplo simplificado de segurança crítica e que o processo não garante convergência em todos os casos. Eles observam que, embora o framework estruture o processo, o julgamento humano permanece essencial para interpretar falhas e selecionar estratégias de mitigação. Trabalhos futuros são propostos para estender o REAL para Grandes Modelos de Linguagem (LLMs), incorporar valores de stakeholders de forma mais profunda e investigar as condições de convergência do loop de alinhamento iterativo.