Automating the Detection of Requirement Dependencies Using Large Language Models

1. Problema

Os sistemas de software modernos são caracterizados por um grande volume de requisitos complexos e altamente interconectados. Identificar, classificar e gerenciar as dependências entre requisitos é crucial para decisões críticas de desenvolvimento, análise de impacto e garantia de consistência. No entanto, essa tarefa é:

• Desafiadora: Devido à ambiguidade inerente aos requisitos escritos em Linguagem Natural (NL) e à constante evolução dos sistemas.
• Custa Manualmente: A detecção é frequentemente feita manualmente, o que é demorado, propenso a erros e cognitivamente exaustivo.
• Limitada por Abordagens Existentes:
  • Baseadas em Recuperação (IR): Limitadas a classificações par a par e não capturam contexto específico do domínio.
  • Baseadas em Conhecimento (Ontologias): Requerem esforço intensivo para construção e manutenção.
  • Baseadas em Aprendizado de Máquina (ML): Dependem de grandes conjuntos de dados anotados e sofrem com o desequilíbrio de classes (requisitos independentes são muito mais comuns que os dependentes).

A lacuna atual reside na falta de exploração da eficácia dos Modelos de Linguagem Grandes (LLMs) para a detecção automatizada de dependências de requisitos, especialmente para tipos de dependências granulares.

2. Metodologia: LEREDD

Os autores propõem o LEREDD (LLM-Enabled REquirement Dependency Detection), uma abordagem automatizada que utiliza LLMs combinados com Geração Aumentada por Recuperação (RAG) e Aprendizado em Contexto (ICL).

O framework opera em duas fases principais:

• Fase de Recuperação de Conhecimento:

  1. Recuperação Contextual (RAG): Extrai informações específicas do domínio diretamente do documento de Especificação de Requisitos de Software (SRS), focando em descrições do sistema e listas de requisitos. Isso fornece ao modelo o contexto arquitetural necessário para inferir dependências que não são óbvias apenas pelo texto dos requisitos.
  2. Recuperação Dinâmica de Exemplos (ICL): Seleciona exemplos semanticamente similares de um conjunto de dados anotado para cada tipo de dependência (e para o caso de "sem dependência"). Utiliza o modelo SBERT para gerar embeddings e uma métrica de similaridade (distância Euclidiana com estratégia de "máximo") para encontrar os exemplos mais relevantes (k=4 por tipo).

• Fase de Inferência de Dependência:

  • Um LLM (no estudo, o GPT-4.1 foi selecionado como o melhor) recebe um prompt aumentado contendo:
    • O par de requisitos a ser analisado.
    • Definições formais dos tipos de dependência (ex: Requires, Implements, Conflicts, Contradicts, Details, Is similar, Is a variant).
    • O contexto recuperado do SRS.
    • Os exemplos dinâmicos recuperados.
  • O modelo deve gerar três saídas: (1) o tipo de dependência (ou "No_dependency"), (2) uma justificativa (rationale) explicando o raciocínio, e (3) uma pontuação de confiança (escala de 0 a 5). A exigência de justificativa visa reduzir alucinações e promover o raciocínio auto-reflexivo.

3. Contribuições Chave

• Novo Framework (LEREDD): Uma abordagem inovadora que integra RAG e ICL para superar as limitações de modelos zero-shot e métodos tradicionais de ML na detecção de dependências.
• Conjunto de Dados Anotado: Criação e disponibilização de um novo dataset público contendo 813 pares de requisitos anotados manualmente, cobrindo três sistemas automotivos distintos (Traffic Jam Assist, Automated Parking Assist e Adaptive Driving Beam).
• Avaliação Abrangente: Comparação empírica contra dois baselines de última geração (TF-IDF & LSA e BERT ajustado) e contra modelos LLM zero-shot.
• Análise de Robustez: Avaliação tanto intra-dataset quanto cross-dataset (treinamento em um sistema, teste em outro), demonstrando a generalização do modelo.

4. Resultados Principais

O LEREDD superou consistentemente os baselines e os modelos zero-shot em todas as métricas:

• Desempenho Geral:
  • Acurácia Média: 92,66%.
  • F1-Score Médio: 84,33%.
  • Classe "Sem Dependência": F1-Score de 96%. Isso é crítico, pois a maioria dos pares de requisitos em documentos reais não possui dependência; filtrar esses casos com alta precisão reduz drasticamente o esforço manual.
• Tipos de Dependência Granulares:
  • O LEREDD mostrou ganhos relativos massivos em tipos difíceis. Para a dependência Requires, houve ganhos de 94,87% e 105,41% no F1-score em comparação aos baselines.
  • O modelo zero-shot (GPT-4.1 puro) obteve um F1 médio de apenas 0,39, mostrando que sem contexto e exemplos, ele falha em detectar dependências finas.
• Avaliação Cross-Dataset (Robustez):
  • Enquanto o modelo fine-tuned BERT sofreu queda drástica de desempenho ao ser testado em dados de um sistema diferente do treinamento (devido à dependência de distribuição de dados), o LEREDD manteve alta estabilidade (F1 médio de 0,76), demonstrando superioridade em cenários onde dados anotados do sistema alvo não estão disponíveis.
• Configuração Ótima: A melhor configuração utilizou SBERT para embeddings, distância Euclidiana, estratégia de similaridade "Máximo" e 4 exemplos por tipo, combinados com RAG usando 10 chunks de 500 caracteres.

5. Significado e Impacto

• Redução de Custo e Esforço: Ao filtrar com alta precisão (96% de F1) os pares de requisitos que não têm dependência, o LEREDD permite que engenheiros de requisitos foquem apenas nos casos complexos e dependentes, acelerando significativamente o processo de análise.
• Superação das Limitações do Zero-Shot: O estudo prova que LLMs zero-shot são insuficientes para análise industrial de dependências devido à falta de contexto de domínio e raciocínio inferencial, mas que a combinação com RAG e ICL resolve esse problema.
• Generalização Superior: A capacidade do LEREDD de funcionar bem em sistemas não vistos durante o treinamento (sem necessidade de fine-tuning pesado) o torna uma solução prática para a indústria, onde a anotação de dados é escassa e custosa.
• Reprodutibilidade: A disponibilização do código, configurações e do dataset anotado abre caminho para pesquisas futuras e benchmarking na área de Engenharia de Requisitos.

Em resumo, o LEREDD representa um avanço significativo na automação da Engenharia de Requisitos, transformando a detecção de dependências de uma tarefa manual e propensa a erros em um processo automatizado, preciso e escalável, capaz de lidar com a complexidade e a ambiguidade dos requisitos modernos.