Resumo Técnico: Análise de Impacto de Mudanças de Requisitos Baseada em LLM e de Baixo Custo

Declaração do Problema

Os requisitos de software são inerentemente sujeitos a mudanças ao longo do ciclo de vida de desenvolvimento. Identificar o impacto dessas mudanças em outros requisitos (Análise de Impacto de Mudanças, ou CIA) é crítico para manter a consistência, segurança e conformidade do sistema. No entanto, a identificação manual é propensa a erros, intensiva em esforço e frequentemente falha em capturar dependências implícitas ou semânticas, particularmente em sistemas grandes e complexos. Abordagens automatizadas tradicionais, como a recuperação de links de rastreabilidade (TLR) ou análise de dependência sintática, frequentemente têm dificuldade com a variabilidade das solicitações de mudança, que podem ser expressas como justificativas descritivas em linguagem natural em vez de modificações diretas de requisitos. As técnicas de TLR existentes, projetadas para recuperar links entre artefatos usando estilos de linguagem natural semelhantes, frequentemente falham em capturar as dependências sutis, indiretas e semânticas necessárias para prever com precisamente a propagação de mudanças quando uma justificativa de mudança é fornecida.

Metodologia: ProReFiCIA

Os autores propõem o ProReFiCIA (Prompt-Refinement-Filtering for CIA), uma abordagem automatizada baseada em LLM projetada para identificar requisitos impactados quando uma justificativa de mudança é introduzida. A metodologia é estruturada em duas etapas principais:

Etapa 1: Otimização de Modelo e Prompt

Antes de aplicar o pipeline completo, os autores realizaram uma avaliação extensiva para determinar a configuração de modelo e prompt mais robusta.

• Engenharia de Prompt: Usando o template RICE (Role, Instruction, Context, Examples), os autores projetaram 64 variações distintas de prompts. Essas variações incluíram ou excluíram sistematicamente detalhes específicos sobre a persona do modelo, instruções sobre o tratamento de dependências indiretas (ex: raciocínio de senso comum, relações semânticas) e contexto sobre a tarefa de CIA e o domínio.
• Seleção de Modelo: Cinco LLMs líderes foram avaliados: GPT-4o, DeepSeek, LLaMa, Mistral e Gemini.
• Estratégia de Execução: A abordagem utiliza Geração Aumentada por Cache (CAG), onde a lista completa de requisitos é fornecida ao LLM em uma única janela de contexto para reduzir o número de consultas e aproveitar o contexto compartilhado, em vez de consultas iterativas.

Etapa 2: O Pipeline ProReFiCIA

O núcleo da abordagem consiste em três etapas sequenciais aplicadas à combinação ideal de modelo-prompt:

1. Execução Inicial: O LLM processa a justificativa da mudança e a lista completa de requisitos para gerar um conjunto inicial de requisitos impactados.
2. Etapa de Refinamento: Para mitigar o problema "lost-in-the-middle" (onde modelos negligenciam itens em contextos longos), o LLM é instigado novamente com os requisitos restantes não selecionados. Esta verificação iterativa visa recuperar falsos negativos (true positives perdidos).
3. Etapa de Filtragem: Para reduzir falsos positivos e minimizar o esforço do analista, um algoritmo de filtragem de duas fases é aplicado:
   • Ranqueamento: O LLM reclassifica os requisitos candidatos com base na confiança e relevância lógica.
   • Seleção: Um modelo de Inferência de Linguagem Natural (NLI) ajustado (especificamente o nli-deberta-v3-large) avalia se o requisito selecionado e sua justificativa implicam logicamente a justificativa da mudança. O algoritmo retém os requisitos se eles forem implicados pelo modelo NLI ou se aparecerem no top 50% da lista ranqueada (preservando candidatos de alta confiança mesmo que o modelo NLI esteja incerto).

Integração de Conhecimento de Domínio (RAG)

Para abordar cenários onde o conhecimento específico do domínio é necessário para entender dependências implícitas (ex: entender "diretrizes de EMC" sem menção explícita), os autores integraram Geração Aumentada por Recuperação (RAG). Conceitos de domínio relevantes (obtidos da Wikipedia) são recuperados e injetados no contexto do prompt para aumentar a compreensão do modelo.

Principais Contribuições

1. Análise Sistemática de Prompt: O design e a avaliação de 64 variações de prompts para analisar como o detalhamento e a estrutura do prompt influenciam o desempenho do LLM na tarefa de CIA através de diferentes domínios e níveis de complexidade.
2. Avaliação Abrangente de Modelos: Uma avaliação comparativa de cinco LLMs distintos para identificar os modelos mais robustos para esta tarefa específica.
3. Framework ProReFiCIA: Uma abordagem automatizada que combina estágios de refinamento e filtragem com engenharia de prompt avançada para melhorar o desempenho enquanto minimiza a necessidade de dados de treinamento rotulados.
4. Validação Empírica: Avaliação em conjuntos de dados industriais não vistos, demonstrando alta relação custo-benefício.
5. Melhoria via RAG: Demonstração de que a incorporação de conhecimento de domínio via RAG aumenta significativamente o recall com um aumento mínimo de custo.

Resultados

A abordagem foi avaliada em dois conjuntos de dados: WASP (plataforma de serviço móvel) e SAT-DLink (sistema de gerenciamento de link de dados de satélite), com foco específico no subconjunto complexo e não visto SAT-DLink-Test.

• Robustez do Modelo: GPT-4o e LLa-Ma demonstraram a maior estabilidade e precisão através de diferentes variações de prompt e conjuntos de dados. O GPT-4o mostrou o comportamento mais consistente em relação aos detalhes do prompt.
• Configuração Ótima: A combinação de GPT-4o com o prompt P53 (uma configuração específica do template RICE) foi identificada como o melhor par modelo-prompt.
• Métricas de Desempenho (SAT-DLink-Test):
  • Baseline (GPT-4o-P53 sem pós-processamento): 73,3% de recall, 1,5% de custo (requisitos revisados).
  • ProReFiCIA (Refinamento + Filtragem): Alcançou 85,7% de recall enquanto exigiu que o analista revisasse apenas 3,0% do total de requisitos.
  • ProReFiCIA com RAG: A incorporação de conhecimento de domínio aumentou o recall para 95,8% com um leve aumento de custo para 3,4%.
• Comparação com Baselines: O ProReFiCIA superou significativamente os baselines, incluindo uma abordagem de Cadeia de Pensamento (CoT) baseada em RAG e técnicas de similaridade semântica (usando embeddings de LLM com várias estratégias de corte). Por exemplo, alcançou 34 pontos percentuais a mais de eficácia do que o melhor baseline de similaridade semântica (ST2) e 96 pontos percentuais a menos de custo do que o baseline de limiar fixo (ST1).
• Escalabilidade: O método exibe um crescimento aproximadamente linear no custo e tempo de execução com o número de requisitos, permanecendo computacionalmente estável.

Significância e Alegações

O artigo alega que o ProReFiCIA oferece uma solução de baixo custo para a análise de impacto de mudanças de requisitos. Ao aproveitar as capacidades de raciocínio dos LLMs através de uma cuidadosa engenharia de prompt e pós-processamento, a abordagem identifica com sucesso a vasta maioria dos requisitos impactados (até 95,8% com RAG) enquanto reduz drasticamente a carga de revisão humana (para ~3% do conjunto total de requisitos).

Os autores enfatizam que esta abordagem aborda as limitações das técnicas tradicionais de TLR ao lidar com justificativas de mudança complexas em linguagem natural e capturar dependências semânticas implícitas. Eles observam que o método requer apenas uma pequena quantidade de dados rotulados (para o ajuste fino do NLI) e é adaptável entre domínios. O estudo conclui que fornecer o contexto completo dos requisitos ao LLM (via CAG) combinado com refinamento e filtragem é superior à consulta iterativa ou seleção de candidatos baseada em recuperação para esta tarefa específica, pois permite que o modelo aproveite o contexto compartilhado para decisões mais informadas.

O artigo reconhece modestamente que, embora os resultados sejam promissores, uma validação adicional em conjuntos de dados maiores e mais diversos é necessária para fortalecer a validade externa, e o trabalho futuro focará em mitigar falsos positivos e adaptar o framework para outros artefatos, como código-fonte.