Resumo Técnico: TVR – Validação e Recuperação de Rastreabilidade através de Geração Aumentada por Recuperação

1. Definição do Problema

No desenvolvimento de software automotivo, manter a rastreabilidade precisa entre requisitos de stakeholders (necessidades de alto nível) e requisitos de sistema (especificações detalhadas) é crítico para garantir consistência, correção e conformidade regulatória (ex: ASPICE, ISO 26262). No entanto, os processos manuais de rastreabilidade são propensos a erros, levando a:

• Propagação inadequada de mudanças: Atualizações nos requisitos de stakeholders frequentemente falham em se refletir nos requisitos de sistema, criando vínculos desatualizados ou inválidos.
• Erros de mapeamento humano: Mapeamentos incorretos ou links ausentes surgem devido à natureza laboriosa da verificação manual.
• Variações linguísticas e estruturais: Os requisitos são expressos com terminologias, níveis de abstração e templates variados (ex: "Perda de Comunicação" vs. "Dados Implausíveis" ou DTCs - Códigos de Diagnóstico de Falha). Abordagens tradicionais baseadas em similaridade (ex: TF-IDF, SentenceBERT) e o prompting padrão de Grandes Modelos de Linguagem (LLM) (Zero-Shot, Chain-of-Thought) têm dificuldade em generalizar através dessas variações heterogêneas e frequentemente falham em distinguir diferenças semânticas sutis nas definições de mensagens e sinais.

O desafio específico abordado é a validação dos links de rastreabilidade existentes e a recuperação de links ausentes entre requisitos de stakeholder e de sistema para DTC, onde um requisito de sistema pode cobrir múltiplos requisitos de stakeholder, e a similaridade textual por si só é insuficiente para a validação.

2. Metodologia: A Abordagem TVR

Os autores propõem o TVR (Traceability Validation and Recovery), um framework que utiliza Geração Aumentada por Recuperação (RAG) potencializada com Aprendizado em Contexto (In-Context Learning). Diferente dos sistemas RAG tradicionais que recuperam documentos externos para aumentar o conhecimento de domínio, o TVR recupera pares de requisitos previamente rotulados para servirem como exemplos de raciocínio.

Componentes Principais

1. Recuperador (Retriever):

   • Entrada: Um par de teste $\langle \text{stakeReq}, \text{sysReq} \rangle$.
   • Mecanismo: Gera embeddings para pares de requisitos concatenados usando o modelo Amazon Titan (selecionado devido a restrições do parceiro industrial).
   • Seleção: Recupera os $k$ exemplos mais similares válidos (positivos) e os $k$ exemplos mais similares inválidos (negativos) de um banco de dados de treinamento ($D_{train}$).
   • Similaridade: Utiliza Similaridade de Cosseno (otimizada em $k=3$) via biblioteca FAISS.

2. Gerador (Generator):

   • Modelo: Avaliado primordialmente utilizando Claude 3.5 Sonnet, embora 13 LLMs tenham sido testados.
   • Estratégia de Prompting: O gerador recebe um prompt contendo:
     • Instrução: Uma tarefa específica para verificar se o requisito de sistema cobre a mensagem ou sinal específico no requisito de stakeholder (estreitando o escopo de rastreabilidade geral para cobertura de sinal específica).
     • Contexto: Os $k \times 2$ exemplos recuperados (válidos e inválidos) para guiar o raciocínio do modelo.
     • Entrada: O par de teste a ser avaliado.
     • Indicador de Saída: Uma resposta binária "Sim" ou "Não".
   • Objetivo: O LLM usa os exemplos recuperados como "demonstrações" para aprender os padrões de decisão para a correção da rastreabilidade, em vez de depender da recuperação de conhecimento externo.

3. Recuperação de Rastreabilidade (Pré-processamento):
   Para recuperar links ausentes sem uma busca exaustiva de produto cartesiano, o TVR emprega uma estratégia de filtragem de três etapas:

   • Correspondência de Variação: Pareia requisitos por tipo de DTC (ex: "Perda de Comunicação" só se vincula a "Perda de Comunicação").
   • Correspondência de Condição: Pareia requisitos com base no tipo de condição (Mature vs. Demature).
   • Correspondência de Sobreposição de Mensagem: Filtra pares que não compartilham pelo menos um token comum de mensagem ou sinal.
   • Os candidatos filtrados são então validados pelo TVR para identificar links válidos ausentes.

3. Principais Contribuições

• Framework TVR: Uma abordagem novel baseada em RAG especificamente projetada para validar e recuperar links de rastreabilidade em sistemas automotivos, utilizando exemplos de contexto em vez de recuperação de conhecimento externo.
• Robustez a Variações: Capacidade demonstrada de lidar com variações de requisitos não vistas (diferentes templates e terminologias) ao alavancar a compreensão semântica de LLMs aumentada com exemplos representativos.
• Avaliação Abrangente: Uma avaliação rigorosa através de 13 LLMs (incluindo famílias Claude, Llama, Mistral e Titan) e quatro estratégias de prompting (Zero-Shot, CoT, Few-Shot, Self-Consistency), comparando o TVR contra baselines de estado da arte (LiSSA, TF-IDF, SentenceBERT).
• Validação Industrial: Avaliação em um conjunto de dados industrial real de 2.132 pares de requisitos de DTC de um parceiro automotivo, com ground truth estabelecido através de anotação estruturada por engenheiros de sistema.

4. Resultados Experimentais

O estudo foi conduzido em um dataset de 1.320 requisitos de stakeholder vinculados a 48 requisitos de sistema (2.132 links).

• Validação de Rastreabilidade:

  • Acurácia: O TVR (usando Claude 3.5 Sonnet com RAG) alcançou 98,87% de acurácia.
  • Macro-F1: Alcançou 96,72%, superando significativamente o melhor baseline (LiSSA-CoT com 52,89% e SentenceBERT com 57,82%).
  • Comparação: O prompting Zero-Shot no mesmo modelo rendeu apenas 79,55% de acurácia, destacando a necessidade da abordagem RAG/In-Context.
  • Robustez: Quando testado em variações de requisitos não vistas (validação cruzada através de quatro categorias de variação), o TVR manteve 97,13% de acurácia e um Macro-F1 de 90,86%.

• Recuperação de Rastreabilidade:

  • Após o pré-processamento de três etapas reduzir o pool de candidatos de ~30k para 1.919 pares, o TVR identificou 502 potenciais links ausentes.
  • Corretude: A verificação humana confirmou que 85,50% dos links recuperados estavam corretos.

• Análise de Erros:

  • Os erros ocorreram principalmente quando o LLM focou em condições de gatilho em vez da mensagem de entrada alvo, ou quando considerou componentes além do sinal específico (ex: regras de validação).
  • O TVR e os baselines baseados em recuperação (SentenceBERT) mostraram padrões de erro ortogonais, sugerindo potencial para abordagens híbridas.

5. Significância e Alegações

O artigo afirma que o TVR oferece uma solução prática e de alta acurácia para ambientes industriais onde a rastreabilidade de requisitos é crítica, mas mantida manualmente.

• Eficiência: Reduz significativamente o esforço manual necessário para a verificação de rastreabilidade, abordando as restrições de tempo e custo relatadas pelos parceiros industriais.
• Confiabilidade: A alta acurácia (98,87%) e robustez a variações não vistas tornam-no adequado para implantação em sistemas automotivos complexos e evolutivos.
• Interpretabilidade: O framework suporta explicabilidade; quando configurado para tal, o LLM pode fornecer o raciocínio passo a passo (ex: identificando o sinal específico e verificando sua presença no requisito de sistema), auxiliando engenheiros na verificação de decisões automatizadas.
• Limitações e Trabalho Futuro: Os autores reconhecem que a abordagem depende da qualidade do banco de dados de recuperação e que falsos positivos podem ocorrer devido à falha ocasional do modelo em aderir estritamente ao foco de "apenas mensagem". Eles sugerem que o trabalho futuro pode envolver a hibridização da similaridade de recuperação com o raciocínio de LLM e o refinamento do pré-processamento para excluir condições de gatilho.

Os autores concluem que, embora o TVR seja atualmente adaptado para requisitos de DTC automotivos, seus princípios subjacentes de uso de aprendizado em contexto aumentado por recuperação para validação de requisitos são adaptáveis a outros domínios que exigem rastreabilidade de requisitos de alto nível para baixo nível.