Classifier or Prompt: A Case Study on Legal Requirements Traceability

Título: Classificador ou Prompt: Um Estudo de Caso sobre Rastreabilidade de Requisitos Legais

1. Problema e Contexto

O desenvolvimento de software moderno enfrenta desafios crescentes de conformidade com regulamentações legais e éticas, como o Regulamento Geral sobre a Proteção de Dados (GDPR) da União Europeia. Um pré-requisito fundamental para demonstrar essa conformidade é a Rastreabilidade de Requisitos Legais (LRT - Legal Requirements Traceability), que envolve conectar requisitos técnicos de software a disposições legais específicas.

Os principais desafios identificados são:

• Discrepância Linguística: Existe um abismo vocabular e estrutural entre a linguagem técnica dos requisitos de software e a linguagem jurídica das regulamentações.
• Complexidade Semântica: A conexão muitas vezes não é literal (ex: um requisito sobre "parar notificações" implica o direito de "retirar consentimento"), exigindo raciocínio contextual que vai além da sobreposição de palavras.
• Escassez de Dados: A falta de grandes conjuntos de dados anotados (pares requisito-regulamento) dificulta o treinamento de modelos supervisionados tradicionais.
• Ineficiência Manual: A análise manual para sistemas complexos com centenas de requisitos é inviável sob restrições de tempo.

2. Metodologia e Abordagens Propostas

Os autores investigam duas soluções automatizadas baseadas em Modelos de Linguagem (LMs) e Modelos de Linguagem de Grande Escala (LLMs):

A. Kashif (Abordagem Baseada em Classificador)

• Tecnologia: Utiliza Sentence Transformers (ST) e similaridade semântica (cosseno).
• Funcionamento:
  1. Pré-treino e Ajuste Fino (Fine-tuning): O modelo é ajustado em um conjunto de dados anotado (pares requisito-disposição) para aprender a representar semanticamente frases inteiras, capturando equivalências conceituais mesmo com vocabulário diferente.
  2. Predição: Calcula a similaridade entre cada requisito e cada disposição legal.
  3. Limiar (Threshold): Utiliza diferentes estratégias para definir o limiar de decisão (constante, dinâmico, baseado em delta máximo ou ajustado) para prever se um link de rastreabilidade existe.
• Objetivo: Identificar links de rastreabilidade baseados na similaridade semântica profunda.

B. Rice LRT (Abordagem Baseada em Prompting de LLM)

• Tecnologia: Utiliza o modelo GPT-4o com engenharia de prompts estruturada.
• Framework: Baseia-se no framework RICE (Role, Instruction, Context, Constraints, Examples), adaptado para LRT.
• Funcionamento:
  1. Design do Prompt: O prompt inclui contexto (tarefa de analista), exemplos few-shot (com requisitos, links e justificativas), instruções detalhadas (encorajando raciocínio sobre links indiretos e priorizando recall) e um indicador de saída claro.
  2. Execução: O LLM recebe o requisito e a lista de disposições, gerando os links previstos e, crucialmente, uma justificativa (rationale) para cada escolha.
• Objetivo: Aproveitar o raciocínio e o conhecimento pré-treinado do LLM para inferir conexões implícitas e complexas.

3. Contribuições Principais

1. Proposta de Duas Abordagens Automatizadas: Desenvolvimento de Kashif (baseado em ST) e Rice LRT (baseado em LLMs com prompts engenheirados).
2. Novo Dataset: Criação de um conjunto de dados inédito e complexo contendo 310 requisitos de software mapeados para 26 disposições do GDPR, cobrindo diversos domínios e tipos de requisitos (histórias de usuário e requisitos "shall").
3. Avaliação Empírica Rigorosa: Comparação extensiva contra sete baselines da literatura (LSI, LDA, GloVe, TraceBERT, RoBERTa, LLaMa e um classificador probabilístico B) em dois cenários: o dataset público HIPAA e o novo dataset GDPR.
4. Análise de Engenharia de Prompt: Demonstração de que prompts estruturados (Rice) superam significativamente prompts simples ou genéricos, fornecendo não apenas links, mas justificativas lógicas.

4. Resultados Experimentais

No Dataset HIPAA (Benchmark Padrão):

• Kashif superou todos os baselines, alcançando um F2-score de ≈63%.
• Houve uma melhoria substancial de 21 pontos percentuais (pp) em relação ao melhor baseline existente.
• O modelo Kashif demonstrou superioridade em métricas de ordenação (MAP) e discriminação (AUC = 0.93).

No Dataset GDPR (Cenário Complexo e Não Visto):

• Limitação do Classificador: O Kashif (ajustado apenas no HIPAA) teve desempenho limitado no GDPR, com um recall médio de apenas 15% e F2 de 13,5%, indicando dificuldade de generalização para domínios e complexidades não vistos.
• Superioridade do LLM: A abordagem Rice LRT (GPT-4o) superou tanto o Kashif quanto os baselines baseados em prompts.
  • Recall: 84% (vs. 15% do Kashif).
  • F2-score: 61% (vs. 13,5% do Kashif).
  • Melhoria sobre Baselines: Aumento de 34 pp no F2-score em relação ao melhor prompt de baseline.
• Eficiência Humana: Com o Rice LRT, os analistas precisariam verificar apenas 9,5% das disposições totais para encontrar 84% dos links reais, reduzindo drasticamente o esforço manual.
• Qualidade da Justificativa: O modelo forneceu rationales que ajudaram a entender a lógica por trás dos links, mesmo quando os links previstos não correspondiam exatamente ao ground truth (falsos positivos que eram semanticamente relevantes).

5. Significado e Conclusão

O estudo conclui que:

1. Soluções Genéricas são Insuficientes: Técnicas de rastreabilidade tradicionais e modelos de linguagem não adaptados especificamente para artefatos legais não conseguem lidar com as nuances e a discrepância linguística do domínio jurídico.
2. Engenharia de Prompt é Crucial: A simples consulta a um LLM não é suficiente; a estruturação do prompt (contexto, exemplos, instruções de raciocínio) é fundamental para desbloquear o potencial do modelo em tarefas complexas de LRT.
3. Compensação entre Abordagens: Embora os classificadores baseados em fine-tuning (Kashif) funcionem bem em domínios específicos onde há dados de treino, os LLMs com prompts engenheirados (Rice LRT) oferecem uma generalização superior e um raciocínio mais robusto para regulamentações complexas e não vistas, como o GDPR.
4. Impacto Prático: A automação via LLMs pode transformar a conformidade regulatória, permitindo que engenheiros de requisitos validem apenas um subconjunto pequeno e gerenciável de links, focando seus esforços na validação final em vez da descoberta manual.

O trabalho destaca a necessidade de futuras pesquisas envolvendo especialistas humanos em um ciclo de feedback (human-in-the-loop) para refinar ainda mais a precisão e lidar com a subjetividade inerente à interpretação legal.