Towards Energy-aware Requirements Dependency Classification: Knowledge-Graph vs. Vector-Retrieval Augmented Inference with SLMs

Visão Geral

O artigo aborda o desafio de classificar dependências de requisitos de software (especificamente conflitos vs. neutralidade) de forma sustentável. Enquanto os Grandes Modelos de Linguagem (LLMs) demonstraram potencial para automatizar essa tarefa, seu alto custo computacional e impacto ambiental (energia e carbono) são problemáticos. A pesquisa propõe e avalia empiricamente um framework que utiliza Small Language Models (SLMs) (na faixa de 7B-8B parâmetros) aumentados por técnicas de recuperação de contexto, comparando duas abordagens principais: Recuperação Baseada em Grafos de Conhecimento (KGR) e Recuperação Semântica Baseada em Vetores (VSR).

---

1. O Problema

• Desafio na Engenharia de Requisitos (ER): A identificação de dependências conflitantes entre requisitos é complexa devido a contradições semânticas sutis, negações e restrições específicas de domínio. Métodos tradicionais de NLP muitas vezes falham em capturar essas nuances.
• Limitação dos LLMs: Embora LLMs grandes possam entender essas nuances, seu uso em larga escala gera desperdício excessivo de energia e altas emissões de carbono, tornando-os insustentáveis para processos contínuos de ER.
• Necessidade de Sustentabilidade: Há uma lacuna na literatura sobre como SLMs, que são mais eficientes, podem ser equipados com mecanismos de recuperação de contexto robustos para manter a precisão sem sacrificar a eficiência energética. A maioria das soluções de recuperação (RAG) baseia-se em vetores densos, que podem ser "cegos" estruturalmente em relação às hierarquias e dependências lógicas dos requisitos.

---

2. Metodologia

O estudo propõe um pipeline de recuperação de informações aumentada para classificação, comparando três cenários:

1. Baseline: SLM "vanilla" (sem recuperação).
2. VSR (Vector-based Semantic Retrieval): Usa embeddings densos (Sentence-Transformers) e busca por similaridade coseno em um banco de dados vetorial (Milvus).
3. KGR (Knowledge-Graph-based Retrieval): Usa um grafo de conhecimento estruturado (Neo4j) para capturar dependências hierárquicas e relacionais.

Detalhes da Abordagem KGR:

• Extração de Entidades: Utiliza o spaCy para extrair entidades estruturadas de cada requisito (Ator, Ação, Objeto, Atributo, Condição).
• Representação em Grafo: Os requisitos são nós, conectados às suas entidades por relações tipadas.
• Mecanismo de Recuperação: Para um requisito de consulta, o sistema percorre o grafo para encontrar requisitos candidatos que compartilham entidades ou possuem proximidade estrutural.
• Pontuação: A relevância é calculada por uma fórmula ponderada que considera:
  • Sobreposição de entidades ($\alpha$).
  • Concordância de tipos de relacionamento ($\beta$).
  • Proximidade no grafo (distância do caminho mais curto, $\gamma$).

Configuração Experimental:

• Modelos: Três SLMs de código aberto (DeepSeek-Coder-7B, Meta-Llama-3-8B, Mistral-7B).
• Datasets: Cinco conjuntos de dados heterogêneos (OpenCOSS, WorldVista, UAV, PURE, IBM-UAV) cobrindo domínios críticos como saúde, aeroespacial e automotivo.
• Estratégias de Prompting: Zero-Shot, Few-Shot e Chain-of-Thought (CoT).
• Métricas de Avaliação:
  • Desempenho: F1-score macro, Precisão, Recall, Recall@K.
  • Sustentabilidade: Consumo de energia (Wh), Latência (s) e Emissões de Carbono (gCO2eq).
  • Métrica Sintética: EcoScore (F1-score dividido pelo carbono total).

---

3. Principais Contribuições

1. Comparação Empírica Sistemática: Primeiro estudo a comparar KGR vs. VSR especificamente para detecção de dependências de requisitos com SLMs, sob restrições rigorosas de energia e carbono.
2. Pipeline KGR Inovador: Propõe um pipeline que supera a "cegueira estrutural" dos vetores densos, capturando dependências hierárquicas essenciais para evitar falsos positivos em conflitos.
3. Análise de Sustentabilidade: Introduz uma análise de três pilares (energia, latência, carbono) integrada às métricas de precisão, definindo o conceito de EcoScore para avaliar o trade-off desempenho-ambiente.
4. Ciência Aberta: Disponibilização de código-fonte, prompts, análise de sensibilidade e pacote de replicação para a comunidade.

---

4. Resultados Chave

RQ1: KGR vs. VSR (Sustentabilidade vs. Eficiência)

• Eficiência Energética: Em 4 dos 5 conjuntos de dados (Pure, OpenCoss, UAV, WorldVista), o KGR reduziu o consumo de energia em 71-75% e as emissões de carbono em até 80% em comparação ao VSR, mantendo uma eficácia de recuperação (Recall@K) comparável (diferença ≤ 5%).
• Latência: O KGR apresentou uma sobrecarga de latência de aproximadamente 45-48% devido à complexidade da travessia do grafo, mas o ganho ambiental compensa esse custo em cenários de dados médios.
• Caso Especial (IBM-UAV): No conjunto de dados maior e mais denso (IBM-UAV), o VSR superou o KGR em eficiência energética e recall, sugerindo que a indexação vetorial escala melhor em corpora massivos com profundidade de recuperação muito alta (K=20).

RQ2: Impacto das Estratégias de Prompting

• Zero-Shot: Ofereceu o melhor perfil de sustentabilidade (menor uso de tokens, energia e carbono) e, surpreendentemente, alcançou F1-scores competitivos ou superiores para modelos como Mistral e DeepSeek.
• Few-Shot: Quase dobrou o uso de tokens e aumentou o carbono em 5-6%, sem ganhos consistentes de precisão.
• Chain-of-Thought (CoT): Melhorou significativamente a precisão para o modelo Llama, mas com penalidades moderadas de sustentabilidade.
• Conclusão: O design do prompt é uma decisão de sustentabilidade; o Zero-Shot com o modelo Mistral (7B) apresentou o melhor equilíbrio global (EcoScore mais alto).

RQ3: Impacto do Pipeline Aumentado (KGR/VSR)

• Ao reduzir o espaço de busca de pares de candidatos (de 35.498 para 17.123 pares), o pipeline aumentado reduziu o consumo total de energia e carbono em 51,8% em comparação a uma inferência exaustiva (vanilla), mantendo ou melhorando o F1-score.

---

5. Significado e Conclusão

O estudo demonstra que a sustentabilidade na Engenharia de Requisitos não deve depender apenas de modelos menores, mas de uma arquitetura inteligente que reduza o espaço de busca antes da inferência.

• KGR é superior para dados estruturados: Para requisitos de software, onde a estrutura e as relações hierárquicas são críticas, a recuperação baseada em grafos oferece uma vantagem ambiental significativa sem sacrificar a precisão, superando a abordagem baseada puramente em vetores em cenários de tamanho médio.
• Eficiência de Pipeline: A maior economia de energia vem da redução do número de inferências necessárias (filtragem de ruído), e não apenas da otimização do modelo em si.
• Direção Futura: O trabalho estabelece um roteiro para "IA Verde" na Engenharia de Requisitos, sugerindo que sistemas futuros devem priorizar a redução do espaço de busca pré-inferência e o uso de SLMs com prompts eficientes (Zero-Shot) para operações sustentáveis.

Em resumo, o artigo valida que é possível automatizar a detecção de conflitos de requisitos com alta precisão e baixo impacto ambiental, utilizando uma combinação de SLMs, grafos de conhecimento e estratégias de recuperação otimizadas.