Tug-of-War within A Decade: Conflict Resolution in Vulnerability Analysis via Teacher-Guided Retrieval-Augmented Generations

Resumo Técnico: CRVA-TGRAG

1. O Problema: Conflito de Conhecimento em Análise de Vulnerabilidades

O artigo aborda um desafio crítico no uso de Grandes Modelos de Linguagem (LLMs) para análise de segurança cibernética, especificamente no contexto de CVEs (Common Vulnerabilities and Exposures).

• Desatualização de Conhecimento: Os LLMs possuem uma "data de corte de conhecimento" (knowledge cutoff). Como o banco de dados de CVEs é atualizado frequentemente (horariamente), as informações internas do modelo tornam-se obsoletas rapidamente.
• Conflito de Conhecimento: Quando um usuário pergunta sobre uma vulnerabilidade atualizada, o LLM pode tentar responder com base em seu treinamento antigo (desatualizado) ou com base em dados recuperados de fontes externas (RAG). Isso gera conflitos, onde o modelo pode alucinar, fabricar fatos ou escolher a versão antiga da informação em detrimento da nova.
• Limitações do RAG Tradicional: Métodos convencionais de Retrieval-Augmented Generation (RAG) muitas vezes falham na recuperação precisa de CVEs específicos devido à alta similaridade semântica entre números de CVE adjacentes e à dificuldade de distinguir versões antigas das novas nos documentos recuperados.

2. Metodologia: Framework CRVA-TGRAG

Os autores propõem um framework inovador de duas etapas chamado CRVA-TGRAG (Conflict Resolution in Vulnerability Analysis via Teacher-Guided Retrieval-Augmented Generation). O sistema é inspirado na dinâmica de aprendizado de alunos guiados por professores.

Fase 0: Pré-processamento de Dados

• Coleta de dados oficiais do NVD (National Vulnerability Database) e repositórios GitHub do projeto CVE.
• Conversão de dados JSON para CSV para facilitar o processamento.
• Uso de LLMs para comparar versões antigas e novas de cada CVE, gerando um conjunto de dados estruturado que destaca as mudanças (diferenças entre "OldValue" e "NewValue").

Fase I: Recuperação e Aumento (Retrieval & Augmentation)

• Segmentação Semântica (Parent Document Segmentation): Em vez de cortar documentos arbitrariamente, o sistema utiliza similaridade semântica (baseada em embeddings) para garantir que todas as informações de um mesmo CVE permaneçam no mesmo bloco (chunk). Isso evita a fragmentação de contexto.
• Recuperação em Conjunto (Ensemble Retrieval): Combina duas técnicas para melhorar a precisão:
  1. BM25: Para busca baseada em palavras-chave (útil para IDs específicos).
  2. Similaridade Vetorial: Para busca semântica.
  • Os pesos são ajustados (0.25 para BM25 e 0.75 para vetorial) para priorizar a relevância semântica, mas mantendo a precisão no ID.

Fase II: Geração Guiada por Professor (Teacher-Guided Generation)

• Otimização de Preferência (DPO - Direct Preference Optimization): O LLM é ajustado (fine-tuned) usando uma técnica de preferência supervisionada.
• Mecanismo de "Professor": O conjunto de dados de treinamento é construído de forma que o modelo aprenda a preferir a resposta baseada na versão atualizada do CVE (a "verdadeira") em detrimento da versão antiga ou desatualizada. Isso ensina o modelo a alinhar suas preferências com a informação mais recente, resolvendo o conflito interno.

3. Contribuições Principais

1. Conjunto de Dados de Conflito de Conhecimento: Os autores criaram e disponibilizaram um dataset único contendo 1.260 pares de conflitos de CVEs (itens publicados e modificados na última década), focando em vulnerabilidades de alto risco. Este é o primeiro dataset dedicado a esse problema específico na análise de vulnerabilidades.
2. Framework CRVA-TGRAG: Uma arquitetura de duas etapas que integra recuperação otimizada (RAG) com ajuste de preferência (DPO), demonstrando ser superior a métodos tradicionais de RAG ou fine-tuning isolado.
3. Métricas de Avaliação Multidimensionais: Estabelecimento de critérios de pontuação claros para avaliar a capacidade dos LLMs em resolver conflitos de conhecimento, utilizando métricas de precisão, fidelidade e relevância.

4. Resultados Experimentais

Os experimentos foram realizados comparando o CRVA-TGRAG com LLMs de código aberto (Llama 3, Mistral) e fechado (GPT-4o-mini, Claude-3.5), além de baselines como Naive RAG e Prompting direto.

• Melhoria na Precisão: O método proposto aumentou a Precisão da Resposta (Answer Correctness) em 27% (subindo de 0.49 para 0.76) em comparação com a linha de base.
• Melhoria na Fidelidade: A Fidelidade (Faithfulness) — a capacidade de a resposta ser baseada estritamente no contexto recuperado — aumentou 52% (de 0.36 para 0.88).
• Desempenho Superior: A combinação de RAG otimizado com DPO superou significativamente o uso de apenas RAG ou apenas DPO, demonstrando que ambas as etapas são necessárias para resolver o conflito de conhecimento.
• Redução de Alucinações: O framework mitigou eficazmente a geração de informações incorretas ou desatualizadas, garantindo que o modelo priorize os dados mais recentes do NVD.

5. Significado e Impacto

Este trabalho é fundamental para a aplicação de IA na segurança cibernética:

• Confiabilidade Operacional: Permite que engenheiros e pesquisadores confiem nas respostas dos LLMs sobre vulnerabilidades críticas, sabendo que o modelo está atualizado com as últimas informações de segurança.
• Solução para "Alucinação de Conhecimento": Oferece uma abordagem técnica robusta para lidar com a obsolescência de dados em modelos de linguagem, um problema que afeta não apenas a segurança, mas qualquer domínio de conhecimento dinâmico.
• Guia para Futuras Pesquisas: O framework sugere que a combinação de recuperação de alta precisão com ajuste de preferências orientado a "verdades atualizadas" é o caminho para LLMs mais confiáveis em ambientes de dados voláteis.

Em resumo, o CRVA-TGRAG resolve o "tira-teima" (tug-of-war) entre o conhecimento interno desatualizado do modelo e os dados externos atualizados, garantindo que a análise de vulnerabilidades seja precisa, atual e livre de conflitos factuais.