Tug-of-War within A Decade: Conflict Resolution in Vulnerability Analysis via Teacher-Guided Retrieval-Augmented Generations

Resumen Técnico: CRVA-TGRAG

1. Problema Identificado

El artículo aborda un desafío crítico en la ciberseguridad: la inconsistencia de conocimientos en los Modelos de Lenguaje Grande (LLMs) al analizar vulnerabilidades (CVE - Common Vulnerabilities and Exposures).

• Obsolescencia del Conocimiento Interno: Los LLMs tienen una "fecha de corte" de conocimiento. Dado que las bases de datos de vulnerabilidades (como NVD) se actualizan constantemente (a veces en cuestión de horas), los modelos pre-entrenados poseen información desactualizada.
• Conflictos de Conocimiento: Cuando un usuario consulta sobre una vulnerabilidad actualizada, el LLM puede generar respuestas basadas en su conocimiento interno obsoleto, contradiciendo la información externa reciente. Esto lleva a alucinaciones, errores fácticos y respuestas engañosas.
• Limitaciones del RAG Tradicional: Los sistemas de Generación Aumentada por Recuperación (RAG) estándar a menudo fallan en este dominio porque:
  • La recuperación es imprecisa debido a la alta similitud semántica entre identificadores CVE adyacentes.
  • El modelo generativo puede ignorar el contexto recuperado si prefiere su conocimiento interno obsoleto.

2. Metodología: Marco CRVA-TGRAG

Los autores proponen un marco innovador de dos etapas llamado CRVA-TGRAG (Conflict Resolution in Vulnerability Analysis via Teacher-Guided Retrieval-Augmented Generation).

Fase Preliminar: Pre-procesamiento de Datos

• Se utilizan fuentes oficiales (API de NVD y repositorios GitHub de CVE) para descargar documentos JSON.
• Se convierten a CSV y se procesan para identificar y etiquetar las diferencias entre la versión "antigua" y la "nueva" de cada CVE.
• Se utiliza un LLM para generar un conjunto de datos de preferencia que resalta los cambios específicos, asegurando la autoridad y precisión de los datos de entrada.

Etapa I: Recuperación y Aumento (Optimización del RAG)

• Segmentación Semántica (Parent Document Segmentation): En lugar de dividir documentos arbitrariamente, se utiliza un enfoque basado en similitud semántica. Se agrupan los fragmentos de texto de un mismo CVE para mantener el contexto completo, evitando que la información se pierda al dividir documentos largos.
• Recuperación de Conjunto (Ensemble Retrieval): Se combina la recuperación basada en similitud semántica (vectores) con la indexación invertida (BM25).
  • Se asignan pesos a los buscadores (0.75 para semántica, 0.25 para BM25) para manejar la ambigüedad de los números CVE.
  • Se implementa una estrategia de reemplazo de sinónimos en las consultas para mejorar la precisión.

Etapa II: Generación y Optimización (Teacher-Guided Preference)

• Ajuste Fino con Preferencias (DPO): Se utiliza la técnica de Direct Preference Optimization (DPO) con un enfoque de "guía del profesor".
• Mecanismo: Se entrena al LLM para que prefiera activamente las respuestas basadas en el conocimiento actualizado (la "versión nueva" del CVE) sobre las basadas en el conocimiento obsoleto.
• Objetivo: Modificar la política del modelo para que, incluso si hay conflicto en el contexto, la probabilidad de generar la información actualizada sea mayor, resolviendo así el conflicto de conocimiento en la fase de generación.

3. Contribuciones Clave

1. Nuevo Conjunto de Datos de Conflicto: Creación de un dataset único con 1,260 pares de conflictos CVE (versiones modificadas vs. originales) de la última década, enfocado en vulnerabilidades de alto riesgo. Este es el primer dataset específico para conflictos de conocimiento en análisis de vulnerabilidades.
2. Marco CRVA-TGRAG: Propuesta de una arquitectura de dos etapas que integra segmentación semántica, recuperación híbrida y optimización de preferencias guiada por un "maestro" (datos actualizados).
3. Métricas de Evaluación Multidimensionales: Establecimiento de criterios de puntuación claros que combinan métricas tradicionales (BLEU, ROUGE) con métricas específicas de RAG (Fidelidad, Precisión de Contexto, Recuperación de Contexto) para evaluar la capacidad del modelo para resolver conflictos.

4. Resultados Experimentales

Los experimentos compararon el marco propuesto contra LLMs puros (GPT-4o-mini, Claude-3.5, etc.), métodos de solo prompt, RAG ingenuo y variantes sin DPO.

• Mejora en Precisión: El método CRVA-TGRAG aumentó la Precisión de la Respuesta (Answer Correctness) en un 27% (de 0.49 a 0.76) en comparación con la línea base.
• Mejora en Fidelidad: La Fidelidad (Faithfulness) mejoró un 52% (de 0.36 a 0.88), demostrando que las respuestas generadas son mucho más coherentes con los hechos recuperados y menos propensas a alucinaciones.
• Eficacia del DPO: La combinación de RAG optimizado con DPO superó significativamente a los enfoques que usaban solo RAG o solo ajuste fino, confirmando que ambas etapas son necesarias para resolver el conflicto.
• Rendimiento en LLMs de Código Abierto: El marco demostró ser efectivo al aplicarse a modelos como Llama-3-8B y Mistral-8B, elevando su rendimiento a niveles competitivos con modelos propietarios.

5. Significado e Impacto

• Seguridad Cibernética: Proporciona a investigadores y desarrolladores una herramienta confiable para obtener información actualizada sobre vulnerabilidades críticas, reduciendo el riesgo de tomar decisiones basadas en datos obsoletos.
• Avance en RAG y LLMs: Demuestra que la simple recuperación de datos no es suficiente; es necesario alinear la preferencia del modelo generativo con la información externa actualizada mediante técnicas de ajuste fino (DPO).
• Escalabilidad: Ofrece una solución viable para mantener la consistencia del conocimiento en dominios dinámicos donde la actualización constante es la norma, no la excepción.

En conclusión, el paper presenta una solución robusta al "tira y afloja" entre el conocimiento interno estático de los LLMs y la realidad dinámica de las amenazas cibernéticas, logrando una resolución de conflictos de conocimiento superior mediante una combinación inteligente de recuperación avanzada y alineación de preferencias.