Resumen Técnico: Evaluación de la Generación Aumentada por Recuperación para el Análisis Explicable de Malware

Declaración del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más para traducir indicadores de malware de bajo nivel (por ejemplo, llamadas a API, ediciones del registro) a explicaciones en lenguaje natural, la eficacia de la Generación Aumentada por Recuperación (RAG) en este dominio específico sigue sin verificarse. La suposición predominante es que inyectar conocimiento de seguridad externo mediante RAG mejora la calidad de las explicaciones. Sin embargo, el análisis de malware a menudo depende de evidencia estructurada (como los informes de VirusTotal) que ya encapsula datos contextuales suficientes. Los autores postulan que la recuperación indiscriminada en tales escenarios puede introducir "ruido narrativo", contexto distractor o redacciones genéricas que degradan la capacidad del modelo para extraer señales salientes, lo que potencialmente conduce a explicaciones engañosas en pipelines críticos para la seguridad.

Metodología

El estudio realiza una evaluación empírica de la explicabilidad de los LLM con y sin RAG, utilizando informes estructurados de VirusTotal como entrada principal.

• Conjunto de datos y arquitectura: El conjunto de datos comprende 1.702 informes de VirusTotal del corpus MalGPT, que contienen indicadores estructurados como llamadas a API y operaciones de registro. La tubería RAG utiliza LlamaIndex para la orquestación, ChromaDB para el almacenamiento vectorial y OpenRouter como puerta de enlace LLM. Las incrustaciones se generan utilizando all-MiniLM-L6-v2 y text-embedding-3-large de OpenAI. Los documentos se dividen en fragmentos de 1.024 tokens con una superposición de 100 tokens, y la recuperación emplea búsqueda de similitud top-$k$ con un umbral de 0,5.
• Base de conocimientos: La fuente de recuperación incluye el marco MITRE ATT&CK, orientación de investigación (por ejemplo, mapeos MalGPT, CISA/MITRE), documentación técnica de VirusTotal y conjuntos de datos de inteligencia de malware (taxonomías, CVE).
• Prompt del sistema: Un prompt estructurado de 10 secciones impone consistencia, requiriendo que las salidas incluyan veredictos, resúmenes no técnicos, citas de evidencia, mapeo de familias de malware, agrupación de IoC, resúmenes de comportamiento, puntuaciones de confianza y recomendaciones accionables.
• Protocolo de evaluación: Un estudio de ablación compara varios LLM (GPT OSS 21B, DeepSeek-R1 671B y GPT-5.1) bajo prompts idénticos, probándolos con JSON de VirusTotal únicamente frente a JSON aumentado con contexto recuperado. No se aplica ajuste fino para aislar los efectos de la recuperación.
• Métricas: La calidad de la explicación se mide utilizando BERTScore, que evalúa la similitud semántica frente a una línea base GPT-5.1 (sin RAG). Esta métrica se elige por su robustez ante la parafraseo y su sensibilidad a la deriva semántica causada por pasajes recuperados débilmente relacionados.

Resultados Clave

Los experimentos revelan que RAG frecuentemente degrada la calidad de la explicación en lugar de mejorarla cuando ya existe evidencia estructurada:

• Degradación del rendimiento: En múltiples modelos, la adición de contexto recuperado generalmente redujo las puntuaciones BERTScore. Por ejemplo, DeepSeek-R1 obtuvo su puntuación más alta (0,8617) sin RAG, mientras que el rendimiento bajó a 0,8583 y 0,8582 con diferentes modelos de incrustación. De manera similar, GPT OSS 21B experimentó una caída significativa de 0,8407 (sin RAG) a 0,8184 con el recuperador all-MiniLM-L6-v2.
• Sensibilidad a las incrustaciones: Aunque text-embedding-3-large ofreció mejoras marginales para GPT OSS 21B, no proporcionó ningún beneficio a DeepSeek-R1.
• Causa de la degradación: Los autores atribuyen el declive a la recuperación de pasajes semánticamente similares pero de baja utilidad (por ejemplo, descripciones genéricas de malware) que actúan como "negativos duros". Estos distractores desplazan la atención del modelo hacia narrativas plausibles pero irrelevantes, diluyendo las señales específicas encontradas en los informes estructurados de VirusTotal.
• Comportamiento del modelo: Los modelos más potentes (como DeepSeek-R1) parecen tratar el contexto adicional como redundante o ligeramente contradictorio, lo que respalda aún más la hipótesis de que la tarea es de extracción de señales y no de completado de conocimientos.

Contribuciones Clave

1. Desafío empírico a las suposiciones de RAG: El trabajo proporciona evidencia de que la aplicación predeterminada de RAG a la explicación de malware es contraproducente cuando está disponible evidencia estructurada de alta calidad (informes de VirusTotal).
2. Reencuadre de la tarea: Los autores argumentan que la explicación de malware es principalmente una tarea de extracción de señales, no un problema de recuperación de conocimientos. En consecuencia, agregar contexto externo puede introducir carga cognitiva y riesgos de error sin agregar valor.
3. Recomendaciones de diseño: El documento describe estrategias específicas para mitigar el ruido inducido por la recuperación en flujos de trabajo de seguridad:
   • Omitir RAG cuando los informes estructurados sean suficientes (utilizando predictores de suficiencia de contexto).
   • Aplicar reordenadores ajustados al dominio con límites estrictos de $k$ para evitar negativos duros.
   • Reemplazar la fragmentación de ventana fija con fragmentos centrados en el comportamiento o en IoC, enriquecidos con metadatos.
   • Explorar alternativas como la Generación Aumentada por Caché (CAG) y la Ingeniería de Contexto.

Significado y Afirmaciones

El documento afirma que en pipelines críticos para la seguridad, el riesgo de sesgo de automatización aumenta cuando las explicaciones basadas en RAG se desvían de la evidencia subyacente. Los autores aseguran que los analistas se benefician más de la consistencia y la trazabilidad que de narrativas expandidas. Al demostrar que RAG puede degradar el rendimiento en dominios impulsados por el razonamiento estructurado, el trabajo aboga por un cambio en el diseño de herramientas: alejarse de la síntesis de conocimientos mediante recuperación y hacia la extracción estructurada de señales. Los hallazgos sugieren que, para tareas donde la evidencia fuente ya es exhaustiva, el "ruido" introducido por los mecanismos de recuperación supera los beneficios potenciales de la inyección de conocimiento externo.