TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

Resumen Técnico: TTPRINT

Enunciado del Problema
Extraer automáticamente técnicas de MITRE ATT&CK de informes de Inteligencia de Amenazas Cibernéticas (CTI) no estructurados es un problema de conjunto abierto y multietiqueta que requiere la optimización simultánea de una alta recuperación (capturar todas las técnicas genuinamente descritas) y una alta precisión (evitar alucinaciones de técnicas no respaldadas). Los enfoques existentes enfrentan limitaciones significativas:

• Métodos basados en reglas y supervisados: Sistemas como TTPDrill o transformadores ajustados (por ejemplo, LADDER, MITREtrieval) luchan con la generalización a través de estilos de informes diversos y descripciones de ataques en evolución. A menudo dependen de palabras clave explícitas u ontologías fijas, fallando en capturar comportamientos implícitos o parafraseados.
• Enfoques de LLM de paso único: Si bien los Modelos de Lenguaje Grande (LLM) muestran promesa, aplicarlos en un único paso de inferencia acopla los objetivos de generación de hipótesis y verificación. Este acoplamiento conduce a dos modos de fallo compuestos: (1) los modelos sacrifican la cobertura por confianza, omitiendo comportamientos menos salientes, y (2) las discrepancias léxicas superficiales entre el lenguaje de los informes operativos y las definiciones canónicas de MITRE causan mapeo incorrecto de técnicas.

Metodología: TTPRINT
Los autores proponen TTPRINT, una tubería de cuatro etapas inspirada en los flujos de trabajo de los analistas humanos, que utiliza un diseño de "divergir-luego-converger" para desacoplar la generación orientada a la recuperación de la verificación orientada a la precisión.

1. Fase Divergente (Maximizar Cobertura):

   • Extracción de Comportamientos: El informe CTI crudo se descompone en un conjunto de comportamientos de ataque atómicos y autocontenidos. Crucialmente, esta etapa preserva artefactos técnicos específicos (nombres de herramientas, cadenas de comandos, rutas de registro) para evitar el colapso del contexto, asegurando que las etapas posteriores tengan suficiente detalle para una identificación precisa.
   • Propuesta de TTP: Para cada comportamiento atómico, el LLM propone un amplio conjunto de técnicas candidatas de MITRE ATT&CK (hasta $k$ identificadores distintos a nivel de padre). Esta etapa prioriza la recuperación, posponiendo deliberadamente el juicio para asegurar que ninguna técnica potencial sea descartada prematuramente.

2. Fase Convergente (Filtrar por Evidencia):

   • Localización de Span: Un algoritmo determinista ancla cada comportamiento propuesto a una ventana de oración específica y contigua (span de evidencia) dentro del informe original. Esto restringe todo el razonamiento subsiguiente al soporte textual verificable en lugar del contexto completo del documento, reduciendo el ruido y los riesgos de alucinación.
   • Verificación de TTP: El LLM evalúa cada técnica candidata contra tres entradas: el texto del comportamiento, el span de evidencia localizado y la definición oficial de MITRE ATT&CK. El modelo genera una puntuación de confianza ($c_{ver}$) que indica si la evidencia respalda explícitamente la técnica.
   • Umbralización: Los candidatos que superan un umbral de confianza ajustable ($\tau$) se retienen. Este parámetro permite a los practicantes controlar explícitamente el equilibrio entre precisión y recuperación sin reentrenamiento ni cambios arquitectónicos.

Contribuciones Clave

• Principio Arquitectónico: El artículo identifica el acoplamiento de precisión y recuperación en la extracción de paso único como una limitación estructural y propone el principio de divergir-luego-converger, separando explícitamente la generación de hipótesis de la verificación fundamentada en evidencia.
• Tubería TTPRINT: Una implementación novedosa que presenta una localización de span determinista que asegura que cada predicción sea rastreable a un pasaje de fuente específico, permitiendo una auditoría completa.
• Recursos de Evaluación:
  • TRAM-Clean: Una versión sistemáticamente limpiada del ampliamente utilizado punto de referencia TRAM, corrigiendo falsos positivos y negativos en las anotaciones originales para proporcionar una línea base confiable.
  • TTPRINT-Bench: Un nuevo punto de referencia a nivel de documento que comprende 150 informes CTI completos (2022–2025) con verdad fundamental adjudicada y doble anotada, diseñado para evaluar la extracción de documentos completos no estructurados en lugar de oraciones aisladas.

Resultados
Evaluado en TRAM-Clean y TTPRINT-Bench, TTPRINT demuestra mejoras significativas sobre las líneas base del estado del arte:

• Rendimiento: TTPRINT alcanza un Macro-F1 del 76.48% en TRAM-Clean y del 87.39% en TTPRINT-Bench. Esto representa una mejora del 63.5% y del 29.4% sobre la línea base líder (CoT GPT-4o), respectivamente.
• Precisión y Recuperación: A diferencia de los métodos de paso único que luchan por equilibrar ambas métricas, TTPRINT las mejora simultáneamente. En TTPRINT-Bench, la recuperación aumentó del 50.70% al 95.50% y la precisión del 69.90% al 82.15%.
• Estudios de Ablación: Eliminar cualquier etapa (Extracción de Comportamientos, Localización de Span o Verificación) conduce a una degradación significativa del rendimiento. Notablemente, la localización de span mejora tanto la precisión como la recuperación al reducir la dilución del contexto y los riesgos de alucinación.
• Agnosticismo de Modelo: La efectividad de la tubería se mantiene a través de seis backbones de LLM diferentes (incluyendo GPT-4o, Claude Sonnet, Gemini, Qwen y DeepSeek). Los modelos más pequeños equipados con la tubería TTPRINT a menudo superan a los modelos más grandes que utilizan indicación de paso único, lo que sugiere que el diseño arquitectónico es el principal impulsor del rendimiento.
• Sensibilidad del Umbral: El umbral de verificación $\tau$ proporciona un control suave y monótono sobre la frontera de precisión-recuperación, permitiendo a los usuarios seleccionar puntos de operación para escenarios de alta recuperación (triaje de SOC), equilibrados o de alta precisión (respuesta automatizada).

Significado y Afirmaciones
El artículo afirma que TTPRINT aborda una brecha crítica en el flujo de trabajo del analista de CTI al proporcionar un método para la extracción de TTP de alta recuperación y precisa que es directamente rastreable a la evidencia de origen. Al desacoplar la generación y la verificación, el sistema mitiga las compensaciones inherentes de la indicación de LLM de paso único. Los autores enfatizan que el enfoque es agnóstico al modelo, permitiendo a las organizaciones con preocupaciones de soberanía de datos implementar LLMs de código abierto alojados localmente sin sacrificar el rendimiento. El lanzamiento de TRAM-Clean y TTPRINT-Bench tiene como objetivo elevar el campo de la evaluación a nivel de oración a la extracción realista a nivel de documento, facilitando futuras investigaciones en el análisis automatizado de inteligencia de amenazas.

Los autores mantienen un alcance modesto, señalando que el sistema apunta a informes en idioma inglés de principales proveedores de seguridad y no resuelve actualmente las ambigüedades inherentes a la propia taxonomía de MITRE (por ejemplo, técnicas semánticamente adyacentes). También señalan que, si bien la calidad de la extracción se valida frente a anotaciones de expertos, el impacto en las métricas operativas aguas abajo (por ejemplo, tiempo de triaje) requiere futuros estudios de implementación controlada.