Resumen Técnico: Modelado de Amenazas utilizando Modelos de Lenguaje Adaptados al Dominio

Declaración del Problema

Aunque los Modelos de Lenguaje de Gran Tamaño (LLM) muestran promesa en aplicaciones de ciberseguridad como la detección de vulnerabilidades, su eficacia en el modelado de amenazas estructurado sigue siendo poco explorada. Investigaciones anteriores se han centrado mayoritariamente en LLMs de propósito general bajo configuraciones de prompting limitadas. Existe una brecha crítica en la comprensión de si los modelos adaptados al dominio (específicamente aquellos entrenados en corpus de telecomunicaciones y ciberseguridad) superan a sus contrapartes de propósito general en el contexto de la clasificación de amenazas basada en STRIDE para redes 5G. Además, el impacto de la escala del modelo, las estrategias de decodificación (deterministas vs. estocásticas) y las técnicas de prompting (Zero-Shot vs. Few-Shot) sobre la fiabilidad y validez de las salidas estructuradas no ha sido evaluado sistemáticamente.

Metodología

El estudio presenta una evaluación empírica exhaustiva que involucra 52 configuraciones distintas a través de 8 modelos de lenguaje ajustados con instrucciones (que van desde 1B hasta 8B parámetros). Los modelos incluyeron LLMs de propósito general (por ejemplo, variantes de Llama-3) y modelos adaptados al dominio (Tele-LLMs para telecomunicaciones y Foundation-Sec para ciberseguridad).

Configuración Experimental

• Tarea: Clasificación multietiqueta de amenazas 5G en las seis categorías STRIDE (Suplantación, Manipulación, Repudio, Divulgación de Información, Denegación de Servicio, Elevación de Privilegios).
• Conjunto de Datos: Seis amenazas 5G representativas que cubren todas las categorías STRIDE, derivadas de Mahyoub et al. [14].
• Estrategias de Prompting:
  • Zero-Shot (ZS): Instrucción directa de la tarea sin ejemplos.
  • Few-Shot (FS): Inclusión de ejemplos en contexto que demuestran la clasificación de amenazas.
  • Plantillas de Chat: Evaluación con y sin plantillas de chat específicas del modelo para evaluar el cumplimiento de las instrucciones.
• Estrategias de Decodificación:
  • Decodificación Greedy: Evaluación determinista de una sola ejecución.
  • Muestreo Estocástico: 10 ejecuciones independientes por amenaza (Temperatura=0.7, Top_p=0.9) para evaluar la consistencia de la salida y la incertidumbre.
• Métricas de Evaluación:
  • Métricas estándar de clasificación (Precisión, Recall, Puntuación F1).
  • Tasa de Salida Inválida (IOR): La proporción de salidas que no cumplen con el formato requerido (por ejemplo, respuestas vacías, etiquetas alucinadas, explicaciones contradictorias).
  • Puntuación F1 Penalizada: Una métrica compuesta definida como $F1 \times (1 - IOR)$, que prioriza tanto la precisión como la validez de la salida.

Contribuciones Clave

1. Evaluación Sistemática de la Adaptación al Dominio: El artículo proporciona el primer análisis comparativo de LLMs adaptados al dominio (Telecomunicaciones y Ciberseguridad) frente a modelos de propósito general específicamente para la clasificación de amenazas basada en STRIDE.
2. Análisis de Propiedades del Modelo: Investiga la interacción entre la escala del modelo (1B–8B) y las estrategias de decodificación, revelando cómo el muestreo estocástico expone la incertidumbre de clasificación y problemas de estabilidad en modelos más pequeños.
3. Impacto de la Técnica de Prompting: El estudio cuantifica los efectos del prompting Few-Shot y las plantillas de chat tanto en la calidad de la clasificación como en el cumplimiento de las instrucciones.
4. Perspectivas sobre la Fiabilidad de la Salida: Más allá de la precisión estándar, el artículo identifica y categoriza modos de fallo específicos (por ejemplo, categorías alucinadas, contradicciones entre etiqueta y explicación, y falta de abstención elegante) que hacen que las salidas del modelo sean inutilizables para el modelado de amenazas automatizado.
5. Directrices Prácticas de Prompting: Basándose en observaciones empíricas, los autores proponen estrategias de prompting específicas adaptadas al modelado de amenazas estructurado para mejorar la fiabilidad de la salida.

Resultados y Hallazgos

1. La Adaptación al Dominio No es una Panacea

Contrario a la hipótesis de que el entrenamiento específico del dominio garantiza un rendimiento superior, los modelos adaptados al dominio no superaron consistentemente a sus contrapartes de propósito general. Aunque modelos como Foundation-Sec-8B-Instruct y variantes Tele-it lograron puntuaciones competitivas en configuraciones específicas, los modelos de propósito general (por ejemplo, Llama-3.1-8B-Instruct) a menudo igualaron o superaron a estos, particularmente bajo prompting Few-Shot. Esto sugiere que el razonamiento específico de la tarea y el cumplimiento de las instrucciones son tan críticos como el conocimiento del dominio.

2. Escala del Modelo y Estrategia de Decodificación

• Escala: Los modelos más grandes (8B parámetros) lograron generalmente puntuaciones F1 penalizadas más altas y mayor estabilidad en comparación con modelos más pequeños (1B y 3B). Sin embargo, escalar por sí solo no eliminó los errores de clasificación ni las salidas inválidas.
• Decodificación: El muestreo estocástico reveló una variabilidad significativa en los modelos más pequeños, los cuales fallaron frecuentemente al seleccionar etiquetas consistentes entre ejecuciones. Por el contrario, los modelos más grandes demostraron una selección de etiquetas más estable.
• Prompting Few-Shot: El prompting FS generalmente mejoró el recall y las puntuaciones F1 para modelos más grandes al ayudarles a inferir estructuras multietiqueta. Sin embargo, para modelos más pequeños (específicamente 1B), el prompting FS a veces degradó el rendimiento o aumentó las salidas inválidas, lo que indica un límite de capacidad en la interpretación de ejemplos en contexto.

3. Validez y Fiabilidad de la Salida

Una parte significativa del estudio se centra en la Tasa de Salida Inválida (IOR). Los resultados indican que:

• Los modelos más pequeños y las configuraciones sin plantillas de chat produjeron tasas más altas de salidas inválidas (por ejemplo, texto explicativo en lugar de etiquetas, categorías alucinadas o generación de código).
• Las plantillas de chat no siempre mejoraron la precisión de la clasificación, pero mejoraron significativamente el cumplimiento de las instrucciones, reduciendo la frecuencia de respuestas malformadas.
• Ninguno de los modelos evaluados demostró la capacidad de "abstenerse elegantemente" o expresar incertidumbre cuando no se podía determinar una clasificación válida; en su lugar, tendieron a alucinar etiquetas.

Significado y Afirmaciones

El artículo concluye que los LLMs actuales, incluso cuando están adaptados al dominio y escalados, enfrentan limitaciones fundamentales en el modelado de amenazas estructurado. Los hallazgos desafían la suposición de que simplemente agregar más datos de entrenamiento específicos del dominio o aumentar el tamaño del modelo es suficiente para una automatización de seguridad fiable.

Los autores afirman que:

• La adaptación al dominio por sí sola es insuficiente para el modelado de amenazas estructurado; los modelos requieren alineación con tareas de razonamiento específicas y restricciones de salida.
• La fiabilidad es distinta de la precisión. Un modelo puede lograr una puntuación F1 razonable pero seguir siendo operacionalmente poco fiable debido a altas tasas de salidas inválidas o contradictorias.
• Las mejoras futuras deben ir más allá del escalado de datos para incorporar mecanismos de razonamiento específicos de la tarea más fuertes y una mejor fundamentación en conceptos de seguridad.
• La ingeniería de prompts es una palanca crítica para mejorar la fiabilidad, específicamente mediante el uso de ejemplos Few-Shot para modelos más grandes y restricciones de formato estrictas (plantillas de chat) para garantizar la validez de la salida.

El estudio sirve como una línea base empírica de advertencia, sugiriendo que, aunque los LLMs pueden asistir en el modelado de amenazas, aún no pueden confiarse como agentes autónomos sin una supervisión humana significativa y una configuración cuidadosa de los parámetros de prompting y decodificación.