Towards the Development of an LLM-Based Methodology for Automated Security Profiling in Compliance with Ukrainian Cybersecurity Regulations

A continuación se presenta un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Hacia el desarrollo de una metodología basada en LLM para el perfilado de seguridad automatizado en cumplimiento con las regulaciones de ciberseguridad de Ucrania

1. Planteamiento del Problema

El artículo aborda la brecha existente entre la adopción de un nuevo enfoque de autorización basado en el riesgo en Ucrania y los medios prácticos para implementarlo.

• Contexto Regulatorio: Ucrania ha actualizado su marco normativo (específicamente el documento ND TPI 3.6-006-24 de 2024) para alinearse con estándares internacionales como NIST SP 800-53 e ISO/IEC 27001. Este nuevo marco exige la derivación de "Perfiles de Seguridad Objetivo" (Target Security Profiles - TSP) personalizados para cada sistema de información, partiendo de perfiles base obligatorios.
• Desafío Actual: El proceso tradicional de crear estos perfiles es manual, intensivo en tiempo y propenso a errores humanos. Los expertos de seguridad deben analizar vastos volúmenes de documentación regulatoria, mapear controles y adaptar parámetros manualmente.
• La Brecha: Existe una falta de un flujo de trabajo claro, reproducible y automatizado para la adaptación de perfiles que sea consciente de la regulación y explicativo.

2. Metodología Propuesta

Los autores proponen una metodología estructurada que utiliza Modelos de Lenguaje Grande (LLM) potenciados por Generación Aumentada por Recuperación (RAG) para automatizar la derivación de perfiles de seguridad.

Arquitectura y Flujo de Trabajo:

1. Preparación de Datos (RAG):
   • Se ingieren y limpian documentos normativos ucranianos (ND TPI) y políticas organizacionales.
   • Los documentos se dividen en fragmentos (chunking) y se convierten en vectores mediante modelos de incrustación (embedding).
   • Se almacenan en una base de datos vectorial para permitir búsquedas semánticas precisas.
2. Formalización del Contexto del Sistema:
   • Se define un "pasaporte del sistema" ($S$) que incluye arquitectura, categorías de datos, roles de usuario, interfaces y restricciones operativas.
   • Se selecciona un Perfil Base ($B$) según la categoría de impacto del sistema (Bajo, Moderado, Alto).
3. Proceso de Derivación Asistido por LLM:
   • El sistema utiliza un agente LLM que, mediante RAG, recupera la normativa relevante para cada control base.
   • Se aplica una función de decisión para transformar cada control base en una decisión de perfil objetivo ($T$). Las decisiones posibles son: Mantener, Refinar, Mejorar (Enhance), Añadir o Compensar.
   • Lógica de Decisión: El modelo evalúa la relevancia del control en el contexto específico, la adecuación de los parámetros mínimos y los riesgos residuales. Si un control no es factible, se propone un control compensatorio.
4. Validación Humana (Human-in-the-Loop):
   • El perfil generado es un borrador que debe ser revisado y aprobado por un experto humano. El sistema está diseñado para indicar explícitamente cuando la información es insuficiente, evitando suposiciones no fundamentadas.

3. Contribuciones Clave

El trabajo presenta tres contribuciones principales al campo de la ciberseguridad y la gestión de cumplimiento:

1. Método de Derivación de TSP: Se propone un método formalizado para derivar Perfiles de Seguridad Objetivo bajo el marco regulatorio ucraniano, traduciendo requisitos legales en controles técnicos específicos.
2. Arquitectura LLM-RAG: Se diseña un modelo arquitectónico que genera decisiones a nivel de control con justificación trazable y una estructura de salida estandarizada, reduciendo las alucinaciones mediante la recuperación de fuentes normativas reales.
3. Validación Experimental: Se realiza una evaluación comparativa de varios LLMs (Claude Sonnet 4.6, Gemini 3.1 Pro, ChatGPT Thinking 5.4) en escenarios de perfilado, supervisada por expertos, para validar la viabilidad del enfoque.

4. Resultados Experimentales

Los autores probaron la metodología utilizando especificaciones de sistemas sintéticos que reflejan escenarios reales.

• Desempeño de Modelos:
  • Claude Sonnet 4.6 Extended: Fue el mejor desempeño global. Generó el informe más completo en menos de 4 minutos. Logró que el 75% de las decisiones coincidieran directamente con el juicio de expertos y solo requirió ediciones menores en el 15% de los controles.
  • ChatGPT Thinking 5.4: Mostró un comportamiento más conservador, solicitando aclaraciones con frecuencia (lo cual alinea con la metodología de evitar suposiciones), pero generó informes detallados en ~18 minutos.
  • Gemini 3.1 Pro: Presentó resultados menos consistentes, entregando análisis en segmentos en lugar de un informe integral.
• Hallazgos Críticos:
  • Se observó una correlación directa entre la calidad de la entrada (pasaporte del sistema) y la fiabilidad del modelo. Cuando faltaban detalles en el sistema, la tasa de alucinaciones aumentó significativamente (hasta un 43% en el caso de Gemini).
  • La metodología demostró ser viable para la redacción de perfiles objetivos, logrando una precisión de decisión de hasta el 80% en los modelos superiores.

5. Significado e Impacto

Este estudio es significativo por varias razones:

• Automatización del Cumplimiento: Permite a las organizaciones ucranianas (y potencialmente a otras que adopten marcos similares) escalar sus esfuerzos de cumplimiento normativo sin un aumento proporcional en la plantilla de personal especializado.
• Gestión de Amenazas Híbridas: Ofrece un flujo de trabajo estructurado para la gestión de ciberseguridad en entornos de alta intensidad de amenazas, permitiendo una adaptación dinámica de las defensas.
• Reducción de Errores Humanos: Al delegar la carga analítica de revisar cientos de parámetros a la IA y mantener al experto humano en el bucle para la aprobación final, se minimizan los errores manuales y la complejidad operativa.
• Transparencia y Trazabilidad: A diferencia de las "cajas negras" tradicionales, el enfoque RAG proporciona citas de fuentes normativas y justificaciones para cada decisión de control, facilitando la auditoría.

En conclusión, el artículo demuestra que la integración de LLMs con bases de conocimiento regulatorio específico es una solución práctica y efectiva para modernizar la gestión de la seguridad de la información en un entorno regulatorio complejo y en evolución.