SHIELDS: Automating OS Hardening with Iterative Multi-Agent Remediation

Resumen Técnico: SHIELDS – Automatización del endurecimiento de sistemas operativos mediante la remediación iterativa de múltiples agentes

Declaración del Problema
Las configuraciones erróneas de los sistemas operativos (SO) siguen siendo un vector primario para las brechas de ciberseguridad, dado que el error humano y la mala configuración representan una parte significativa de las brechas de datos. Si bien marcos como las Guías de Implementación Técnica de Seguridad (STIG) de la Agencia de Sistemas de Información de Defensa (DISA) proporcionan líneas base de endurecimiento estandarizadas, mantener el cumplimiento es un proceso laborioso. La remediación manual requiere aproximadamente 16 horas por servidor anualmente, lo que exige recursos de ingeniería dedicados. Las herramientas de automatización existentes (por ejemplo, OpenSCAP, ComplianceAsCode) dependen de scripts de remediación estáticos y preescritos. Estas herramientas fallan cuando no existe una solución predefinida, cuando una solución falla debido a variables específicas del contexto, o cuando las directrices de los STIG se actualizan, ya que carecen de la capacidad de adaptarse, razonar sobre el fallo o refinar soluciones de forma iterativa sin intervención humana.

Metodología
Los autores presentan SHIELDS (Security Hardening with Intelligent Expert Language Driven Systems), una arquitectura de múltiples agentes diseñada para tratar el endurecimiento de los SO como un bucle impulsado por la retroalimentación y de carácter iterativo, en lugar de una tarea de ejecución estática. El sistema opera bajo un paradigma de "escanear-analizar-corregir-verificar" utilizando Modelos de Lenguaje Extensos (LLM) y agentes especializados:

1. Arquitectura de Multi-Agentes: El sistema descompone el flujo de trabajo en cuatro agentes especializados para reducir la complejidad de los prompts y mitigar las alucinaciones:
   • Agente de Triaje (Triage Agent): Filtra los hallazgos, descartando aquellos que no son seguros para la automatización (por ejemplo, reglas de partición o de sistema de archivos) y marcando otros para su remediación.
   • Agente de Remediación (Remedy Agent): El motor de ejecución central. Posee herramientas para ejecutar comandos, leer archivos y escribir archivos. Propone correcciones y tiene permitido hasta tres intentos iterativos por hallazgo.
   • Agente de Revisión (Review Agent): Evalúa el impacto de seguridad y la optimización de la corrección propuesta, asignando una puntuación (1–10) y señalando preocupaciones.
   • Agente de Control de Calidad (QA Agent): Evalúa la seguridad en todo el sistema, considerando impactos operativos como la interrupción de servicios o cambios en las dependencias.
2. Bucle de Remediación: Ante un hallazgo, el Agente de Remediación propone una corrección. Los agentes de Revisión y de QA actúan como una doble puerta de aprobación. Si se aprueba, la corrección se ejecuta y un escaneo OpenSCAP de un solo hallazgo valida el resultado. Si el escaneo falla o los agentes rechazan el plan, la retroalimentación (registros de error, razones de rechazo) se añade al contexto, y el Agente de Remediación intenta una nueva corrección.
3. Configuración Experimental: El sistema fue evaluado en tres configuraciones de máquinas virtuales Rocky Linux 9 (Pequeña: ~25 hallazgos, Mediana: ~80, Grande: ~250) contra perfiles STIG idénticos. Se probaron seis LLM que oscilaban entre 20B y 400B de parámetros, incluyendo modelos de pesos abiertos (Trinity Large, Gemma 4, Nemotron 3, variantes de gpt-oss) y el modelo de pesos cerrados Inception Mercury 2.

Contribuciones Clave

1. Sistema SHIELDS: Un sistema multi-agente con licencia MIT que integra escaneo, razonamiento, remediación, revisión de seguridad y validación para el cumplimiento autónomo de STIG.
2. Flujo de Trabajo Basado en Retroalimentación: Un enfoque novedoso que adapta iterativamente las acciones correctivas basadas en los resultados de la ejecución de comandos en vivo del SO y la validación del escáner, yendo más allá de la dependencia de bibliotecas de corrección estáticas y predefinidas.
3. Evaluación Empírica: Un análisis exhaustivo de la relación entre las características del modelo (tamaño, arquitectura) y el rendimiento de la remediación a través de diversos tamaños de carga de trabajo.

Resultos

• Éxito de la Remediación: SHIELDS remedió con éxito hasta el 73% de los hallazgos de escaneo en las configuraciones con mejor desempeño.
• Rendimiento del Modelo vs. Tamaño: Contrario a la suposición de que los modelos más grandes funcionan mejor, el estudio encontró que el recuento de parámetros no se correlaciona estrictamente con el éxito. El gpt-oss-120b e Inception Mercury 2 (ambos de ~120B de parámetros) superaron consistentemente al Trinity Large (398B de parámetros), el cual fue inferior al gpt-oss-20b en dos de los tres casos de prueba.
• Factores Clave de Éxito: Los autores hipotetizan que el éxito es impulsado más por la competencia del modelo en el uso de herramientas y la recopilación de información (recuperación de contexto) que por el conocimiento bruto preentrenado o la escala.
• Eficiencia de la Iteración: La mayoría de las remediaciones ocurrieron en la primera pasada. Aunque las pasadas adicionales produjeron algunas correcciones, se observaron rendimientos decrecientes después del tercer intento, lo que sugiere que tres pasadas son un equilibrio óptimo entre velocidad y cobertura.
• Correlación con la Carga de Trabajo: Se observó una correlación positiva entre el tamaño de la VM y el porcentaje de hallazgos corregidos para los modelos con mejor desempeño, probablemente porque las VMs más grandes contenían más hallazgos mecánicos y fácilmente resolubles (por ejemplo, permisos de archivos) junto con debilidades centrales.

Significancia y Reivindicaciones
El artículo afirma que SHIELDS demuestra un camino práctico hacia la reducción de la carga operativa del cumplimiento de seguridad, particularmente en entornos donde los recursos computacionales son limitados o donde se requiere el despliegue de modelos locales por motivos de privacidad. Los autores sostienen que la automatización efectiva del cumplimiento no requiere necesariamente modelos de escala de frontera; más bien, depende de arquitecturas agénticas que aprovechen eficazmente el uso de herramientas y la retroalimentación iterativa. Al tratar el cumplimiento como un proceso de bucle cerrado capaz de adaptarse a la retroalimentación real del sistema, SHIELDS ofrece una alternativa viable a los marcos tradicionales basados en reglas, permitiendo que los sistemas autónomos resuelvan hallazgos que las herramientas estáticas no pueden abordar. El trabajo destaca que el futuro del endurecimiento de seguridad autónomo reside en roles de agentes especializados y en el razonamiento adaptativo, más que simplemente en escalar los parámetros del modelo.