A Sociotechnical, Practitioner-Centered Approach to Technology Adoption in Cybersecurity Operations: An LLM Case

Título: Un Enfoque Sociotécnico y Centrado en el Practicante para la Adopción de Tecnología en Operaciones de Ciberseguridad: Un Caso de Estudio con LLM

1. El Problema

Los Centros de Operaciones de Seguridad (SOC) enfrentan históricamente una adopción lenta de nuevas tecnologías debido a preocupaciones sobre la fiabilidad y la confianza. Estos desafíos se intensifican con la Inteligencia Artificial Generativa (GenAI) y los Modelos de Lenguaje Grande (LLM), los cuales sufren de problemas como "alucinaciones" (generación de información falsa) y resultados inconsistentes.

• Brecha Académico-Práctica: Existe una desconexión persistente entre la investigación académica y la práctica operativa real. Las herramientas diseñadas sin considerar el razonamiento iterativo y la experiencia de los analistas suelen fracasar o ser abandonadas.
• Barreras Operativas: Los analistas de SOC lidian con tareas repetitivas, datos fragmentados o poco claros, cuellos de botella en las herramientas y la necesidad de navegar múltiples plataformas bajo estrictas limitaciones de tiempo. La introducción de nuevas herramientas a menudo se ve con sospecha por miedo a interrumpir flujos de trabajo establecidos sin aportar ganancias reales de eficiencia.

2. Metodología

El estudio empleó un enfoque sociotécnico y etnográfico durante seis meses, integrando a dos investigadores doctorales dentro de un SOC de una empresa multinacional.

• Modelo SECI Orientado a Herramientas: La investigación se basó en el modelo de conversión de conocimiento de Nonaka (Socialización, Externalización, Combinación, Internalización), adaptado al campo de la ciberseguridad.
  • Socialización (Tacito $\to$ Tacito): Los investigadores se integraron en el equipo, asistiendo a reuniones y observando flujos de trabajo para comprender el conocimiento tácito y las normas operativas.
  • Externalización (Tacito $\to$ Explícito): A través de entrevistas, observación participante y la ejecución de tareas reales, se identificaron y documentaron los puntos de dolor y los flujos de trabajo.
  • Combinación (Explícito $\to$ Explícito): Se desarrollaron herramientas basadas en LLM que incorporaron estos conocimientos explícitos (ej. patrones de consultas, playbooks de RCA).
  • Internalización (Explícito $\to$ Tacito): Se desplegaron las herramientas iterativamente, permitiendo que los analistas las validaran, las ajustaran y las integraran en sus rutinas diarias, transformando el conocimiento explícito de la herramienta en competencia tácita del usuario.
• Co-creación: El desarrollo no fue lineal ni impuesto; fue un proceso iterativo donde los analistas guiaron el diseño, proporcionaron retroalimentación constante y participaron en la definición de los requisitos.
• Tecnología Utilizada: Se utilizó un enfoque de RAG (Generación Aumentada por Recuperación) para conectar a los LLM con datos específicos de la organización (vector stores), asegurando que las respuestas se basaran en evidencia interna y no solo en el conocimiento preentrenado del modelo. Se evaluaron varios modelos (Mistral 7B, Llama 3.2, Qwen, GPT-OSS) y se seleccionó Mistral 7B por su equilibrio entre rendimiento y recursos limitados (GPU de 16GB).

3. Contribuciones Clave

El estudio desarrolló y desplegó una plataforma de seguridad integrada con tres herramientas específicas de LLM:

1. Construidor de Consultas (Query Builder): Ayuda a los analistas a crear consultas complejas para sistemas SIEM. Utiliza un vector store que crece con el tiempo, aprendiendo de ejemplos proporcionados por los propios analistas, superando las limitaciones de los constructores de consultas de los proveedores comerciales.
2. Descubrimiento de Activos (Asset Discovery): Automatiza la detección de activos que no reportan correctamente al proveedor de seguridad. El LLM interactúa con APIs internas para correlacionar datos de múltiples fuentes y redactar correos de remediación.
3. Análisis de Causa Raíz (RCA): Convierte artefactos de incidentes heterogéneos (logs, JSON, YAML) en narrativas estructuradas. Utiliza RAG para consultar playbooks y políticas internas, asegurando que el modelo no alucine datos faltantes y cite fuentes específicas.

Marco Teórico Extendido: Los autores proponen una extensión del modelo SECI llamado "LLM-Oriented SECI", introduciendo dos nuevos conceptos:

• Recombinación Generativa: Los LLM no solo ejecutan lógica estática, sino que generan nuevos artefactos explícitos (informes, consultas) recombinaando documentos y datos existentes.
• Internalización Calibrada por Confianza: La adopción no es automática; los artefactos generados por IA deben pasar por ciclos de validación humana (interpretabilidad, fiabilidad y ajuste al flujo de trabajo) antes de ser internalizados como práctica tácita.

4. Resultados

• Adopción Sostenida: Tras un periodo inicial de escepticismo y ajustes, las herramientas fueron adoptadas y mantenidas por los analistas. La clave fue la co-creación, que permitió que las herramientas se alinearan con las necesidades reales y no interrumpieran el flujo de trabajo.
• Reducción de Carga Cognitiva: Los analistas reportaron una disminución significativa en el tiempo de investigación y en la carga cognitiva, especialmente al consolidar datos distribuidos.
• Confianza y Validación: El uso de RAG y la capacidad de los analistas para verificar las salidas del LLM (en lugar de confiar ciegamente) fueron fundamentales. Los analistas comenzaron a usar las herramientas como "asistentes" para la toma de decisiones, no como reemplazos de su juicio.
• Resolución de Problemas Reales: Las herramientas abordaron con éxito brechas específicas identificadas, como la falta de visibilidad en datos organizacionales para los constructores de consultas y la dificultad para generar informes RCA rápidos y precisos.

5. Significado e Impacto

• Nuevo Paradigma de Desarrollo: El estudio demuestra que el enfoque de "co-creación" sociotécnica es superior al modelo tradicional de "vendedores de herramientas" para la adopción de IA en ciberseguridad. Permite superar barreras de confianza y alineación operativa.
• Reconfiguración del Conocimiento: Se establece que en entornos de IA generativa, las herramientas actúan como participantes activos en la producción de conocimiento explícito, creando un ciclo híbrido humano-IA.
• Implicaciones para la Práctica: Para que la IA sea adoptada en SOCs, debe integrarse de manera iterativa, respetando los flujos de trabajo existentes y priorizando la validación humana. La tecnología debe ser un "habilitador" del analista, no un automatizador ciego.
• Marco Replicable: La extensión del modelo SECI proporciona un marco teórico para entender y guiar la integración de LLMs en otros entornos operativos críticos, destacando la necesidad de calibrar la confianza antes de la internalización total.

En resumen, el paper argumenta que la adopción exitosa de LLMs en ciberseguridad no depende únicamente de la precisión técnica del modelo, sino de un proceso sociotécnico de co-creación que transforma el conocimiento tácito de los expertos en herramientas útiles, validadas y confiables.