A Sociotechnical, Practitioner-Centered Approach to Technology Adoption in Cybersecurity Operations: An LLM Case

Probleemstelling

Security Operations Centers (SOC's) kampen met een historisch trage adoptie van nieuwe technologieën, voornamelijk door zorgen over betrouwbaarheid en vertrouwen. Deze uitdagingen worden versterkt door het gebruik van kunstmatige intelligentie, en specifiek Large Language Models (LLM's), die bekend staan om problemen zoals hallucinaties en inconsistente output.

• Huidige situatie: SOC-analisten moeten onder hoge tijdsdruk beslissingen nemen over alerts (waar of vals positief) door door enorme hoeveelheden verspreide data te navigeren.
• De kloof: Er bestaat een persistente kloof tussen academisch onderzoek en de operationele praktijk. Tools die zijn ontworpen zonder rekening te houden met de tacit knowledge (impliciete kennis) en de iteratieve redeneerprocessen van analisten, worden vaak afgewezen of verlaten.
• Specifieke pijnpunten: Herhalende taken, gefragmenteerde en onduidelijke data, tooling-bottlenecks en het gebrek aan integratie met bestaande workflows.

Methodologie

De auteurs hanteren een sociotechnische, practitioner-gedreven benadering gebaseerd op etnografisch veldwerk en co-creatie.

• Veldwerk: Twee PhD-onderzoekers werden zes maanden lang ingebed in het SOC van een multinationale organisatie. Ze fungeerden als deelnemers-observatoren, namen deel aan onboarding, vergaderingen en voerden daadwerkelijke SOC-taken uit.
• Theoretisch Kader: De studie is gebaseerd op Nonaka's SECI-model (Socialization, Externalization, Combination, Internalization) voor kennisconversie, aangepast tot een Tool-Oriented SECI-model voor cybersecurity.
  1. Socialisatie: Impliciete kennis opdoen door samenwerking (tacit → tacit).
  2. Externalisatie: Impliciete pijnpunten expliciteren via interviews en workflow-analyses (tacit → explicit).
  3. Combinatie: Het ontwikkelen van LLM-tools die deze inzichten incorporeren (explicit → explicit).
  4. Internalisatie: Het testen en integreren van de tools in de dagelijkse routine, waarbij vertrouwen wordt opgebouwd (explicit → tacit).
• Co-creatie: De tools werden niet "van bovenaf" opgelegd, maar iteratief ontwikkeld in nauwe samenwerking met SOC-analisten, waarbij feedbackcycli (demonstraties, shadowing, debriefs) centraal stonden.

Technische Oplossing en Implementatie

Er werden drie specifieke LLM-gestuurde tools en een geïntegreerd platform ontwikkeld, allemaal gebaseerd op Retrieval-Augmented Generation (RAG) om hallucinaties te minimaliseren en context te bieden.

1. Het LLM Security Platform:

   • Gebaseerd op het LangChain-framework met een ReAct (Reasoning and Acting) agent.
   • Functie: De ReAct-agent fungeert als een router die bepaalt welke van de drie specifieke agents (Query Builder, Asset Discovery, MCP-agent) moet worden aangeroepen op basis van de gebruikersinvoer.
   • Modelkeuze: Na testen van meerdere modellen (Llama 3.2, Mistral 7B, Qwen3, GPT-OSS) werd Mistral 7B gekozen vanwege de beste balans tussen prestaties, tool-calling-accuraatheid en responsietijd binnen de beperkte hardware (16GB GPU-slice).

2. De Drie Specifieke Tools:

   • Root Cause Analysis (RCA) Tool:
     • Doel: Heterogene incident-artifacten (JSON, YAML, logs) omzetten in gestructureerde rapporten.
     • Techniek: Gebruikt lokale Ollama-modellen voor data-privacy. Implementeert RAG met een Chroma-vectorstore voor playbooks en eerdere rapporten.
     • Output: Gestructureerd rapport met wat/hoe/waarom, gefactoreerde oorzaken met bewijs, mitigaties en MITRE ATT&CK-mapping. Het model is geprompt om "niet beschikbaar" te melden in plaats van te hallucineren.
   • Query Builder:
     • Doel: Helpen bij het construeren van complexe query's voor SIEM-systemen.
     • Techniek: Gebruikt een vectorstore met voorbeelden van query's (oorspronkelijk van de vendor, later aangevuld met interne voorbeelden). De RAG-systeem haalt de 3 meest relevante voorbeelden op om de LLM te instrueren.
     • Evolutie: Oorspronkelijk gebaseerd op vendor-documentatie, later aangepast om analisten-specifieke logs en voorbeelden direct als context te gebruiken.
   • Asset Discovery Tool:
     • Doel: Detecteren van assets die niet correct rapporteren aan de vendor-platform.
     • Techniek: Automatiseert API-calls naar interne databases en vendor-API's. De LLM analyseert de logdata, creëert checkpoints om dubbele meldingen te voorkomen, en schrijft e-mails naar asset-eigenaren.
     • Uitdaging: Vereiste onderhandelingen over beveiligingsbeleid voor autonome API-toegang.

Belangrijkste Resultaten en Bevindingen

• Van Skepticisme naar Adoptie: Initieel was er weerstand door workflow-onderbrekingen en hallucinaties. Door iteratieve verfijning gebaseerd op feedback (bijv. het toevoegen van een apart venster voor logs in de Query Builder) nam de adoptie toe.
• Vertrouwen als Enabler: Vertrouwen werd niet alleen gebouwd door technische prestaties, maar door het co-creatieproces zelf. Analisten voelden zich eigenaar van de tools. De rol van een "Internal Advocate" (IA) binnen de organisatie was cruciaal voor legitimiteit.
• Gebruikspatroon: Analisten gebruiken de tools niet als autonome beslissingsmakers, maar als companion-tools (ondersteunend). Ze gebruiken de output als een startpunt voor hun eigen redenering ("sensemaking aid"), niet als definitief antwoord.
• Efficiëntie: De tools reduceerden de cognitieve last en de tijd die nodig was voor het consolideren van verspreide data, vooral bij RCA en asset-discovery.

Bijdrage en Significatie: Het Uitgebreide SECI-model

De paper introduceert een nieuw conceptueel kader: het LLM-Oriented SECI-model. Dit breidt het traditionele Tool-Oriented SECI-model uit met twee cruciale dynamieken:

1. Generatieve Recombinatie (Generative Recombination):

   • In traditionele tools wordt expliciete kennis vastgelegd in statische scripts.
   • In LLM-systemen worden bestaande expliciete artefacten (logs, documentatie, voorbeelden) via RAG dynamisch hercombineren om nieuwe, gestructureerde artefacten te genereren die niet eerder in die vorm bestonden. De tool is dus niet alleen een container, maar een co-producent van kennis.

2. Vertrouwensgekalibreerde Internalisatie (Trust-Calibrated Internalization):

   • In het traditionele model wordt een tool direct geïnternaliseerd na succesvol gebruik.
   • Bij LLM's is dit proces niet lineair. Omdat output probabilistisch is, ondergaan de gegenereerde artefacten een cyclus van menselijke validatie en verificatie (interpretatie, betrouwbaarheid, workflow-fit) voordat ze worden geaccepteerd als deel van de tacit kennis. Internalisatie is dus conditioneel en vereist menselijke oordelen.

Conclusie:
De studie toont aan dat succesvolle adoptie van LLM's in cybersecurity niet louter een technisch probleem is, maar een sociotechnisch proces. Door onderzoekers en practitioners samen te laten werken in een co-creatiecyclus, kunnen tools worden ontwikkeld die niet alleen technisch werken, maar ook vertrouwen winnen en naadloos integreren in de complexe, menselijke workflows van een SOC. Dit biedt een nieuwe paradigma voor het bouwen van bruikbare AI-tools in kritieke veiligheidsomgevingen.