Like a Hammer, It Can Build, It Can Break: Large Language Model Uses, Perceptions, and Adoption in Cybersecurity Operations on Reddit

Deze studie analyseert Reddit-discussies om te laten zien hoe beveiligingsprofessionals Large Language Models (LLMs) in de praktijk gebruiken voor productiviteitstaken, waarbij ze ondanks efficiencywinsten de autonomie van deze tools beperken vanwege zorgen over betrouwbaarheid, verificatie en veiligheidsrisico's.

De kern

Stel je voor dat een Security Operations Center (SOC) een enorme, drukke brandweerpost is. Elke dag komen er duizenden alarmen binnen: "Er is rook!", "De deur staat open!", "Iemand loopt raar te doen!". De brandweerlieden (de beveiligingsanalisten) moeten razendsnel beslissen: is dit een echte brand of slechts een verbrande boterham?

Deze mensen zijn vaak overbelast, moe en krijgen "alarmmoeheid". Ze kijken naar duizenden meldingen en raken uitgeput.

Nu is er een nieuwe tool op de markt gekomen: LLM's (zoals ChatGPT of speciale beveiligings-AI's). De verkopers zeggen: "Gebruik deze slimme robots! Ze doen het werk voor jullie!"

Deze studie kijkt wat er echt gebeurt als beveiligingsexperts deze robots op Reddit bespreken. Het is als een grote, openbare vergaderzaal waar de brandweerlieden fluisteren over hun nieuwe hulpmiddelen. Hier is wat ze ontdekten, vertaald in simpele taal:

1. De Hamer en de Sloopkogel (De Titel)

De titel zegt: "Zoals een hamer, kan het bouwen, kan het breken."

• Bouwen: De AI kan helpen met saaie taken, zoals het schrijven van rapporten of het uitleggen van ingewikkelde codes. Het bespaart tijd.
• Breken: Als je de AI te veel vertrouwen geeft, kan hij fouten maken die het hele systeem kapot maken. Hij kan "hallucineren" (dromen dat er iets gebeurt wat er niet is) of vertrouwelijke gegevens lekken.

2. Wat gebruiken ze eigenlijk? (De Populaire Tools)

De onderzoekers keken naar 892 berichten. Het verrassende was:

• De Alledaagse Hulp: De meeste mensen gebruiken algemene AI's (zoals ChatGPT of Microsoft Copilot). Het zijn als het ware de "zwitserse messen" die iedereen in de keuken heeft. Ze zijn niet speciaal voor brandweerwerk gemaakt, maar ze zijn handig voor alles.
• De Speciale Gereedschappen: Er zijn ook dure, speciale AI's die alleen voor beveiliging zijn gemaakt (zoals "Security Copilot"). Maar deze worden veel minder vaak genoemd. Het is alsof er een super-speciale brandblusser is, maar de brandweerlieden gebruiken liever hun vertrouwde gewone slang.
• De Lange Lijst: Er zijn tientallen nieuwe beveiligings-AI's op de markt, maar de meeste mensen weten niet eens dat ze bestaan. Ze zijn vergeten in een hoekje.

3. Waarvoor gebruiken ze het? (De Taken)

De AI wordt niet gebruikt om de hele brandweerpost over te nemen. Ze gebruiken het voor specifieke, minder riskante taken:

• De "Schaakspeler": Bij het onderzoeken van een melding gebruiken ze de AI als een spreekbuis. "Wat zou dit kunnen zijn?" vraagt de analist, en de AI geeft suggesties. Maar de mens blijft de kapitein die de beslissing neemt.
• De Schrijver: Het schrijven van rapporten en het samenvatten van lange teksten is een favoriete taak.
• De Codeur: Het helpt bij het schrijven van scripts (computercode) om sneller te zoeken.
• Wat ze NIET doen: Ze laten de AI zelden volledig alleen om een brand te blussen (een aanval te stoppen). Dat is te riskant.

4. Het Grootste Probleem: Vertrouwen en Controle

De analisten zijn blij met de snelheid, maar ze hebben grote zorgen:

• De "Zekerheid van de Leugenaar": De AI kan heel zelfverzekerd klinken terwijl hij compleet onzin praat. In de beveiliging is dat dodelijk. Als de AI zegt: "Er is geen gevaar" terwijl er wel een brand is, is dat een ramp.
• De Controle-Check: Omdat de AI fouten maakt, moet de mens elke uitkomst controleren. Soms duurt het controleren langer dan het werk zelf doen. Het is alsof je een robot hebt die de auto rijdt, maar je moet elke seconde op de rempedaal staan om te kijken of hij niet in een boom rijdt.
• Het Geheime Document: Als je een AI vraagt over je eigen bedrijf, onthoudt die AI misschien je geheime plannen. Dat is een groot risico.

5. De Toekomst: Een Dilemma voor de Werknemers

Er is een grappig, maar ook een beetje eng probleem:

• De Junior-Brandweerman: Vroeger leerden nieuwe brandweerlieden hun vak door kleine brandjes te blussen en meldingen te sorteren.
• De AI neemt het over: De AI doet nu die simpele taken.
• Het Kruis: De senior-experts hebben nu geen "leerlingen" meer om op te leiden, omdat de AI het basale werk doet. Maar de senior-experts zijn nodig om de AI te controleren!
• De Cirkel: Hoe leer je iemand een vak als de eerste stappen van dat vak al door een robot worden gedaan?

Conclusie

De AI is een krachtige hulpmotor, maar geen piloot.
De beveiligingswereld ziet de AI als een geweldige assistent die helpt met de saaie klusjes en sneller denkt. Maar ze willen de stuurknuppel niet uit handen geven. Zolang de AI niet 100% betrouwbaar is en geen geheime gegevens lekt, blijft de mens de baas.

Het is als een nieuwe, zeer snelle auto: je kunt er sneller mee rijden, maar je durft nog niet je handen van het stuur te halen.

Technische samenvatting

Probleemstelling

Veiligheidsoperatiecentra (SOC's) staan onder enorme druk door de toenemende complexiteit van bedreigingen en de overvloed aan waarschuwingen (alert fatigue), wat leidt tot stress en uitval bij analisten. Hoewel traditionele automatisering (zoals SIEM en SOAR) en machine learning (ML) al ingezet worden, blijven er beperkingen in effectiviteit. Recent zijn Large Language Models (LLM's) op de markt gekomen als beloftevolle hulpmiddelen om SOC-workflows te verrijken, met name via autonome AI-oplossingen van leveranciers (zoals Microsoft Copilot for Security).

Het probleem is echter dat er een gebrek is aan empirisch inzicht in hoe deze tools in de praktijk worden gebruikt, hoe ze worden waargenomen door beveiligingspraktici, en welke factoren hun adoptie bepalen. Bestaand onderzoek focust vaak op specifieke tools of technische evaluaties, maar mist een breed beeld van de real-world ervaringen en de menselijke factoren in diverse SOC-contexten.

Methodologie

De auteurs voerden een mixed-methods analyse uit van discussies op online beveiligingsforums om een natuurlijk, door praktici gedreven beeld te krijgen.

• Datacollectie: Er werden 892 relevante posts geanalyseerd uit drie actieve Reddit-gemeenschappen (voornamelijk r/cybersecurity, maar ook r/Information_Security en r/ciso) tussen december 2022 en september 2025.
• Selectiecriteria: Posts werden gefilterd op relevantie voor LLM-gebruik in cybersecurity. De dataset omvatte 76 threads met een totaal van 1.703 posts, waarvan 892 als relevant werden gecodeerd.
• Analyse:
  • Kwalitatief: Een hybride coderingsmethode werd toegepast. Twee onderzoekers ontwikkelden een codeboek op basis van eerdere literatuur en inductieve inzichten. Na acht rondes van dubbele codering werd een hoge inter-rater betrouwbaarheid bereikt (Krippendorff's Alpha ≥ 0,8). De codering focuste op gebruikte tools, use-cases, percepties (voordelen/nadelen) en adoptiepatronen.
  • Kwantitatief: Statistische tests (chi-kwadraat, twee-steekproevenproportietests met Bonferroni-correctie) werden gebruikt om de prevalentie van verschillende tools, use-cases en sentimenten (positief vs. negatief) te vergelijken.
• Ethiek: Het onderzoek is goedgekeurd door de IRB. Gegevens zijn geanonimiseerd (gebruikersnamen verwijderd) en posts zijn parafraseerd om privacy te waarborgen.

Belangrijkste Bijdragen

1. Empirisch Inzicht in Adoptie: Het paper biedt een van de eerste grootschalige, empirische studies die de daadwerkelijke adoptie en perceptie van LLM's in SOC's in kaart brengt, gebaseerd op natuurlijke taal van praktici in plaats van gecontroleerde labsessies.
2. Nuancering van Autonomie: Het onderzoek identificeert een duidelijk spectrum van autonomie: van volledig menselijke controle tot beperkte mens-in-de-lus workflows, waarbij volledig autonome mitigatie zeldzaam is.
3. Sociaal-technische Implicaties: Het paper benadrukt de spanning tussen de beloften van leveranciers en de realiteit van de praktijk, en introduceert het concept van een "cirkel van afhankelijkheid" voor de toekomstige ontwikkeling van SOC-personeel.

Resultaten

1. Gebruikte Tools en Use Cases (RQ1)

• Generieke vs. Specifieke Tools: Generieke LLM's (zoals ChatGPT, Microsoft Copilot) worden veel vaker genoemd dan beveiligingsspecifieke commerciële tools (zoals Security Copilot, Dropzone). Hoewel er een lange lijst van beveiligingsspecifieke tools bestaat, is de adoptie gefragmenteerd; de meeste discussies draaien om een klein aantal generieke modellen.
• Use Cases: De belangrijkste toepassingen zijn:
  • Incident Response & Triage: Het ondersteunen van onderzoek, correlatie van signalen en het filteren van waarschuwingen.
  • Scripting & Query Support: Het genereren van code (Python, PowerShell) en SIEM-query's (KQL, SQL).
  • Rapportage: Het samenvatten van incidenten en het vertalen van technische details naar zakelijke taal.
  • Minder frequent: Bedreigingsanalyse en training.
• Adoptiepatroon: Hoewel discussies vaak gaan over kernprocessen (incident response), is de daadwerkelijke adoptie vaak gericht op lagere-risico, productiviteitsgerichte taken (zoals scripten en rapporteren) waar analisten meer controle en verificatiemogelijkheden hebben.

2. Percepties en Factoren (RQ2)

De percepties van praktici worden bepaald door een afweging tussen voordelen en risico's:

• Positief: De capaciteiten (contextualisatie van alerts, interpretatie van logs) en efficiëntie (snellere analyse, reductie van "Mean Time to Triage") worden zeer positief beoordeeld.
• Negatief: Er zijn ernstige zorgen over:
  • Betrouwbaarheid: Hallucinaties en niet-deterministische output maken LLM's onbetrouwbaar voor kritieke beslissingen. Analisten vertrouwen geen "zekerheid" van een AI als deze foutief kan zijn.
  • Veiligheid & Privacy: Het risico op datalekken (het sturen van gevoelige bedrijfsdata naar publieke modellen) en het vergroten van het aanvalsoppervlak (prompt injection).
  • Autonomie: Er is weinig vertrouwen in volledig autonome systemen. De meeste praktici zien LLM's als "decision support" (beslissingsondersteuning), niet als vervangers.
  • Kosten: De kosten voor inferentie en de noodzaak van lokale infrastructuur worden gezien als een belemmering voor ROI.

3. Adoptie en Toekomst (RQ3)

• Adoptiegraad: Ongeveer 54% van de geanalyseerde posts rapporteerde actieve adoptie, voornamelijk van generieke tools voor individuele productiviteit.
• Barrières: Leveranciers worden beschuldigd van overdreven marketing ("autonome SOC"). Veel organisaties zien geen noodzaak omdat traditionele automatisering al voldoende is voor deterministische taken.
• Toekomstvisie: Er is een groeiende bezorgdheid over de impact op het personeel. Er ontstaat een paradox: LLM's automatiseren entry-level taken (L1), maar het toezicht op deze systemen vereist juist ervaren experts. Dit dreigt de leerpaden voor toekomstige analisten te ondermijnen.

Significantie en Conclusie

Het paper concludeert dat LLM's in cybersecurity een "hamer" zijn: ze kunnen bouwen (productiviteit verhogen) en breken (veiligheid en vertrouwen ondermijnen).

• Beperkte Autonomie: De autonomie van LLM's in SOCs wordt beperkt door de noodzaak van menselijke verificatie vanwege betrouwbaarheidsproblemen. Volledige autonomie is momenteel niet haalbaar voor hoog-risico taken.
• Sociaal-technische Uitdaging: De adoptie is geen puur technisch proces maar een sociaal-technische verschuiving. Er is een kloof tussen de verwachtingen van leveranciers en de realiteit van de praktijk.
• Aanbevelingen:
  • Ontwikkeling van LLM-tools moet focussen op vertrouwen en transparantie (bijv. het communiceren van onzekerheid in plaats van valse zekerheid).
  • Organisaties moeten governance-frames ontwikkelen voor het veilig gebruik van LLM's (data-governance).
  • Er is een urgente behoefte aan nieuwe trainingsparadigma's (co-learning) om te voorkomen dat de volgende generatie beveiligingsexperts geen ervaring meer opdoet met de basisvaardigheden die nu worden geautomatiseerd.

Kortom, LLM's zijn waardevolle hulpmiddelen voor SOC-analisten, maar ze vereisen menselijk toezicht, strikte governance en een heroverweging van hoe we beveiligingsexpertise in de toekomst ontwikkelen.