🤖 AI

A Framework for Using and Evaluating LLMs as Surrogate Experts in Security Surveys: Reliability, Bias, and Implications

Dit artikel presenteert een framework dat aantoont dat hoewel LLM's consistente synthetische reacties kunnen genereren voor beveiligingsenquêtes, ze systematische vooroordelen en homogenisering vertonen die hen geschikt maken voor pilotstudies en hypothesegeneratie, maar ongeschikt maken om werkelijke deskundigen-elicitatie te vervangen.

Oorspronkelijke auteurs: Despoina Giarimpampa, Roland Meier, Tegawendé F. Bissyandé, Vincent Lenders, Jacques Klein

Gepubliceerd 2026-08-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Despoina Giarimpampa, Roland Meier, Tegawendé F. Bissyandé, Vincent Lenders, Jacques Klein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de hooggespannen wereld van cybersecurity is het begrijpen van hoe menselijke experts denken cruciaal. Wanneer er een beveiligingsincident plaatsvindt, kunnen de beslissingen die analisten in een Security Operations Centre (SOC) nemen, bepalen of een dreiging wordt ingedamd of zich door het netwerk verspreidt. Om deze besluitvormingsprocessen te begrijpen, vertrouwen onderzoekers vaak op enquêtes en interviews met deze professionals. Het vinden van voldoende experts om deze enquêtes te beantwoorden is echter berucht moeilijk. Deze specialisten zijn vaak overwerkt, hebben te maken met constante meldingen en de dreiging van burn-out, en velen werken onder strikte vertrouwelijkheidregels die hen verhinderen details over hun dagelijkse werk te delen. Als gevolg hiervan lijden studies vaak aan kleine steekproeven, waardoor onderzoekers met onvolledige beelden van de sector blijven zitten.

Onlangs is er een nieuwe tool opgekomen die deze tekortkoming belooft op te lossen: large language models. Dit zijn geavanceerde computerprogramma's die getraind zijn op enorme hoeveelheden menselijke teksten en in staat zijn om tekst te genereren die opvallend veel lijkt op die van een persoon. Sommige onderzoekers zijn begonnen zich af te vragen of deze kunstmatige intelligenties als plaatsvervangers voor echte experts zouden kunnen fungeren, door de gaten in enquêtegegevens op te vullen door duizenden synthetische reacties te genereren. Het idee is aantrekkelijk: als een computer een expert kan imiteren, zou dit wetenschappers in staat stellen om hun vragen te testen, verschillende scenario's te verkennen en gegevens te verzamelen zonder de drukke mensen te hoeven opsporen. Maar een kritische vraag blijft over: kan een machine werkelijk denken als een beveiligingsprofessional, of produceert het slechts een overtuigende imitatie die de nuance van de echte menselijke ervaring mist?

Een team van onderzoekers zette zich in om deze vraag te beantwoorden door een rigoureus kader te bouwen om te testen of deze kunstmatige modellen betrouwbare vervangers kunnen zijn voor menselijke experts in beveiligingsenquêtes. Ze stelden niet simpelweg een paar vragen aan de modellen en keken wat er gebeurde; in plaats daarvan ontwierpen ze een uitgebreid experiment om te zien of de door de computer gegenereerde antwoorden standhielden onder kritische inspectie. De onderzoekers verzamelden echte enquêtegegevens van zes cybersecurityprofessionals werkzaam in verschillende sectoren, variërend van de gezondheidszorg tot de financiële sector. Deze experts hadden verschillende niveaus van ervaring en bekleedden verschillende rollen, zoals managers, analisten en specialisten. De onderzoekers vroegen vervolgens aan zes verschillende large language models om deze specifieke experts te simuleren, waarbij ze digitale persona's creëerden die overeenkwamen met de achtergronden en functietitels van de echte mensen.

Het experiment werd op drie verschillende manieren uitgevoerd om de modellen vanuit elke hoek te testen. Ten eerste vroegen de onderzoekers de modellen om als individuele experts op te treden, waarbij geprobeerd werd de specifieke meningen van de echte mensen te repliceren. Ten tweede vroegen ze de modellen om de algemene patronen van een hele groep te genereren, waarbij de geaggregeerde resultaten van een grootschalige enquête werden gesimuleerd. Ten slotte testten ze de modellen over een langere periode door te vragen hoe de meningen van experts over meerdere jaren van echte wereldgegevens waren verschoven. Gedurende dit hele proces voerden de onderzoekers elke simulatie meerdere keren uit om te zien of de modellen dezelfde antwoorden gaven wanneer ze herhaaldelijk dezelfde vraag kregen, om zo de consistentie en stabiliteit te controleren.

De resultaten onthulden een duidelijke en significante kloof tussen de kunstmatige simulaties en de menselijke realiteit. Hoewel de large language models opmerkelijk consistent waren met zichzelf — ze gaven vaak hetzelfde antwoord wanneer ze meerdere keren dezelfde vraag kregen — faalden ze in het vastleggen van de ware diversiteit van het menselijk denken. Echte beveiligingsexperts toonden een breed scala aan meningen; sommigen waren zelfverzekerd over hun keuzes, terwijl anderen onzeker waren, en hun antwoorden varieerden afhankelijk van hun specifieke ervaringen en de unieke druk van hun werkplek. In tegen plaats neigden de modellen naar één enkel, veilig middenweg-antwoord. Ze vlaken de meningsverschillen en onzekerheden af die natuurlijk zijn voor menselijke experts, en produceerden reacties die te uniform en te beleefd waren.

Wanneer de onderzoekers de verdeling van de antwoorden van de modellen vergeleken met de echte gegevens, leken de modellen de algemene vorm van de gegevens wel goed te krijgen, maar misten ze de details. Ze neigden extreme of zeldzame meningen te vermijden en clusterden hun reacties rond het gemiddelde. Deze "central tendency bias" (bias naar het midden) betekende dat hoewel de modellen een plausibel lijkend enquêteresultaat konden genereren, ze in feite de variaties wegvaagden die menselijke expertise juist waardevol maken. Wanneer ze bijvoorbeeld werden gevraagd naar de uitdagingen bij het adopteren van nieuwe tools, benadrukten echte experts specifieke, weerbarstige operationele hindernissen, terwijl de modellen generieke, tekstboekachtige moeilijkheden boden die de textuur van de werkelijke praktijk misten.

De studie onderzocht ook of deze modellen veranderingen in de sector in de loop van de tijd konden volgen. De onderzoekers ontdekten dat de modellen grotendeels ongevoelig waren voor tijd. Zelfs wanneer ze werden gevraagd om reacties uit verschillende jaren te simuleren, produceerden de modellen dezelfde statische patronen, waarbij ze er niet in slaagden de evoluerende aard van cybersecurity-dreigingen en -praktijken te weerspiegelen. Dit suggereert dat de modellen niet echt "leren" of zich aanpassen aan nieuwe informatie op de manier waarop een menselijke expert dat zou doen; in plaats daarvan roepen ze een vaste set concepten op die niet meebewegen met de tijd. Dit gebrek aan temporeel bewustzijn betekent dat ze niet kunnen worden vertrouwd om te voorspellen hoe de meningen van experts in de toekomst kunnen veranderen of om historische trends nauwkeurig te weerspiegelen.

Uiteindelijk concludeerden de onderzoekers dat hoewel deze large language models krachtige hulpmiddelen zijn, ze niet klaar zijn om menselijke experts in beveiligingsonderzoek te vervangen. De modellen zijn uitstekend voor de vroege stadia van een studie, zoals het helpen van onderzoekers bij het opstellen van enquêtevragen, het testen of een vraag duidelijk is, of het genereren van hypothetische scenario's om te verkennen. Ze kunnen dienen als een nuttig klankbord voor ideeën. Echter, ze mogen nooit worden gebruikt als vervanging voor de daadwerkelijke verzameling van deskundige meningen. De unieke, gevarieerde en soms tegenstrijdige aard van het menselijk oordeel is iets dat niet door een algoritme kan worden gesynthetiseerd. Om de echte wereld van cybersecurity te begrijpen, moeten onderzoekers nog steeds vertrouwen op de complexe, rommelige en onschatbare inzichten van de mensen die erin leven en werken. De studie dient als een vitale gids, die ervoor zorgt dat terwijl het vakgebied nieuwe technologieën omarmt, het het oog niet verliest voor de menselijke expertise die de basis van beveiliging blijft vormen.

Technische Samenvatting: Een raamwerk voor het gebruik en evalueren van LLM's als surrogaatexperts in beveiligingsenquêtes

1. Probleemstelling

Beveiligingsonderzoek, met name binnen Security Operations Centres (SOC's), leunt zwaar op deskundige elicitatie via enquêtes en interviews om de workflows, besluitvorming en organisatorische volwassenheid van professionals te begrijpen. Het werven van domeinexperts is echter steeds moeilijker geworden vanwege hoge werkdruk, burn-out, personeelstekorten en vertrouwelijkheidsproblemen. Deze uitdagingen resulteren vaak in kleine steekproeven, lage responspercentages (gemiddeld ~44% voor online enquêtes) en fragiele inzichten.

Hoewel Large Language Models (LLM's) een potentiële oplossing bieden door synthetische reacties op schaal te genereren, is er een kritiek gebrek aan methodologische begeleiding over hun betrouwbaarheid als surrogaatdeelnemers. Eerdere studies wijzen op risico's zoals hallucinaties, overdreven instemming en het afvlakken van genuante meningsverschillen. Bovendien schieten bestaande evaluaties vaak tekort door een gebrek aan rigoureuze vergelijking met domeinexperts, falen ze in het beoordelen van de stabiliteit tussen opeenvolgende runs, of houden ze geen rekening met temporele generalisatie. Het kernprobleem dat wordt geadresseerd is de vraag of synthetische respondenten accuraat menselijke perspectieven kunnen vertegenwoordigen in cybersecurity-enquêtes, of dat zij systematische biases introduceren die de validiteit van het onderzoek in gevaar brengen.

2. Methodologie

De auteurs stellen een algemeen, reproduceerbaar methodologisch raamwerk voor met de evaluatie van LLM's als surrogaatdeelnemers. Dit raamwerk wordt geïnstantieerd over drie verschillende experimentele settings om verschillende modi van enquête-simulatie te beoordelen:

Het Evaluatieraamwerk

Het raamwerk bestaat uit vier kerncomponenten:

Enquête-representatie: Vragen worden gecodeerd als categorische, meerkeuze- of Likert-schaalitems met gestandaardiseerde formattering.
Prompt Framing en Rolconditiering: Prompts definiëren de taak en het reactieformaat, inclusief persona-metadata (bijv. rol, industrie), maar sluiten strikt voorbeeldantwoorden uit (zero-shot onafhankelijkheid) om inherente inductieve biases te onthullen.
Samplingstrategie: Om rekening te houden met stochasticiteit, wordt elk model tien keer bevraagd onder identieke omstandigheden per setup. Dit maakt de schatting van stabiliteit, dispersie en variabiliteit tussen runs mogelijk.
Aggregatie en Representatie: Outputs worden geaggregeerd met behulp van enquête-gepaste regels (bijv. pluraliteitsstemming voor categorisch, mediaan voor Likert) om vergelijkbare reacties te vormen.

Experimentele Settings

Setting 1: Individuele Expert-simulatie: De auteurs verzamelden reacties van zes echte SOC-professionals (managers, analisten, specialisten) en vergeleken deze met LLM's die geprompt werden om overeenkomende expert-persona's te simuleren.
Setting 2: Reproductie van de Geaggregeerde Distributie: LLM's kregen de taak om populatieniveau-reactieverdelingen te genereren op basis van samenvattende statistieken van een eerdere studie naar menselijke praktijkervaringen bij SOC-alarmtriage.
Setting 3: Temporele Robuustheidsanalyse: Gebruikmakend van SANS SOC-enquêteverslagen van 2017–2025, evalueerden de auteurs of LLM's temporele verschuivingen in de reacties van professionals konden volgen, inclusief datapunten van vóór en na de trainings-cut-off van de modellen.

Modellen en Metrieken

Zes LLM's werden geëvalueerd (GPT-4o, GPT-4, DeepSeek, Llama 3.1-8B, Llama 3.2-3B, Gemini Flash), plus GPT-3.5-turbo voor temporele contrasten. De evaluatiemetrieken omvatten:

Overeenkomstmaten: Exacte match-ratio's, Jaccard/Hamming-gelijkenis en mediane absolute verschillen.
Distributieve Divergentie: Jensen–Shannon Divergentie (JSD) en Pearson's $\chi^2$ divergentie om synthetische distributies te vergelijken met menselijke baselines.
Stabiliteit: Intra-LLM consistentie (herhaalbaarheid tussen runs) en inter-LLM overeenkomst.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

Methodologisch Raamwerk: Een generaliseerbaar raamwerk voor het gebruik en evalueren van LLM's als surrogaatdeelnemers in expert cybersecurity-enquêtes.
Empirische Vergelijking: Een uitgebreide vergelijking tussen echte SOC-experts en LLM-gegenereerde respondenten over individuele, geaggregeerde en temporele settings.
Identificatie van Foutmodi: De systematische identificatie van specifieke biases in LLM-gegenereerde enquêtegegevens, waaronder verminderde variantie, centrale tendens-bias en gehomogeniseerde meningen.
Menselijke Factoren Analyse: Een beoordeling van de risico's van synthetische respondenten, specificatie van het verlies van expert-variabiliteit en de misrepresentatie van het perspectief van de praktijk.

4. Resultaten

De studie levert verschillende cruciale bevindingen op met betrekking tot de betrouwbaarheid van LLM's in deze context:

Individueel Niveau (Setting 1): Hoewel LLM's intern consistente antwoorden produceren wanneer ze worden geprompt met specifieke persona's, wijken ze systematisch af van menselijke experts. De overeenkomst tussen LLM's onderling is laag, en de afstemming met menselijke reacties is zwak (vaak nul). De modellen convergeren niet op vergelijkbare gesimuleerde reacties, noch benaderen ze de individuele expert-oordelen.
Geaggregeerd Niveau (Setting 2): LLM's genereren zeer stabiele geaggregeerde distributies over herhaalde runs. Hoewel de paarwijze gelijkenis (JSD) suggereert dat modellen breed genomen vergelijkbare distributieve vormen produceren, onthullen absolute divergentie-maten ( $\chi^2$ ) grote mismatches met menselijke baselines. Modellen kennen de kansmassa de neiging toe aan zeldzame opties en slagen er niet in om de specifieke proporties van menselijke reacties getrouw te reproduceren.
Temporeel Niveau (Setting 3): Door LLM-gegenereerde distributies zijn tijd-insensitief. De afstemming met menselijke enquêtegegevens blijft consistent laag over alle jaren (2017–2025) en verbetert niet voor jaren vóór de training-cut-off of verslechtert niet voor jaren na de cut-off. Modellen slagen er niet in om historische veranderingen in de reacties van professionals te volgen, wat suggereert dat ze statische conceptuele kennis reproduceren in plaats van evoluerend professioneel oordeel.
Systematische Biases: Kwalitatieve en kwantitatieve analyse bevestigt dat LLM's een verminderde variantie, centrale tendens-bias (convergeren op gematigde antwoorden) en gehomogeniseerde meningen vertonen. Ze hebben de neiging om algemene 'best practices' te reflecteren in plaats van de genuanceerde, conflicterende en contextafhankelijke realiteiten van menselijke experts.

5. Betekenis en Claims

Het artikel trekt een voorzichtige maar stevige conclusie over de rol van LLM's in beveiligingsonderzoek:

Geen Vervanging: LLM's zijn niet geschikt als vervanging voor menselijke expert-elicitatie in cybersecurity-enquêtes. Hun systematische divergentie van menselijke variabiliteit en hun onvermogen om de diversiteit van professionele perspectieven te vatten, beperken hun validiteit als surrogaatdeelnemers voor het trekken van empirische conclusies over security operations.
Bruikbaar voor Piloting en Hypothesegeneratie: De auteurs stellen dat LLM's waardevolle augmentatietools zijn. Hun controleerbaarheid en schaalbaarheid maken hen effectief voor:
- Het testen (piloting) van enquête-instrumenten.
- Het stress-testen van vragenlijstontwerpen.
- Het verkennen van contrafeitelijke populaties.
- Het genereren van hypothesen voor verder menselijk onderzoek.
Methodologische Begeleiding: Het werk biedt praktische begeleiding voor onderzoekers, waarbij wordt benadrukt dat synthetische reacties moeten worden behandeerd als stochastische steekproeven uit model-specifieke distributies in plaats van als gezaghebbende expert-opinies. Onderzoekers moeten methodologische waarborgen toepassen en de beperkingen van LLM-geaugmenteerde enquêtes transparant rapporteren om de integriteit van mens-gecentreerd beveiligingsonderzoek te bewaren.

De auteurs stellen expliciet dat hoewel LLM's het onderzoeksproces kunnen ondersteunen, ze niet kunnen substitueren voor het genuanceerde, contextbewuste oordeel van menselijke professionals, en dat het vertrouwen op hen als zodanig het risico inhoudt op misleidende conclusies en de erosie van expert-variabiliteit in beveiligingsstudies.