🤖 AI

LLMs for Qualitative Data Analysis Fail on Security-specificComments in Human Experiments

Dit onderzoek concludeert dat grote taalmodellen, ondanks verbeteringen door gedetailleerde instructies, nog niet betrouwbaar kunnen fungeren als vervanging voor menselijke annotators bij de kwalitatieve analyse van beveiligingsgerelateerde opmerkingen in experimenten.

Oorspronkelijke auteurs: Maria Camporese, Fabio Massacci, Yuanjun Gong

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maria Camporese, Fabio Massacci, Yuanjun Gong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom slimme AI's nog niet de 'rechercheurs' van code kunnen vervangen

Stel je voor dat je een grote groep mensen hebt die net een complexe puzzel hebben opgelost: ze moesten kijken naar stukjes computercode en ontdekken waar de fouten (de 'kwetsbaarheden') zaten. Daarna moesten ze uitleggen waarom ze dat dachten. Dit zijn hun aantekeningen, hun gedachten in tekstvorm.

Om te begrijpen wat deze mensen echt bedoelen, moeten onderzoekers deze aantekeningen lezen en 'coderen'. Dat betekent: ze moeten markers zetten bij zinnen die zeggen "Ik heb een fout gevonden", "Ik twijfel", of "Ik heb een specifiek woord gezien". Dit is een heel tijdrovend en moeilijk klusje, waarvoor je echte experts nodig hebt.

De onderzoekers van dit papier dachten: "Wacht even, we hebben nu super-slimme AI's (Large Language Models of LLMs). Kunnen die niet gewoon die dure mensenrechercheurs vervangen? Laten we die AI's de aantekeningen laten lezen en de markers laten zetten."

Ze hebben dit getest met de vier slimste AI's van dit moment. Het resultaat? De AI's faalden. Ze konden de menselijke experts niet vervangen.

Hier is hoe dat precies zat, uitgelegd met een paar simpele analogieën:

1. De Taak: Het vinden van naalden in hooibergen (maar dan subtiel)

Stel je voor dat je een berg tekst hebt. Je moet zoeken naar specifieke dingen:

Var: Noemen ze een specifieke code-naam (zoals inv of debug)?
Lin: Noemen ze een regelnummer?
Unclr: Is het antwoord onduidelijk of twijfelachtig?

Dit lijkt simpel, maar het is als het verschil tussen zeggen "Er staat een auto in de straat" en "Er staat een rode Volkswagen Golf met kenteken AB-12-CD in de straat". Een AI kan vaak wel de auto zien, maar mist de subtiele nuance of de specifieke context die een mens wel ziet.

2. Het Experiment: De AI als stagiair

De onderzoekers gaven de AI's een taak die ze stap voor stap moeilijker maakten, net zoals je een stagiair zou opleiden:

Stap 1: "Hier is de taak, doe maar." (De AI raakte volledig in de war).
Stap 2: "Hier is een handleiding met voorbeelden." (De AI werd iets beter, maar nog niet goed genoeg).
Stap 3: "Hier zijn voorbeelden van waar mensen het oneens waren, en hier is de uitleg waarom." (De AI kreeg de beste hulp die je kunt bedenken).

Het resultaat: Zelfs met de beste handleiding en de duidelijkste voorbeelden, bleef de AI onder de streep. Ze maakten te veel fouten. Soms dachten ze dat er een fout was gevonden als dat niet zo was, en soms misten ze een fout die een mens wel zag.

3. Waarom faalden ze? (De "Grijze Gebieden")

De AI's zijn geweldig in het herkennen van duidelijke patronen, maar ze struikelen over de grijze gebieden van menselijk denken.

De "Twijfel"-valstrik: Als een mens zegt: "Ik denk dat dit misschien een fout is, maar ik ben niet zeker," is dat een belangrijke marker. De AI's waren hier vaak in de war. Sommigen dachten: "Ah, het woord 'misschien' staat er, dus het is twijfel!" terwijl anderen dachten: "Nee, ze hebben een fout gevonden, dus het is geen twijfel." Mensen begrijpen de intentie achter de twijfel; AI's kijken vaak alleen naar de woorden.
De "Woord-Valstrik": Als iemand het woord debug gebruikt, betekent dat niet altijd dat ze een specifieke code-naam noemen. Het kan gewoon een gewone zin zijn. De AI's zagen het woord debug en dachten direct: "Ja, dat is een code-naam!" terwijl een mens wist dat het hier gewoon een gewone zin was.

4. De Grootste Verrassing: Open Source wint

Je zou denken dat de duurste, gesloten AI's (zoals die van OpenAI of Google) het beste zouden doen. Maar in dit geval deden de gratis, open-source modellen (zoals DeepSeek en Qwen) het vaak beter dan de dure modellen. Het is alsof een slimme, goedkope stagiair soms beter begrijpt wat er bedoeld wordt dan de duurste consultant die te veel op zijn eigen regels let.

5. De Conclusie: AI is een hulpmiddel, geen vervanger

De boodschap van dit onderzoek is helder:

AI's zijn nog niet klaar om menselijke experts te vervangen bij het analyseren van technische, veilige comments. Ze zijn te onbetrouwbaar.
Meer uitleg helpt niet altijd: Als je de AI's steeds meer voorbeelden en uitleg geeft, wordt het niet per se beter. Soms verwarren ze zich zelfs meer.
De toekomst: AI kan wel helpen als een assistent. Denk aan een AI die een eerste opzet maakt, of die zegt: "Hier zijn 10 zinnen die misschien interessant zijn, check jij ze maar." Maar de finale beslissing en de nuance moeten bij de mens blijven.

Kortom: In de wereld van cybersecurity is het vinden van fouten in code een spelletje van subtiele nuances. De huidige AI's zijn als een robot die heel goed kan tellen, maar nog niet goed genoeg kan denken om te begrijpen wat een mens echt bedoelt. We moeten ze nog even als "assistenten" houden, niet als "baasjes".

Titel: LLMs voor Kwalitatieve Data-analyse Falen bij Beveiligingsspecifieke Opmerkingen in Menselijke Experimenten

Auteurs: Maria Camporese, Fabio Massacci, Yuanjun Gong (Universiteit van Trento & Vrije Universiteit Amsterdam).
Publicatie: ICPC '26 (April 2026).

1. Probleemstelling

In empirisch software- en beveiligingsonderzoek is Thematische Analyse (Thematic Analysis - TA) een cruciale methode om kwalitatieve data (zoals vrijetekst-justificaties van proefpersonen) te coderen en te interpreteren. Dit proces is echter uiterst arbeidsintensief en kostbaar omdat het meerdere domeinexperts vereist om betrouwbare annotaties te garanderen.

Hoewel Large Language Models (LLMs) succesvol zijn ingezet voor algemene sentimentanalyse en opiniedetectie, is het onduidelijk of ze de rol van menselijke annotatoren kunnen overnemen bij technisch beveiligingsgerelateerde taken. Deze taken vereisen diepere contextuele begrijping, zoals het detecteren van:

Verwijzingen naar specifieke code-identifiers (variabelen, methoden).
Verwijzingen naar specifieke regels code (lines-of-code).
Beveiligingsspecifieke sleutelwoorden en potentiële exploitaties.

De kernvraag is of LLMs deze complexe, domeinspecifieke coderingen betrouwbaar kunnen uitvoeren om menselijke annotatoren te vervangen, en hoe prompt-engineering (zoals het gebruik van codeboeken en voorbeelden) de prestaties beïnvloedt.

2. Methodologie

De auteurs hebben een experimenteel ontwerp opgezet waarbij LLMs proberen menselijke annotatoren te vervangen in een bestaand dataset van een beveiligingsexperiment.

Dataset: Een dataset van 263 vrijetekst-opmerkingen van masterstudenten informatica, die reageerden op kwetsbaarheden in code-snippets. Deze opmerkingen waren handmatig geannoteerd door vier menselijke annotatoren volgens een strikt protocol (emergente codering, codeboek, review, en conflictoplossing).
Doel: De LLM moet de annotaties genereren voor een subset van opmerkingen die nog niet door een specifieke menselijke annotator waren ingevuld, gebruikmakend van de informatie die ook voor de mens beschikbaar was.
Geselecteerde Modellen: Vier state-of-the-art LLMs (twee proprietary, twee open-source) gebaseerd op de LiveBench-ranglijst:
- Proprietary: GPT-5 (ChatGPT-5), Claude-4 (Claude Sonnet 4).
- Open-source: DeepSeek-V3.2, Qwen3-Max.
Prompt-strategieën (RQ2): De prompts werden stapsgewijs verrijkt om het menselijke coderingsproces na te bootsen:
- P1: Alleen taakbeschrijving en codenamen.
- P2: Toevoeging van formele definities en voorbeelden (codeboek).
- P3: Toevoeging van voorbeelden van andere annotatoren (few-shot learning).
- P3+: Toevoeging van conflicterende voorbeelden en verduidelijkingen van de onderzoekers (gebaseerd op een pilot met GPT-4o).
Evaluatiemetrics:
- In plaats van simpele nauwkeurigheid (accuracy), die misleidend kan zijn bij onbalans in data, gebruikten de auteurs Cohen's Kappa ( $\kappa$ ) en Chance-Corrected Accuracy (Heidke Skill Score).
- Dit meet de overeenkomst tussen de LLM en de menselijke annotator, gecorrigeerd voor toeval. Een $\kappa$ > 0,6 wordt gezien als "substantieel" en noodzakelijk voor vervanging.

3. Belangrijkste Resultaten

De resultaten zijn over het algemeen negatief voor het idee van volledige automatisering.

Vervanging van Menselijke Annotatoren (RQ1):
- Geen enkel getest LLM kon menselijke annotatoren betrouwbaar vervangen. De gemiddelde Cohen's Kappa-waarden lagen ver onder de drempel voor "substantieel" overeenstemming.
- Prestaties per model:
  - Qwen3-Max en DeepSeek-V3.2 (open-source) presteerden verrassend goed, met $\kappa$ -waarden rond 0,60 en 0,54 respectievelijk (grenzend aan "substantieel" of "matig").
  - GPT-5 en Claude-4 presteerden slechter ( $\kappa$ rond 0,25 - 0,30), wat slechts "beperkt" of "onbruikbaar" wordt geacht.
- Per Code-type: De prestaties varieerden sterk per type code. LLMs deden het redelijk bij het detecteren van simpele elementen zoals "regels genoemd" (Lin) of "identifiers genoemd" (Var), maar faalden bij interpretatieve codes zoals "onduidelijk antwoord" (Unclr) of het onderscheiden van algemene technische termen van specifieke beveiligingscontexten.
- Verrassende bevinding: Open-source modellen presteerden in dit specifieke scenario over het algemeen beter dan de proprietary modellen.
Impact van Prompt Engineering (RQ2):
- Het verfijnen van prompts (van P1 naar P3+) leverde geen statistisch significante verbetering op die de extra moeite rechtvaardigde.
- Er was een kleine sprong in prestatie bij het toevoegen van formele definities (P1 -> P2), maar verdere verfijning met conflicterende voorbeelden (P3+) bracht geen uniforme winst en kon sommige modellen zelfs verwarren.
- De correlatie tussen token-kosten (inspanning) en prestatie was zwak; meer tokens garandeerden geen betere resultaten.

4. Bijdragen en Conclusies

Negatief Resultaat: LLMs zijn op dit moment niet klaar om menselijke annotatoren te vervangen bij kwalitatieve analyse van beveiligingsgerelateerde commentaren. Ze missen het vermogen om nuance, context en onzekerheid in technische redeneringen correct te interpreteren.
Rol van LLMs: De auteurs concluderen dat LLMs momenteel een assisterende rol moeten spelen (bijvoorbeeld voor het genereren van een eerste draft of het markeren van eenvoudige patronen), maar niet als autonome annotatoren. Menselijke verificatie blijft essentieel.
Methodologische Inzicht: Het gebruik van chance-corrected metrics (Cohen's Kappa) is cruciaal in dit domein, omdat simpele nauwkeurigheid de prestaties van LLMs zou overschatten door de onbalans in de data (veel meer "geen kwetsbaarheid" dan "wel kwetsbaarheid" gevallen).
Toekomstperspectief: Er is behoefte aan hybride workflows, model-calibratie en mogelijk fine-tuning op domeinspecifieke data, in plaats van alleen te vertrouwen op prompt-engineering.

5. Significantie

Deze studie is significant omdat het een realiteitscheck biedt voor de hype rondom AI in kwalitatief onderzoek binnen de cybersecurity. Het toont aan dat domeinspecifieke complexiteit (zoals het begrijpen van exploitatie-technieken en code-context) een barrière vormt die huidige generieke LLMs niet zonder menselijke tussenkomst kan overwinnen. Het paper waarschuwt onderzoekers om niet te vertrouwen op geautomatiseerde annotatie voor kritieke beveiligingsstudies zonder strikte menselijke validatie.