Technische Samenvatting: Security en Privacy Prompts in het Wild

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden gebruikt als alledaagse informatiebronnen, blijft hun rol binnen digitale beveiliging en privacy (S&P) onderbelicht. Eerder onderzoek naar de kwaliteit van LLM-responsen in S&P-domeinen vertrouwde op door experts geschreven misconcepties of FAQ's in plaats van werkelijke gebruikersvragen. Bijgevolg is het onduidelijk welke specifieke S&P-vragen gebruikers aan LLM's stellen, hoe goed modellen deze beantwoorden, en of reacties consistent zijn bij herhaalde queries. Onnauwkeurige of tegenstrijdige S&P-adviezen kunnen leiden tot reële gevolgen, zoals gecompromitteerde accounts of blootgestelde digitale identiteiten, en tegenstrijdige instructies kunnen beschermend gedrag van gebruikers ondermijnen.

Methodologie

De studie maakte gebruik van WildChat, een dataset van 3,2 miljoen echte gebruikersconversaties, om een representatieve corpus van S&P-interacties te construeren.

1. Data Curatie en Classificatie:

   • Vanuit 1,7 miljoen unieke Engelse prompts (na filtering op toxiciteit, lengte en niet-S&P inhoud) identificeerden de auteurs 14.727 S&P-prompts met behulp van een drie-LLM meerderheidsstemming-classifier (Qwen 3, Calme 3.2 en GPT 5.2).
   • Deze prompts werden gecategoriseerd in negen S&P-onderwerpen (bijv. Account & Auth, Data Privacy, Social Engineering) op basis van een taxonomie aangepast uit eerdere literatuur.

2. Thematische Analyse (RQ1):

   • Een gestratificeerde steekproef van 450 prompts (50 per categorie) onderging een thematische analyse door twee onderzoekers. Dit proces genereerde zes primaire thema's en 22 subthema's om de intentie van de gebruiker te karakteriseren.

3. Evaluatie van Responskwaliteit en Consistentie (RQ2 & RQ3):

   • De auteurs cureerden 270 "advieszoekende" prompts (verzoeken om aanbevelingen, begeleiding of specifieke informatie), waarbij taken gerelateerd aan programmeren of creatief schrijven werden uitgesloten.
   • Geëvalueerde Modellen: Vijf LLM's werden getest: drie commerciële (GPT 5.5, Gemini 3.1, Claude 4.7) en twee open-weight modellen (Qwen 3, Llama 4).
   • Procedure: Elke prompt werd 10 keer per model bevraagd om 2.700 responsen per model te genereren.
   • Kwaliteitsmetriek: Responsen werden gescoord met behulp van een LLM-as-judge checklist methode. Binaire checklists die de correcte antwoordcomponenten specificeerden, werden voor elke prompt gegenereerd. Scores (1–10) werden gemiddeld over drie scorer-modellen om de self-preference bias te mitigeren.
   • Consistentiemetriek: Consistentie werd gemeten met behulp van bidirectionele entailment op bewijscitaten geëxtraheerd door de scorer-modellen. Een prompt werd als consistent beschouwd als de entailment-score tussen paren van responsen over de 10 runs de 0,5 overschreed.

Belangrijkste Bijdragen

• Eerste Empirische Karakterisering: Deze studie biedt de eerste analyse van real-world S&P-prompts gericht aan LLM's, waarbij men verder gaat dan synthetische of door experts gecureerde datasets.
• Taxonomie van Gebruikersintentie: Het onderzoek identificeert unieke interactiepatronen, waaronder gebruikers die LLM's behandelen als defensieve agenten, de interne werking van het model onderzoeken, en adversariële verzoeken doen.
• Duaal Evaluatiekader: Het artikel toont aan dat responskwaliteit en consistentie afzonderlijke dimensies van betrouwbaarheid zijn, wat aparte evaluatiemetrieken vereist in S&P-contexten.

Resultaten

1. Thematische Analyse van Gebruikersprompts

De analyse van 450 prompts onthulde zes thema's:

• Algemene Kennis (33,3%): Het meest voorkomende thema, inclusief brede informatieve vragen en examestijl vragen.
• Navigatie aan Gebruikerszijde (20,9%): Gericht op incidentrespons, zoals het opstellen van bezwaarschriften voor accountverboden.
• Defensieve Actie (11,8%): Gebruikers die zoeken naar beschermende beoordelingen (bijv. "Is deze app veilig?") of tegen-fraude strategieën (bijv. scam-baiting).
• Onderzoek naar de LLM (10,2%): Gebruikers die het eigen systeem, de trainingsdata en de privacypraktijken van het model onderzoeken (bijv. "Worden onze gesprekken opgenomen?").
• Schadelijke & Aanstootgevende Verzoeken (6,9%): Verzoeken om te assisteren bij aanvallen, inclusief persoongerichte doxxing, systeemexploitatie en platform-omzeiling.
• S&P Taakproductie: Verzoeken om beveiligingsgerelateerde content te genereren.

2. Responskwaliteit

Commerciële modellen presteerden aanzienlijk beter dan open-weight modellen:

• GPT 5.5 behaalde de hoogste gemiddelde score (8,67/10), waarbij 98% van de prompts een "goede" of betere beoordeling ontving (score ≥ 7).
• Gemini 3.1 (8,52) en Claude 4.7 (8,47) volgden nauw.
• Qwen 3 scoorde 7,90, terwijl Llama 4 met 6,71 het laagst scoorde, waarbij slechts 47% van de responsen de "goede" drempel haalde.
• Kwalitatieve Bevindingen: Hoogwaardige responsen waren feitelijk accuraat en ethisch gepast. Laagwaardige responsen faalden vaak op feitelijke juistheid (bijv. het hallucineren van functies) of overtraden ethische criteria door schadelijke instructies te geven zonder waarschuwingen.

3. Responsconsistentie

Consistentie correleerde niet strikt met kwaliteit:

• Llama 4 produceerde de meest consistente responsen (97,4% van de prompts hadden niet-tegenstrijdige runs), ondanks de laagste gemiddelde kwaliteit.
• GPT 5.5 was ook zeer consistent (97,0%).
• Qwen 3 was het minst consistent (89,6%).
• Kritische Observatie: Zelfs hoogwaardige modellen (bijv. Gemini 3.1) produceerden soms tegenstrijdig advies over dezelfde prompt over verschillende runs heen (bijv. conflicterende configuraties voor bestandssysteemrechten), wat een risico vormt voor het verwarren van gebruikers.

Betekenis en Claims

Het artikel beweert een kritiek gat te vullen in het begrip van hoe gebruikers interageren met LLM's voor beveiliging en privacy. De primaire betekenis ligt in:

1. Onthulling van Dual-Use Dynamiek: De studie benadrukt dat LLM's niet alleen fungeren als informatiebronnen, maar ook als interactieve agenten voor zowel defensieve als offensieve S&P-taken. Dit creëert een "tweezijdige detectieproblematiek" waarbij modellen schadelijke verzoeken moeten weigeren zonder legitieme defensieve vragen te veel te weigeren.
2. Uitbreiding van het Aanvalsoppervlak: Gebruikers onderzoeken actief LLM's voor interne informatie (API-sleutels, trainingsdata), waardoor een deel van het aanvalsoppervlak verschuift naar het model zelf.
3. Betrouwbaarheidsdimensies: De auteurs stellen dat responskwaliteit en consistentie complementaire dimensies zijn. In S&P-contexten kan een model dat hoogwaardig maar tegenstrijdig advies geeft, even schadelijk zijn als een laagwaardig model, omdat inconsistentie het vertrouwen en het beschermend gedrag van de gebruiker ondermijnt.
4. Evaluatie Imperatief: Toekomstig werk en modelimplementatie in S&P-domeinen moeten zowel kwaliteit als consistentie evalueren en rapporteren om betrouwbaarheid volledig te karakteriseren.

De auteurs erkennen beperkingen, waaronder een mogelijke bias naar technisch onderlegde gebruikers in de WildChat-dataset, een focus op Engelse prompts, en de analyse van single-turn prompts in plaats van multi-turn dialogen.