💬 NLP

Security and Privacy Taxonomy Generation from Mobile App Reviews

Dit artikel introduceert TaxoScale, een schaalbare pijplijn die meer dan 600.000 mobiele app-beoordelingen filtert en recursieve hiërarchische clustering combineert met LLM-gebaseerde naamgeving om automatisch een uitgebreide en nieuwe beveiligings- en privacytaxonomie te genereren, waarbij de beperkingen van bestaande methoden worden overwonnen die moeite hebben met grootschalige datasets.

Oorspronkelijke auteurs: Moghis Fereidouni, Vinaik Chhetri, Umar Farooq, A. B. Siddique

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Moghis Fereidouni, Vinaik Chhetri, Umar Farooq, A. B. Siddique

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, bruisende stad waar elke app een winkel, een restaurant of een park is. Elke dag lopen miljoenen mensen door deze digitale deuren, en wanneer ze vertrekken, roepen ze vaak hun klachten of complimenten de lucht in. Deze kreten zijn "app-reviews". Terwijl sommigen klagen over trage laadtijden of lelijke kleuren, schreeuwen anderen om iets veel serieuzers: hun privacy en veiligheid. Ze zeggen: "Deze app houdt mij in de gaten!" of "Het steelt mijn gegevens!"

Lange tijd hebben wetenschappers en beveiligingsexperts geprobeerd naar deze kreten te luisteren om te begrijpen wat er misgaat. Ze creëerden "taxonomieën", die lijken op enorme, georganiseerde archiefkasten of bibliotheekcatalogi. In plaats van alleen een chaotische bende aan klachten te horen, sorteert een taxonomie ze in nette categorieën zoals "Gegevensverzameling", "Surveillance" of "Wachtwoordproblemen". Er is echter een groot probleem met deze oude archiefkasten: ze werden met de hand gebouwd, map voor map, door menselijke experts. De stad van apps verandert te snel voor mensen om bij te houden. Nieuwe functies verschijnen, nieuwe trucjes worden gebruikt om gebruikers te bespioneren, en de oude archiefkasten worden stoffig en verouderd nog voordat ze zelfs maar af zijn. De vraag wordt: Hoe bouwen we een sorteersysteem dat miljoenen kreten in realtime kan organiseren, zonder overweldigd te raken?

Dit is waar onderzoekers van de University of Kentucky en Louisiana State University inspringen met een nieuwe tool genaamd TaxoScale. Ze realiseerden zich dat de oude manier van het bouwen van deze catalogi te traag was en de enorme hoeveelheid data niet kon aan. Ze hadden een enorme stapel van 18,63 miljoen app-reviews, maar slechts ongeveer 601.257 daarvan gingen daadwerkelijk over privacy of veiligheid. Het handmatig sorteren van die vele klachten zou een eeuwigheid duren, en het proberen te gebruiken van een standaard computerprogramma zou waarschijnlijk vastlopen omdat de lijst simpelweg te lang is.

Om dit op te lossen, bouwde het team een slimme pijplijn die fungeert als een superefficiënte bibliothecaris. Eerst gebruikten ze een krachtige AI (een type computerbrein genaamd een LLM) om als filter te fungeren, die de 18 miljoen reviews doorzoekt om de 600.000 te vinden die daadwerkelijk over privacy en veiligheid gingen. Daarna gebruikten ze een andere AI om de specifieke zinnen eruit te halen waarin gebruikers hun zorgen beschreven, waardoor lange betogen werden omgezet in korte, duidelijke "labels" zoals "heeft mijn contacten nodig" of "volgt mijn rijgedrag".

De echte magie vindt plaats in de volgende stap. In plaats van te proberen al die 600.000 labels tegelijk te sorteren (wat zou zijn alsof je een miljoen boeken in één enkele kamer probeert te organiseren), gebruikt TaxoScale een slimme truc genaamd Recursive Hierarchical Clustering. Stel je voor dat je een enorme stapel gemengd speelgoed hebt. In plaats van te proberen al het speelgoed tegelijk te sorteren, verdeel je de stapel eerst in twee grote emmers. Daarna neem je één emmer, verdeelt die in twee kleinere emmers, en ga je zo door totdat de stapels klein genoeg zijn om gemakkelijk te sorteren. Zodend de kleine stapels gesorteerd zijn, plak je de groepen weer logisch aan elkaar. Deze "verdeel en heers"-methode stelt het systeem in staat om de enorme schaal aan te kunnen zonder vast te lopen.

Ten slotte gebruikt het systeem een AI om namen aan deze nieuwe groepen te geven. Het kijkt naar de gesorteerde stapels en verzint duidelijke, korte namen voor hen, zoals "Gedragsregistratie" of "Netwerkbeveiliging". Het resultaat is een gloednieuwe, levende taxonomie die veel beter is dan de oude handgemaakte versies. De onderzoekers ontdekten dat hun nieuwe systeem niet alleen nauwkeuriger was in het sorteren van de klachten, maar ook geheel nieuwe categorieën ontdekte waar niemand eerder aan had gedacht. Zo vonden ze bijvoorbeeld een volledig nieuwe tak van zorgen over "Netwerkbeveiliging" (zoals hoe apps IP-adressen beheren of VPN's gebruiken) en een zeer specifieke categorie voor "Ouderlijk Toezicht"-problemen, wat logisch is omdat hun data ook reviews bevatte van door leraren goedgekeurde apps.

Het artikel laat zien dat TaxoScale een belangrijke stap voorwaarts is. Het kopieert niet alleen de oude categorieën; het vindt nieuwe en organiseert ze beter dan eerdere automatische methoden. Door hun data en code vrij te geven, overhandigen de onderzoekers de sleutels van dit nieuwe, slimmere sorteersysteem aan de rest van de wereld, in de hoop dat het zal helpen onze digitale stad veiliger en transparanter te houden naarmate deze blijft groeien.

Technische Samenvatting: Generatie van een Taxonomie voor Beveiliging en Privacy uit Mobiele App-reviews

Probleemstelling

Mobiele app-reviews vormen een enorme, continu evoluerende bron van gebruikersfeedback met betrekking tot privacy en beveiliging. In tegenstelling tot statische, door ontwikkelaars gedefinieerde beleidsregels, leggen deze reviews de werkelijke gebruikerservaringen vast met betrekking tot intrusieve permissies, gegevensverzameling en surveillance. Bestaande taxonomies om deze zorgen te organiseren zijn echter handmatig gemaakt, statisch en kostbaar om te onderhouden, waardoor ze niet in staat zijn om het tempo van de dynamische aard van app-ecosystemen bij te houden.

Het automatiseren van taxonomieconstructie is de natuurlijke oplossing, maar huidige methoden worden geconfronteerd met aanzienlijke schaalbaarheidsbarrières. Bestaande benaderingen die gebruikmaken van Large Language Models (LLMs) en clustering zijn doorgaans ontworpen voor wetenschappelijke corpora van enkele duizenden documenten. Ze worstelen met collecties app-reviews die in de honderdduizenden lopen (zelfs na filtering) vanwege de beperkingen van de context window van LLMs en de computationele onhandelbaarheid van hiërarchische clustering op dergelijke grote datasets. Bov� وبعد is er een gebrek aan grootschalige, open, privacy-specifieke datasets, aangezien eerdere bronnen ofwel beperkt zijn in reikwijdte (bijv. alleen gezondheidsapps) of niet publiekelijk zijn vrijgegeven.

Methodologie: TaxoScale

Om deze uitdagingen aan te pakken, introduceren de auteurs TaxoScale, een vierstaps-pipeline ontworend om taxonomies te construeren op de schaal van 600.000+ reviews. Het systeem vertrekt vanuit een bestaande, door experts gedefinieerde taxonomie (Akgul et al., 2024) en breidt deze uit met behulp van een combinatie van embedding-gebaseerde clustering en LLM-gebaseerde naamgeving van nodes.

1. Corpusconstructie en Pseudo-labeling

Data-aggregatie: De auteurs aggregeerden 18,63 miljoen reviews uit drie bronnen (AI-gestuurde reviews, MobileRec en door docenten goedgekeurde apps) die 11.220 apps beslaan.
Filtering: Een LLM-gebaseerde classifier (Llama-3.3-70B) filterde deze reviews om privacy- en beveiligingsgerelateerde reviews te identificeren, wat resulteerde in 601.257 reviews. Het model werd geselecteerd na het benchmarken van tien open-source LLMs over acht prompt-templates, waarbij een F1-score van 0,9700 werd behaald.
Extractie: Een extractieve summarizer (eveneals Llama-3.3-70B) isoleerde specifieke tekstfragmenten die zorgen beschrijven binnen de gefilterde reviews. Deze fragmenten dienen als "pseudo-labels" (bijv. het extraheren van "heeft mijn contacten en gesprekslogs nodig" uit een review die de UI prijst maar klaagt over permissies).

2. De TaxoScale-pipeline

De pipeline verloopt via vier afzonderlijke fasen:

Stap 1: Embedding en Toewijzing: Pseudo-labels worden gecodeerd met Qwen3-Embedding-8B en toegewezen aan nodes in de seed-taxonomie op basis van cosinus-gelijkenis. Labels die onder een gelijkenis-drempelwaarde vallen, worden verzameld als niet-toewijsbare data om aan de root te worden toegevoegd.
Stap 2: Recursieve Hiërarchische Clustering: Dit is de kerninnovatie voor schaalbaarheid. In plaats van één clustering-algoritme op de gehele dataset toe te passen, wisselt TaxoScale af tussen:
- Top-down partitionering: Het gebruik van mini-batch k-means om grote clusters op te splitsen.
- Bottom-up samenvoeging: Het gebruik van Ward's agglomeratieve linkage op de resulterende centroiden.
- Recursie: Als een resulterend cluster te groot blijft (de tractabiliteitsdrempel $\tau$ overschrijdt), wordt het proces recursief uitgevoerd op dat sub-cluster. Dit stelt het systeem in staat om honderdduizenden labels te verwerken terwijl het geworteld blijft in gevestigde terminologie.
Stap 3: Binair-naar-Multiway Conversie: De initiële clustering produceert een binaire boom, die vaak te fijnmazig is. Het systeem laat nodes instorten op basis van merge-hoogtedrempels ( $\delta_{leaf}$ en $\epsilon$ ) om de binaire structuur om te zetten in een multi-way taxonomie die menselijke categorisatie beter weerspiegelt.
Stap 4: LLM-gebaseerde Node Naamgeving: Nieuwe nodes worden bottom-up benoemd met behulp van Qwen3-235B. Het model wordt geprompt met de pseudo-labels van de node (of kind-namen voor interne nodes), het ouder-pad en de naam van de broer/zus-nodes om beknopte (2–6 woorden) samenvattingen te genereren die onderscheidend zijn van de broer/zus-nodes en strikt sub-categorisch zijn ten opzichte van de ouder.

Belangrijkste Bijdragen

Grootschalig Privacy-corpus: De creatie van een uitgebreid, open corpus van 601.257 privacy- en beveiligingsgerelateerde app-reviews, afgeleid van 18,63 miljoen ruwe reviews.
TaxoScale-pipeline: Een innovatieve methodologie die recursieve hiërarchische clustering combineert met LLM-gebaseerde naamgeving om de constructie van taxonomies te schalen naar honderdduizenden documenten, waarmee de beperkingen van context windows en computationele complexiteit worden overwonnen.
Nieuwe Ontdekkingen: Het systeem identificeert succesvol takken die afwezig zijn in eerdere taxonomies, waaronder een nieuwe tak voor Netwerkbeveiliging (bijv. IP-adresbeheer, VPN-functionaliteit) en verfijnde subcategorieën voor Gedrags-tracking (bijv. Rijgedrag, Financiële Transactietracking).
Resource-vrijgave: De auteurs stellen het gefilterde corpus, de geëxtraheerde zorg-labels en de TaxoScale-codebase beschikbaar.

Resultaten

TaxoScale werd geëvalueerd tegen vier sterke baselines: Chain-of-Layers, TaxoCom, TaxoAdapt en SCYCHIC. De evaluatie maakte gebruik van vier metrieken:

Path Score: Meet of kind-nodes werkelijke subtopics van de ouders zijn.
Level Score: Meet de coherentie en consistentie van de specificiteit tussen broer/zus-nodes.
Coverage Score: Het deel van de pseudo-labels dat naar leaf-nodes met een hoge gelijkenis mapt.
Novelty Score: De mate waarin nodes concepten vertegenwoordigen die verder gaan dan standaard taxonomies.

Prestaties:

TaxoScale behaalde de hoogste scores over alle metrieken: Path (0,7285), Level (0,7726), Coverage (0,9852) en Novelty (0,4778).
Het presteerde opvallend beter dan de op één na beste baseline (TaxoAdapt) op de Path- en Level-scores, en overtrof Chain-of-Layers aanzienlijk in Coverage (0,9852 vs. 0,9090).
De hoge novelty-score geeft de bekwaamheid van het systeem aan om concepten naar boven te halen die niet aanwezig zijn in bestaande handmatige taxonomies.

Betekenis en Claims

Het artikel beweert dat TaxoScale het cruciale gat overbrugt tussen de enorme schaal van door gebruikers gegenereerde privacydata en de statische aard van huidige taxonomies. Door de expansie van expert-gedefinieerde taxonomies te automatiseren, kan het systeem het tempo van evoluerende dreigingen en gebruikersperspectieven bijhouden.

De auteurs benadrukken dat hun aanpak domein-agnostisch is; hoewel gemotiveerd door privacy en beveiliging, maakt de pipeline geen specifieke aannames over deze domeinen en kan deze worden toegepast op elk grootschalig corpus. Ze stellen echter expliciet dat cross-domein validatie aan toekomstig onderzoek wordt overgelaten, aangezien de huidige studie is geworteld in de specifieke uitdagingen van mobiele app-privacy en -beveiliging. Het werk demonstreert dat het combineren van recursieve clustering met LLMs de ontdekking mogelijk maakt van fijnmazige, niche-zorgen (zoals "Rijgedrag Tracking") die anders zouden worden geabsorbeerd in bredere, minder informatieve categorieën.