Technische Samenvatting: Geautomatiseerde Generatie van Nauwkeurige Privacy-bijschriften uit Android-broncode met behulp van Large Language Models

Probleemstelling

Privacyverklaringen van apps zijn cruciale artefacten die gebruikers en toezichthouders informeren over welke persoonlijke informatie een app verzamelt, hoe deze wordt gebruikt en waarom. Deze meldingen vertrouwen vaak op "privacy-bijschriften" (privacy captions)—beknopte natuurlijke taalzinnen die deze gedragingen beschrijven. Het maken van nauwkeurige bijschriften is echter een aanzienlijke last voor ontwikkelaars, met name voor die in kleine teams zonder privacy-expertise. Huidige praktijken, zoals het gebruik van online beleidsgeneratoren, het kopiëren van vergelijkbare apps of het handmatig annoteren van code, resulteren vaak in bijschriften die onnauwkeurig, incompleet of inconsistent zijn met het werkelijke gedrag van de app. Deze discrepantie kan leiden tot boetes van toezichthouders en verwijdering uit app-stores.

Bestaande geautomatiseerde benaderingen voor het genereren van privacyverklaringen lijden aan drie primaire beperkingen:

1. Hoge ontwikkelaarslast: Veel tools vereisen uitgebreide handmatige input, zoals het annoteren van broncode of het beantwoorden van gedetailleerde vragenlijsten.
2. Beperkte of onnauwkeurige context: Geautomatiseerde methoden vertrouwen vaak op beperkte contexten van de broncode (bijv. alleen de eerste paar methoden in een call graph) of potentieel onnauwkeurige inputs zoals privacybeleid, die erom bekend staan dat ze het werkelijke gedrag van een app vaak verkeerd weergeven.
3. Formaat-specificiteit: Veel benaderingen genereren specifieke notice-formaten (bijv. juridische privacybeleid) die moeilijk aan te passen zijn naar andere formaten zoals toestemmingsverantwoordingen (permission rationales) of app store-beschrijvingen.

Methodologie: PCapGen

De auteurs stellen PCapGen (Privacy Caption Generator) voor, een framework dat is ontworpen om privacygedrag in Android-broncode automatisch te identificeren en nauwkeurige, beknopte en volledige privacy-bijschriften te genereren zonder input van de ontwikkelaar. Het framework bestaat uit drie hoofdonderdelen:

1. Identifier: Heuristics-Based Taint Analysis

De Identifier-component heeft als doel de stroom van persoonlijke informatie (taint paths) binnen een app te traceren.

• Uitdaging: Traditionele taint-analyse tools (zoals FlowDroid) vertrouwen op vooraf gedefinieerde lijsten van "source" (datapunt-inlaat) en "sink" (datapunt-uitlaat) methoden. Ze hebben moeite met het identificeren van paden die betrokken zijn bij onbekende sink-methoden, wat veel voorkomt in aangepaste app-logica.
• Innovatie: De auteurs hebben een nieuwe heuristiek-gebaseerde aanpak ontwikkend. In plaats van uitsluitend te vertrouwen op vooraf opgelijste sinks, construeren zij een call graph vanaf een bekende source API tot een vaste diepte (die op basis van empirische analyse van 50 apps is vastgesteld op zes niveaus). Alle methoden binnen deze diepte worden behandeld als potentiële sink-kandidaten. Vervolgens wordt taint-analyse uitgevoerd om geldige paden te extraheren.
• Omvang: Deze aanpak werd getest op 80 niet-gelijste non-location API sources (dekking van WiFi, account, netwerk, camera, opslag en sensoren). Het slaagde er succesvol in om geldige taint-paden te identificeren voor WiFi, netwerk- en account-API's, hoewel het beperkingen ondervond bij camera- en opslag-API's vanwege asynchrone callbacks of component-gebaseerde flows die niet door de call graph werden gevangen.

2. Extractor: Source Code Context Construction

De Extractor zet de geïdentificeerde taint-paden om in een voor mensen leesbare broncode-context die geschikt is voor Large Language Models (LLMs).

• Decompilatie: Met behulp van de reverse engineering tool Androguard decompileert het systeem APK-bestanden om de broncode van klassen en methoden te extraheren die betrokken zijn bij de taint-paden.
• Statement Mapping: Taint-paden worden initieel gerepresenteerd in Jimple (een intermediair, niet-menselijk leesbaar formaat). De Extractor gebruikt een LLM (specifiek DeepSeek in de uiteindelijke implementatie) met In-Context Learning (ICL) om deze Jimple-statements terug te mappen naar de overeenkomstige regels in de geëxtraheerde broncode.
• Output: Dit proces levert een "grofmazig" (coarse-grained) overzicht op (de volledige klasse/methode structuur) en een "fijnmazig" (fine-grained) overzicht (specifieke statements die persoonlijke gegevens verwerken), waardoor de LLM een uitgebreide context krijgt die zich uitstrekt over meerdere bestanden en methoden.

3. Generator: Caption Generation

De Generator gebruikt een LLM om de geëxtraheerde context te synthetiseren tot een privacy-bijschrift.

• Prompt Engineering: De auteurs hebben verschillende prompting-strategieën doorlopen. Ze probeerden aanvankelijk "prompt chaining" (het opdelen van de taak in substappen: het identificeren van statements, het creëren van labels, en vervolgens het genereren van bijschriften), maar merkten dat dit leidde tot foutenpropagatie en hallucinaties.
• Definitieve Aanpak: Ze adopteerden een single-prompt aanpak met behulp van ICL. De prompt voorziet het model van de broncode, de taint-analyse statements, en een voorbeeld-tuple van code en een bijschrift. Het model krijgt vervolgens de taak om een bijschrift te generen voor de nieuwe codesample.
• Configuraties: Het systeem werd geëvalueerd met drie verschillende LLM's: GPT-4, Claude Opus 4, en DeepSeek.

Dataset en Evaluatie

Om PCapGen te evalueren, hebben de auteurs een dataset samengesteld van 442 unieke Android-broncode samples met door ontwikkelaars geverifieerde baseline-bijschriften.

• Baseline Creatie: Omdat het handmatig schrijven van bijschriften voor honderden codesamples onhaalbaar is, gebruikten zij GPT-4 om initiële baseline-bijschriften te genereren.
• Verificatie: Professionele Java-ontwikkelaars (gescreend via Prolific) verifieerden deze bijschriften. Zij beoordeelden ze op nauwkeurigheid (accuracy), beknoptheid (conciseness) en volledigheid (completeness), en selecteerden de geprefereerde versie tussen twee gegenereerde opties. Alleen samples waarbij de bijschriften aan een kwaliteitsdrempel voldeden, werden behouden.
• Evaluatiemetrieken: De prestaties van PCapGen werden vergeleken met deze baseline-bijschriften met behulp van:
  • LLMs-as-Judge: Drie modellen (LlaMa 3.3, Mistral, Gemini 2.5 Pro) beoordeelden de bijschriften op de drie kwaliteitscriteria en kozen de betere caption in een paar-vergelijking (pairwise comparison).
  • Menselijke Privacy-experts: Twee privacy-experts voerden vergelijkbare beoordelingen en voorkeurselecties uit.
  • Geautomatiseerde Metrieken: BERTScore, BARTScore en ROUGE-L werden gebruikt om de semantische en token-niveau gelijkenis te meten.

Belangrijkste Resultaten

1. Configuratie Vergelijking (RQ1)

Onder de drie LLM-configuraties presteerde PCapGen_Claude (gebruikmakend van Claude Opus 4) consequent beter dan PCapGen_GPT en PCapGen_DeepSeek over alle kwaliteitscriteria (nauwkeurigheid, beknoptheid, volledigheid) volgens alle LLM-judges. Statistische analyse (gepaarde t-testen) bevestigde dat het verschil tussen PCapgen_Claude en de andere configuraties statistisch significant was met een medium effectgrootte.

2. Semantische Gelijkenis (RQ2)

PCapGen-bijschriften bleken semantisch zeer vergelijkbaar met de door ontwikkelaars gecureerde baseline-bijschriften.

• Menselijke/LLM Beoordelingen: Privacy-experts en LLM-judges beoordeelden de gelijkenis als matig tot hoog (gemiddelde scores > 3.3 op een schaal van 1-5).
• Geautomatiseerde Metrieken: Hoge BERTScore en BARTScore duidden op een sterke semantische overlap. Echter, de ROUGE-L scores waren laag (precisie ~0.33), wat aangeeft dat hoewel de betekenis vergelijkbaar is, het vocabulaire en de formulering aanzienlijk verschilden. Dit suggereert dat PCapGen gedragingen succesvol herformuleert naar meer beknopte en natuurlijke taal.

3. Kwaliteitsvergelijking met Judges (RQ3)

LLM-judges beoordeelden de bijschriften van PCapGen_Claude consequent hoger dan de baseline-bijschriften op alle drie de criteria:

• Nauwkeurigheid: +0.57 verbetering.
• Volledigheid: +0.47 verbetering.
• Beknoptheid: +0.35 verbetering.
  Deze verbeteringen waren statistisch significant (p < 0.001) met grote effectgroottes. In de paar-voorkeurstests gaven LLM-judges de voorkeur aan PCapGen_Claude boven de baseline in 76% tot 100% van de gevallen.

4. Kwaliteitsvergelijking met Experts (RQ4)

Privacy-experts vonden geen statistisch significant verschil in de gemiddelde beoordelingen van de drie kwaliteitscriteria tussen PCapGen_Claude en de baseline. Echter, in de paar-voorkeurstaken kozen experts in 71% van de gevallen voor PCapGen_Claude boven de baseline. Dit suggereert dat hoewel experts de twee vergelijkbaar kunnen beoordelen op een schaal, zij de PCapGen-bijschriften als superieur ervaren wanneer zij deze direct met elkaar vergelijken.

Betekenis en Bijdragen

Het artikel claimt de volgende primaire bijdragen:

1. Nieuw Framework: PCapGen is de eerste aanpak die traditionele statische/taint-analyse aanvult met LLM's om automatisch privacy-bijschriften te genereren direct uit de broncode zonder input van de ontwikkelaar.
2. Uitgebreide Taint-analyse: De auteurs hebben een heuristiek-gebaseerde methode ontwikkeld om taint-paden te identificeren tussen bekende sources en onbekende sinks, waarmee de mogelijkheden van traditionele tools die vertrouwen op vooraf gedefinieerde lijsten worden uitgebreid.
3. Robuuste Evaluatie: De studie biedt een uitgebreid evaluatieframework met zowel menselijke privacy-experts als LLM's-als-judge, wat aantoont dat PCapGen bijschriften genereert die even goed of zelfs beter zijn dan die gecureerd door ontwikkelaars.
4. Dataset en Tools: De auteurs hebben een hoogwaardige dataset van 442 Android-codesamples met privacy-bijschriften vrijgegeven, samen met de scripts en annotatietools die in de studie zijn gebruikt.

Conclusie

De auteurs concluderen dat PCapGen de haalbaarheid aantoont van het automatisch genereren van hoogwaardige privacy-bijschriften uit Android-broncode. Door gebruik te maken van een uitgebreide broncode-context afgeleid van taint-analyse en de redeneercapaciteiten van LLM's, produceert het systeem bijschriften die beknopt, volledig en nauwkeurig zijn. De resultaten suggereren dat deze aanpak aanzienlijk kan helpen bij het ondersteunen van middelen-beperkte ontwikkelaars bij het nakomen van regelgevende verplichtingen door de creatie van privacyverklaringen te automatiseren die het app-gedrag accuraat weerspiegelen.