Résumé technique : Génération automatisée de légendes de confidentialité précises à partir du code source Android utilisant des modèles de langage de grande taille (LLM)

Énoncé du problème

Les avis de confidentialité des applications sont des artefacts critiques qui informent les utilisateurs et les régulateurs sur ce que les données personnelles collectées par une application, comment elles sont utilisées et pourquoi. Ces avis reposent souvent sur des « légendes de confidentialité » (privacy captions) — des phrases succinctes en langage naturel décrivant ces comportements. Cependant, la création de légendes précises est une charge importante pour les développeurs, particulièrement pour les petites équipes dépourvues d'expertise en matière de confidentialité. Les pratiques actuelles, telles que l'utilisation de générateurs de politiques en ligne, la copie de modèles d'applications similaires ou l'annotation manuelle du code, entraînent fréquemment des légendes inexactes, incomplètes ou incohérentes avec le comportement réel de l'application. Cette divergence peut conduire à des amendes réglementaires et au retrait de l'application.

Les approches automatisées existantes pour générer des avis de confidentialité souffrent de trois limitations principales :

1. Charge de travail élevée pour le développeur : De nombreux outils nécessitent une saisie manuelle intensive, telle que l'annotation du code source ou la réponse à des questionnaires détaillés.
2. Contexte limité ou inexact : Les méthodes automatisées reposent souvent sur des contextes de code source restreints (par exemple, seulement les premières méthodes d'un graphe d'appels) ou sur des entrées potentiellement inexactes comme les politiques de confidentialité, qui sont connues pour souvent mal représenter le comportement réel de l'application.
3. Spécificité du format : De nombreuses approches génèrent des formats d'avis spécifiques (par exemple, des politiques de confidentialité juridiques) qui sont difficiles à adapter en d'autres formats comme les justifications de permissions ou les descriptions sur les boutiques d'applications.

Méthodologie : PCapGen

Les auteurs proposent PCapGen (Privacy Caption Generator), un cadre conçu pour identifier automatiquement les comportements de confidentialité dans le code source Android et générer des légendes de confidentialité précises, concises et complètes sans nécessiter l'intervention du développeur. Le cadre se compose de trois composants principaux :

1. Identificateur : Analyse de propagation (Taint Analysis) basée sur des heuristiques

Le composant Identificateur vise à tracer le flux d'informations personnelles (chemins de propagation ou "taint paths") au sein d'une application.

• Défi : Les outils traditionnels d'analyse de propagation (comme FlowDroid) reposent sur des listes prédéfinies de méthodes « sources » (entrée de données) et « sinks » (sortie de données). Ils peinent à identifier les chemins impliquant des méthodes de sortie inconnues, qui sont courantes dans la logique personnalisée des applications.
• Innovation : Les auteurs ont développé une nouvelle approche basée sur des heuristiques. Au lieu de s'appuyer uniquement sur des méthodes de sortie pré-listées, ils construisent un graphe d'appels à partir d'une API source connue jusqu'à une profondeur fixe (déterminée à six niveaux après une analyse empirique de 50 applications). Toutes les méthodes dans cette profondeur sont traitées comme des candidats potentiels pour les "sinks". L'analyse de propagation est ensuite exécutée pour extraire des chemins valides.
• Portée : Cette approche a été testée sur 80 sources d'API non liées à la localisation (couvrant le WiFi, le réseau, les comptes, la caméra, le stockage et les capteurs). Elle a réussi à identifier des chemins de propagation valides pour les API WiFi, réseau et compte, bien qu'elle ait rencontré des limites avec les API caméra et stockage en raison de rappels asynchrones ou de flux basés sur des composants non capturés par le graphe d'appels.

2. Extracteur : Construction du contexte du code source

L'Extracteur convertit les chemins de propagation identifiés en un contexte de code source lisible par l'homme, adapté aux modèles de langage (LLM).

• Décompilation : En utilisant l'outil d'ingénierie inverse Androguard, le système décompile les fichiers APK pour extraire le code source des classes et des méthodes impliquées dans les chemins de propagation.
• Correspondance d'instructions (Statement Mapping) : Les chemins de propagation sont initialement représentés en Jimple (un format intermédiaire non lisible par l'homme). L'Extracteur utilise un LLM (spécifiquement DeepSeek dans l'implémentation finale) avec l'apprentissage en contexte (In-Context Learning - ICL) pour mapper ces instructions Jimple vers les lignes correspondantes dans le code source extrait.
• Sortie : Ce processus produit une vue « à grain grossier » (la structure complète de la classe/méthode) et une vue « à grain fin » (instructions spécifiques manipulant les données personnelles), fournissant au LLM un contexte complet s'étendant sur plusieurs fichiers et méthodes.

3. Générateur : Génération de la légende

Le Générateur utilise un LLM pour synthétiser le contexte extrait en une légende de confidentialité.

• Ingénierie de prompt (Prompt Engineering) : Les auteurs ont testé diverses stratégies de prompt. Ils ont d'abord tenté le « chaînage de prompts » (décomposer la tâche en sous-étapes : identifier les instructions, créer des étiquettes, puis générer des légendes), mais cela entraînait une propagation d'erreurs et des hallucinations.
• Approche finale : Ils ont adopté une approche à prompt unique utilisant l'ICL. Le prompt fournit au modèle le code source, les instructions de propagation et un exemple de tuple composé de code et d'une légende. Le modèle doit ensuite générer une légende pour le nouvel échantillon de code.
• Configurations : Le système a été évalué avec trois LLM différents : GPT-4, Claude Opus 4 et DeepSeek.

Jeu de données et évaluation

Pour évaluer PCapGen, les auteurs ont construit un ensemble de données de 442 échantillons de code source Android uniques avec des légendes de référence vérifiées par des développeurs.

• Création de la référence (Baseline) : Comme écrire manuellement des légendes pour des centaines d'échantillons est irréalisable, ils ont utilisé GPT-4 pour générer les légendes de référence initiales.
• Vérification : Des développeurs Java professionnels (sélectionnés via Prolific) ont vérifié ces légendes. Ils les ont évaluées selon la précision, la concision et la complétude, et ont choisi la version préférée entre deux options générées. Seuls les échantillons dont les légendes respectaient un seuil de qualité ont été conservés.
• Métriques d'évaluation : La performance de PCapGen a été comparée à ces légendes de référence en utilisant :
  • LLM-as-Judge (LLM comme juge) : Trois modèles (LlaMa 3.3, Mistral, Gemini 2.5 Pro) ont évalué les légendes selon les trois critères de qualité et ont choisi la meilleure légende lors de comparaisons par paires.
  • Experts en confidentialité humains : Deux experts en confidentialité ont effectué des évaluations et des sélections de préférence similaires.
  • Métriques automatisées : BERTScore, BARTScore et ROUGE-L ont été utilisés pour mesurer la similitude sémantique et au niveau des tokens.

Résultats clés

1. Comparaison des configurations (RQ1)

Parmi les trois configurations de LLM, PCapGen_Claude (utilisant Claude Opus 4) a systématiquement surpassé PCapGen_GPT et PCapGen_DeepSeek sur tous les critères de qualité (précision, concision, complétude) selon les juges LLM. L'analyse statistique (tests t appariés) a confirmé que la différence entre PCapGen_Claude et les autres configurations était statistiquement significative avec une taille d'effet moyenne.

2. Similitude sémantique (RQ2)

Les légendes de PCapGen se sont révélées sémantiquement très proches des légendes de référence élaborées par les développeurs.

• Évaluations Humaines/LLM : Les experts en confidentialité et les juges LLM ont jugé la similitude comme étant modérée à élevée (scores moyens > 3,3 sur une échelle de 1 à 5).
• Métriques automatisées : Des scores élevés de BERTScore et de BARTScore indiquent un fort chevauchement sémantique. Cependant, les scores ROUGE-L étaient faibles (précision ~0,33), indiquant que bien que le sens soit similaire, le vocabulaire et la formulation diffèrent considérablement. Cela suggère que PCapGen reformule avec succès les comportements en un langage plus concis et naturel.

3. Comparaison de la qualité avec les juges (RQ3)

Les juges LLM ont systématiquement jugé les légendes de PCapGen_Claude supérieures aux légendes de référence sur les trois critères :

• Précision : +0,57 d'amélioration.
• Complétude : +0,47 d'amélioration.
• Concision : +0,35 d'amélioration.
  Ces améliorations sont statistiquement significatives (p < 0,001) avec de grands effets. Dans les tests de préférence par paires, les juges LLM ont préféré PCapGen_Claude à la référence dans 76 % à 100 % des cas.

4. Comparaison de la qualité avec les experts (RQ4)

Les experts en confidentialité n'ont pas trouvé de différence statistiquement significative dans les moyennes des trois critères de qualité entre PCapGen_Claude et la référence. Cependant, dans les tâches de préférence par paires, les experts ont choisi PCapGen_Claude par rapport à la référence 71 % du temps. Cela suggère que si les experts peuvent noter les deux de manière similaire sur une échelle, ils perçoivent les légendes de PCap-Gen comme étant supérieures lors d'une comparaison directe.

Signification et contributions

L'article revendique les contributions primaires suivantes :

1. Cadre novateur : PCapGen est la première approche qui complète l'analyse statique/de propagation traditionnelle par des LLM pour générer automatiquement des légendes de confidentialité directement à partir du code source sans intervention du développeur.
2. Analyse de propagation étendue : Les auteurs ont développé une méthode basée sur des heuristiques pour identifier les chemins de propagation entre des sources connues et des sinks inconnus, étendant ainsi les capacités des outils traditionnels qui dépendent de listes prédéfinies.
3. Évaluation robuste : L'étude fournit un cadre d'évaluation complet utilisant à la fois des experts en confidentialité humains et des LLM-as-judge, démontant que PCapGen génère des légendes aussi bonnes, voire meilleures, que celles préparées par les développeurs.
4. Jeux de données et outils : Les auteurs ont publié un jeu de données de haute qualité de 442 extraits de code Android avec des légendes de confidentialité, ainsi que les scripts et outils d'annotation utilisés dans l'étude.

Conclusion

Les auteurs concluent que PCapGen démontre la faisabilité de la génération automatique de légendes de confidentialité de haute qualité à partir du code source Android. En exploitant un contexte de code source étendu dérivé de l'analyse de propagation et les capacités de raisonnement des LLM, le système produit des légendes qui sont concises, complètes et précises. Les résultats suggèrent que cette approche peut considérablement aider les développeurs disposant de ressources limitées à remplir leurs obligations réglementaires en automatisant la création d'avis de confidentialité qui reflètent fidèlement le comportement de l'application.