Résumé Technique : PrivCode++

Énoncé du Problème

Les grands modèles de langage (LLM) affinés sur des paires instruction-code risquent de mémoriser et de divulguer des données d'entraînement sensibles, notamment des informations personnellement identifiables (PII) et de la logique propriétaire. Bien que la confidentialité différentielle (Differential Privacy - DP) offre un cadre rigoureux pour atténuer ce risque, les méthodes existantes de génération de code sous DP souffrent d'une limitation critique : elles supposent que les prompts (instructions) sont publics et ne traitent que les extraits de code comme sensibles. Dans des scénarios réels, les prompts contiennent souvent un contexte sensible, des données spécifiques à l'utilisateur ou des descriptions de tâches internes.

Traiter à la fois les prompts et le code comme sensibles (un scénario de « sensibilité conjointe ») introduit deux défis majeurs :

1. Infaisabilité du conditionnement explicite : Sans accès aux prompts explicites lors de la génération, le processus devient non conditionné, ce qui entraîne une dégradation sévère de l'utilité et de la pertinence du code.
2. Dégradation de l'utilité et de la diversité : Les méthodes de génération sans prompt (par exemple, les approches par variables latentes ou par auto-conditionnement) reposent souvent sur la maximisation de la vraisemblance du jeton suivant en auto-régression. Cela concentre la masse de probabilité dans les régions de haute vraisemblance, ce qui produit des sorties homogènes et une diversité réduite, un problème exacerbé par les contraintes syntaxiques et sémantiques rigides des langages de programmation.

Méthodologie : PrivCode++

Les auteurs proposent PrivCode++, le premier cadre explorant la génération de code sous DP où les prompts et les extraits de code sont tous deux traités comme sensibles. Il emploie un pipeline en deux étapes conçu pour protéger la confidentialité tout en maintenant une utilité et une diversité élevées.

Étape 1 : Sanitarisation de la confidentialité à sensibilité conjointe

Dans cette étape, un LLM « junior » ($M_J$) est affiné sous DP-SGD aux côtés d'un module de Conditionnement Latent sans Confidentialité (PrivLC - Privacy-Free Latent Conditioning). L'objectif est d'apprendre une représentation latente continue qui encapsule les sémantiques de haut niveau et les structures syntaxiques sans stocker ou accéder explicitement aux prompts sensibles.

• Architecture PrivLC : Le module se compose d'un encodeur de code ($E_c$), d'un encodeur de prompt ($E_p$) et d'un décodeur de préfixe ($D$).
• Encodage Latent : L'encodeur de code agrège les représentations contextualisées du modèle junior pour paramétrer une distribution latente stochastique ($z_c$) suivant une formulation de l'auto-encodeur variationnel (VAE).
• Alignement : Un encodeur de prompt traite les instructions sensibles pour produire une représentation latente ($z_p$). Un objectif contrastif aligne $z_c$ et $z_p$, garantissant que l'espace latent induit par le code préserve les informations de haut niveau (intention, contraintes) sans dépendre du prompt explicite lors de l'inférence.
• Entraînement : Tous les composants sont optimisés conjointement sous DP-SGD. Le décodeur de préfixe mappe la variable latente échantillonnée $z_c$ en embeddings de préfixe ($e_{prefix}$), qui servent de prompts logiciels pour conditionner la génération auto-régressive du code.

Étape 2 : Amélioration de l'utilité via le post-traitement DP

Cette étape synthétise des paires instruction-code de haute qualité, exemptes de contraintes de confidentialité, en utilisant uniquement les sorties conformes à la DP de l'étape 1, n'incurant aucun coût de confidentialité supplémentaire grâce à la propriété de post-traitement de la DP.

1. Synthèse conditionnée par le latent : Des variables latentes sont échantillonnées à partir d'un a priori normal standard et décodées en embeddings de préfixe. Le modèle junior génère des extraits de code conditionnés par ces embeddings.
2. Extraction d'instructions : Un LLM public ($M_{ext}$) résume les extraits de code générés en instructions de langage naturel, formant ainsi des paires instruction-code synthétiques.
3. Filtrage : Les données synthétiques subissent un filtrage par exécution et un filtrage aller-retour (round-trip) pour garantir la correction syntaxique et la cohérence sémantique.
4. Affinage du modèle Premium : Un modèle « premium » plus large ($M_P$) est affiné sur le jeu de données synthétique filtré sans contraintes de DP, exploitant les données de haute qualité et respectueuses de la vie privée pour atteindre des performances solides.

Contributions Clés

1. Première génération de code sous DP à sensibilité conjointe : PrivCode++ est le premier travail traitant la génération de code sous DP où les prompts et le code sont considérés comme sensibles, allant au-delà de l'hypothèse que les prompts sont publics.
2. Conditionnement Latent sans Confidentialité (PrivLC) : Les auteurs introduisent un module qui apprend des représentations latentes continues pour remplacer le conditionnement explicite par prompt. Cela atténue la dégradation de l'utilité typiquement associée à la génération sans prompt tout en maintenant des garanties formelles de confidentialité.
3. Évaluation Complète : Le cadre est évalué sur quatre benchmarks (HumanEval, MBPP, BigCodeBench, EvalPlus) et plusieurs LLM, démontisant une utilité supérieure par rapport aux bases de comparaison en sensibilité conjointe et des performances compétitives avec les méthodes à confidentialité assouplie.

Résultats Expérimentaux

• Utilité : PrivCode++ surpasse systématiquement les modèles de référence dans le cadre de la sensibilité conjointe. Sur les tâches de suivi d'instructions, il améliore le Pass@1 jusqu'à 8,2 points, et sur les tâches de complétion de code jusqu'à 19,3 points par rapport aux autres méthodes de protection en sensibilité conjointe. Il reste compétitif avec les méthodes qui assouplissent les hypothèses de confidentialité (ex: PrivCode).
• Protection de la Confidentialité : Dans les expériences de fuite de canari (canary leakage) couvrant les canaris de prompt, de code et conjoints, PrivCode++ atteint 0 % de fuite dans tous les réglages et modèles. En revanche, les méthodes antérieures ont présenté jusqu'à 40 % de fuite par catégorie sous des conditions de canari conjoint.
• Diversité et Fidélité : Les visualisations t-SNE et les métriques quantitatives (BLEU, AST-Sim, distance de Fréchet) montrent que PrivCode++ produit un code diversifié et sémantiquement cohérent qui évite l'effondrement de mode observé dans la génération inconditionnelle, tout en maintenant une haute fidélité à la distribution originale des données.
• Études d'Ablation : Le retrait de l'alignement latent ou du module de conditionnement latent entraîne des chutes de performance significatives, validant la nécessité des deux composants pour une génération efficace à sensibilité conjointe.

Signification et Revendications

L'article affirme que PrivCode++ établit un nouveau paradigme pour l'apprentissage de connaissances spécifiques au domaine à partir de jeux de données de code sensibles sous des garanties strictes de confidentialité différentielle. En découplant les prompts sensibles du processus de génération via le conditionnement latent, la méthode permet de synthétiser du code à haute utilité sans compromettre la confidentialité.

Les auteurs positionnent ce travail comme une étape vers une adoption plus responsable des systèmes de génération de code dans les écosystèmes d'entreprise et open-source, en s'attaquant spécifiquement à la fuite de PII et de logique propriétaire résidant tant dans les instructions en langage naturel que dans les implémentations de code. Ils soulignent que si la DP complète les pratiques de sécurité plus larges, PrivCode++ fournit un fondement plus fort et formel pour la confidentialité dans le déploiement de LLM de code. Les auteurs ne prétendent pas résoudre tous les risques de confidentialité dans le développement de logiciels, mais soulignent que leur méthode atténue efficacement la fuite basée sur la mémorisation dans le contexte spécifique de la génération de code avec suivi d'instructions.