Résumé technique : Que voit le serveur ? Comprendre les fuites de confidentialité des grands modèles de langage dans l'inférence fractionnée

1. Énoncé du problème

Le déploiement de grands modèles de langage (LLM) sur des appareils aux ressources limitées est entravé par les exigences computationnelles et mémoire. L'inférence fractionnée (split inference) est apparue comme une solution, partitionnant le modèle entre un client (détenteur des premières couches) et un serveur (détenteur du reste). Le client transmet uniquement des activations intermédiaires plutôt que des entrées brutes, préservant théoriquement la confidentialité. Cependant, les auteurs soutiennent que l'hypothèse selon laquelle les activations intermédiaires préservent intrinsèquement la confidentialité n'est pas prouvée. Cet article examine si un serveur « honnête mais curieux », disposant d'un accès complet en boîte blanche à l'architecture du modèle, peut reconstruire les invites d'entrée sensibles du client à partir de ces activations intermédiaires.

2. Méthodologie

2.1 Conception de l'attaque : ActInv

Pour quantifier les fuites de confidentialité, les auteurs proposent ActInv, une attaque d'inversion qui reconstruit la séquence d'entrée brute du client à partir des activations intermédiaires interceptées ($h_{Q1}$).

• Mécanisme : Contrairement aux méthodes de récupération séquentielle de tokens, ActInv formule la reconstruction comme un problème d'optimisation continue dans l'espace des embeddings d'entrée. Il initialise un vecteur d'embedding continu aléatoire $\hat{h}_0$ et utilise une optimisation basée sur le gradient (par exemple, Adam) pour minimiser la distance entre le passage avant du sous-modèle côté client ($F_C(\hat{h}_0)$) et les activations observées ($h_{Q1}$).
• Discrétisation : Une fois les embeddings continus optimisés, ils sont projetés sur des tokens discrets via une recherche du plus proche voisin au sein de la matrice d'embedding du vocabulaire du modèle.
• Efficacité : En optimisant la séquence complète simultanément plutôt que token par token, ActInv atteint une complexité temporelle de $O(Tn^2)$, offrant un avantage computationnel significatif par rapport aux méthodes autoregressives comme SipIt ($O(Tn^3)$).

2.2 Analyse de vulnérabilité : Facteur d'amplification de perturbation (PAF)

Pour comprendre pourquoi certaines couches sont vulnérables, les auteurs introduisent le PAF, une métrique quantifiant la résistance intrinsèque d'une couche à la reconstruction.

• Définition : Le PAF mesure dans quelle mesure une petite perturbation dans la sortie d'une couche ($\delta$) se traduit par une incertitude dans l'entrée inférée ($\Delta$). Il est dérivé de la matrice jacobienne de la couche.
• Insight : Un PAF élevé indique que de petites perturbations de sortie provoquent de grandes déviations d'entrée (rendant la reconstruction difficile), tandis qu'un PAF faible indique que la couche est « stable » et facilement inversible.
• Résultats : L'analyse révèle une vulnérabilité non uniforme à travers les couches. Plus précisément, les couches d'activation non linéaires (par exemple, Sigmoid/SwiGLU) et certaines couches de projection présentent souvent un PAF faible, les rendant des « maillons faibles » où des défenses de bruit naïves échouent à induire des erreurs de reconstruction significatives.

2.3 Conception de la défense : PriPert

Sur la base de l'analyse PAF, les auteurs proposent PriPert, un mécanisme de défense qui injecte des perturbations calibrées de manière adversariale dans les activations intermédiaires.

• Stratégie : Au lieu d'ajouter du bruit isotrope (aléatoire), PriPert résout un problème d'optimisation contraint pour injecter des perturbations le long des directions qui maximisent l'erreur de reconstruction (alignées sur les directions les plus sensibles de la couche) tout en minimisant la dégradation de la sortie côté serveur (utilité).
• Implémentation : La défense utilise une approximation d'intégrale de chemin pour estimer la déviation d'entrée causée par la perturbation. Les auteurs constatent qu'une solution contrainte par $L_0$ (perturbations éparses) surpasse souvent les solutions contraintes par $L_2$, car elle évite de préserver les informations de signe que les adversaires pourraient exploiter.

3. Résultats clés

3.1 Efficacité de l'attaque (ActInv)

• Reconstruction haute fidélité : ActInv atteint une précision et un rappel supérieurs à 98 % sur divers modèles (Qwen3, Falcon3) et jeux de données (AlpacaEval, iCliniq) sans aucune défense.
• Résilience aux défenses naïves : Les défenses courantes telles que l'injection de bruit gaussien et la sparsification des activations sont largement inefficaces. Même avec des ratios de sparsité élevés (par exemple, 0,7) ou un bruit modéré, ActInv maintient une haute précision de reconstruction. Seuls des niveaux de bruit extrêmes (qui détruisent l'utilité du modèle) entravent significativement l'attaque.
• Efficacité : ActInv est computationnellement efficace, reconstruisant une requête de 100 tokens en environ 20 secondes sur un seul GPU, nettement plus rapidement que les attaques séquentielles de l'état de l'art.

3.2 Insights sur les vulnérabilités (PAF)

• Variation des couches : Les valeurs PAF varient considérablement d'une couche à l'autre et d'un modèle à l'autre. Par exemple, les couches d'activation montrent systématiquement un PAF faible, confirmant qu'elles sont des sources principales de fuites.
• Sensibilité directionnelle : Le « Max-PAF » (sensibilité aux perturbations alignées) est souvent significativement plus élevé que le « PAF attendu » (sensibilité au bruit aléatoire), validant que le bruit aléatoire est une stratégie de défense sous-optimale.

3.3 Performance de la défense (PriPert)

• Amélioration de la confidentialité : PriPert réduit considérablement la qualité de reconstruction. À un ratio de sparsité de 0,7, la précision d'ActInv chute en dessous de 30 % (contre >60 % pour la sparsification standard), et les scores ROUGE-L s'effondrent, indiquant que le contenu sémantique est efficacement obscurci.
• Préservation de l'utilité : Contrairement aux défenses naïves qui effondrent l'utilité du modèle à des niveaux de perturbation élevés, PriPert maintient une utilité acceptable à des niveaux de sparsité modérés (par exemple, 0,5). Les auteurs notent que la « Précision et Exactitude » sont plus sensibles aux perturbations que la « Clarté et le Style », mais les scores globaux restent utilisables.
• Robustesse : PriPert reste efficace contre d'autres attaques d'inversion de l'état de l'art (A1, TBS, PIA), réduisant leurs scores de reconstruction de grandes marges.

4. Signification et contributions

L'article revendique les contributions suivantes :

1. Révélation de la vulnérabilité : Il fournit la première enquête complète démontrant que l'inférence fractionnée pour les LLM ne garantit pas intrinsèquement la confidentialité. Les auteurs montrent qu'un serveur honnête mais curieux peut reconstruire les entrées utilisateur avec une haute fidélité en utilisant une attaque d'optimisation relativement simple et efficace (ActInv).
2. Métrique théorique (PAF) : Il introduit le PAF pour quantifier et expliquer systématiquement la susceptibilité variable de différentes couches de modèles à l'inversion, révélant que les couches d'activation non linéaires sont étonnamment vulnérables.
3. Défense efficace (PriPert) : Il propose et valide PriPert, une défense qui exploite la sensibilité directionnelle des couches pour maximiser la prévention des fuites de confidentialité tout en minimisant la perte d'utilité. Les résultats suggèrent que les perturbations calibrées de manière adversariale sont supérieures au bruit aléatoire naïf ou à la sparsification.
4. Implications pratiques : Le travail met en lumière une tension critique dans l'inférence fractionnée : les défenses standard sont insuffisantes, et une protection efficace de la confidentialité nécessite un calibrage minutieux des perturbations pour éviter de détruire l'utilité du LLM.

Les auteurs concluent que, bien que l'inférence fractionnée offre des avantages computationnels, elle nécessite des mécanismes de confidentialité robustes et non naïfs pour être viable dans des domaines sensibles comme la santé. Des travaux futurs sont suggérés pour concevoir une compression consciente de la confidentialité et des fonctions d'activation sensibles à la confidentialité.