Breaking Euston: Recovering Private Inputs from Secure Inference by Exploiting Subspace Leakage

1. Problématique

L'article aborde une vulnérabilité critique dans Euston, un cadre d'inférence sécurisée pour les modèles Transformer (présenté à la conférence IEEE S&P 2026 par Gao et al.). Euston vise à permettre l'inférence sur des données sensibles sans révéler les entrées brutes au propriétaire du modèle, en utilisant une combinaison de Chiffrement Homomorphe (FHE) et de Décomposition en Valeurs Singulières (SVD) pour réduire la bande passante de communication.

Le protocole proposé par Euston fonctionne en masquant la matrice d'entrée $A$ avec une matrice aléatoire $R$. La matrice $R$ est décomposée via SVD en deux matrices orthogonales ($U, H$) et un vecteur de valeurs singulières ($d$). Seule la partie $d$ est chiffrée et envoyée au propriétaire du modèle, tandis que $U$ et $H$ sont transmis en clair.
Le problème central identifié par les auteurs est que la transmission en clair des matrices orthogonales $U$ et $H$ entraîne une fuite de sous-espace. Bien que les valeurs singulières soient protégées, la structure géométrique (le sous-espace) du masque aléatoire est révélée, permettant potentiellement de reconstruire l'entrée originale.

2. Méthodologie

Les auteurs proposent une attaque de récupération de données exploitant cette fuite de sous-espace. La méthodologie se décompose en trois étapes principales :

• Analyse du protocole : Ils réexaminent la phase de transmission de la matrice dans Euston. Ils notent que le propriétaire du modèle (MO) reçoit $U$ et $H$ en clair, ainsi que le masque chiffré.
• Algorithme d'attaque :
  1. Le propriétaire du modèle reçoit l'entrée masquée $X = A - R$.
  2. Il calcule une estimation de la matrice diagonale originale en projetant $X$ sur les sous-espaces révélés : $\hat{D} = U^T X H^T$.
  3. Il extrait la partie diagonale $\tilde{D}$ de $\hat{D}$ comme approximation de la matrice de valeurs singulières $D$.
  4. Il reconstruit une approximation de la matrice de masque : $\tilde{R} = -U \tilde{D} H$.
  5. L'entrée originale est récupérée par soustraction : $\tilde{A} = X + \tilde{R}$.
• Analyse théorique : Les auteurs démontrent mathématiquement que l'erreur de récupération relative (RRE) diminue à mesure que la dimension de l'entrée ($n$) augmente. Ils prouvent que l'erreur espérée est bornée par $1/\sqrt{n}$, ce qui implique que pour des entrées de haute dimension (typiques des Transformers ou des images), la reconstruction est très précise.

3. Contributions Clés

• Identification d'une faille fondamentale : Mise en évidence que le compromis d'Euston entre efficacité (réduction de la bande passante) et sécurité est compromis par la transmission en clair des bases orthogonales du masque.
• Attaque pratique et théorique : Développement d'une attaque de récupération simple mais efficace, soutenue par une preuve théorique de convergence de l'erreur.
• Validation empirique : Démonstration de l'attaque sur des jeux de données réels, montrant que la protection de la confidentialité est illusoire dans ce cadre spécifique.

4. Résultats Expérimentaux

Les auteurs ont évalué l'attaque sur deux types de données :

• Données textuelles (GLUE Benchmark) : Utilisation des modèles BERT-base sur les tâches RTE, SST-2 et QNLI.
• Données d'images : Utilisation du jeu de données CIFAR-100.

Résultats observés :

• Faible erreur de récupération : Le tableau I montre que l'erreur relative de récupération (RRE) reste très faible (environ 0.036 pour les données textuelles et 0.18 pour CIFAR-100), indépendamment de l'échelle de masquage ($\eta$).
• Indépendance de l'échelle de masquage : L'efficacité de l'attaque ne dépend pas de la force du masque, mais uniquement de la fuite des sous-espaces.
• Qualité visuelle : La Figure 1 illustre que les images originales sont reconstruites avec une grande fidélité, même avec des masques forts. Les images récupérées sont visuellement quasi-identiques aux originaux.
• Impact de la dimension : Comme prévu par la théorie, l'erreur est plus faible pour les données de haute dimension (texte) que pour les images de plus petite taille (CIFAR-100), confirmant que l'attaque devient plus efficace avec l'augmentation de la dimensionnalité.

5. Signification et Implications

Cet article met en lumière un risque de sécurité majeur dans les conceptions récentes d'inférence sécurisée :

• Insuffisance du chiffrement partiel : Chiffrer uniquement les composantes de faible rang (comme les valeurs singulières) tout en laissant les bases orthogonales en clair est insuffisant pour garantir la confidentialité.
• Réévaluation des protocoles : Les choix de conception visant à optimiser la communication (comme dans Euston) doivent être soumis à un examen de sécurité rigoureux, car ils peuvent introduire des fuites d'information structurelles.
• Alerte pour l'industrie : Ce travail suggère que les cadres d'inférence privée basés sur des techniques de compression ou de décomposition matricielle doivent être repensés pour éviter la révélation de sous-espaces, sous peine de compromettre totalement la vie privée des utilisateurs.

En conclusion, « Breaking Euston » démontre que le protocole proposé, bien qu'efficace en termes de performance, échoue à protéger les données privées, permettant au propriétaire du modèle de récupérer les entrées des utilisateurs avec une précision élevée.