Résumé Technique : Privacy from Symmetry (CONJFORMER)

Énoncé du Problème

Le déploiement des modèles de langage de grande taille (LLM) en tant que services basés sur le cloud nécessite l'envoi de données utilisateur à des fournisseurs tiers, ce qui crée des risques importants pour la confidentialité. Bien que l'inférence fractionnée (Split Inference - SI) atténue ce risque en conservant la couche d'embedding localement et en ne transmettant que les représentations cachées intermédiaires, elle reste vulnérable à l'inversion d'embedding par plus proche voisin (nearest-neighbor (NN) embedding inversion). Dans les configurations de SI standard, la table d'embedding est publique, ce qui permet à un adversaire de récupérer les tokens d'entrée en faisant correspondre les états cachés observés par le serveur avec la table publique via la similitude cosinus. Cette attaque reste très efficace même après l'ajustement fin (fine-tuning) du modèle. Les méthodes existantes de préservation de la confidentialité, telles que l'injection de bruit par confidentialité différentielle (DP) ou les techniques cryptographiques (Chiffrement Homomorphe, Calcul Multi-Parties Sécurisées), souffrent soit d'une dégradation significative de la qualité du modèle, soit d'une surcharge de calcul prohibitive, ce qui les rend peu pratiques pour l'inférence autoregressive des LLM.

Méthodologie : CONJFORMER

Le papier propose CONJFORMER, un cadre qui impose une équivariance $O(d)$ (équivariance par rapport au groupe orthogonal de dimension $d$) au niveau de l'architecture. Cela permet au client d'obscurcir les embeddings à l'aide d'une matrice orthogonale secrète tout en garantissant que le serveur peut toujours effectuer une inférence correcte sans jamais observer les états cachés non rotés.

Mécanismes Fondamentaux

1. Obscurcissement Orthogonal : Le client multiplie les embeddings d'entrée par une matrice orthogonale secrète $U \in O(d)$ avant la transmission.
2. Conjugaison des Poids : Pour préserver la fonctionnalité du modèle sous cette rotation, le client applique une conjugaison linéaire bilatérale à tous les poids linéaires du transformer. Si une couche linéaire est $W$, le serveur reçoit $\hat{W} = O W U^\top$, où $O$ est une matrice orthogonale spécifique au bloc.
3. Modifications Architecturales : Pour atteindre une équivariance $O(d)$ exacte, les auteurs introduisent des changements minimaux à l'architecture du transformer :
   • RMSNorm Scalaire : Les couches de normalisation standard (LayerNorm ou RMSNorm avec des vecteurs apprenables) sont dépendantes des coordonnées et brisent l'équivariance. CONJFORMER remplace ces couches par une RMSNorm utilisant un gain scalaire. Cela garantit que l'opération de normalisation commute avec les transformations orthogonales.
   • Conjugaison par Bloc : Toutes les projections linéaires (Query, Key, Value, Output et poids FFN) sont conjuguées. Le serveur effectue l'intégralité de la passe avant dans la base rotée.

Garantie Théorique

Le cadre garantit une équivalence fonctionnelle par bloc :
$$\hat{F}_b(X U^\top) = F_b(X) U^\top$$
où $F_b$ est le bloc transformer original et $\hat{F}_b$ est le bloc conjugué. Par conséquent, le serveur calcule exactement la même logique que le modèle original mais opère entièrement sur des représentations rotées. Le serveur n'observe jamais les états cachés non rotés, rendant l'inversion directe par plus proche voisin contre la table d'embedding publique impossible.

Principales Contributions

1. Architecture : Développement d'une variante de transformer qui est exactement $O(d)$-équivariante via des modifications légères (RMSNorm scalaire) et la conjugaison des poids, compatible avec des transformations orthogonales arbitraires de l'espace d'embedding.
2. Cadre (Framework) : Proposition du cadre CONJFORMER, qui applique une conjugaison orthogonale par bloc pour préserver la fonctionnalité sous un obscurcissement secret, éliminant efficacement l'inversion directe par plus proche voisin des embeddings.
3. Analyse d'Attaque : Identification et analyse de nouveaux vecteurs d'attaque nécessités par l'obscurcissement. Puisque la correspondance directe est éliminée, l'adversaire doit recourir à des attaques d'alignement de poids pour récupérer les transformations orthogonales cachées. Le papier introduit et évalue :
   • Alignement ALS–Procrustes Bilatéral : Une méthode itérative pour estimer $U$ et $O$ en alignant les poids conjugués issus de l'ajustement fin avec les poids pré-entraînés publics.
   • Alignement de Poids basé sur les Matrices de Gram : Une méthode qui agrège l'information à travers les blocs en exploitant l'invariance des matrices de Gram sous des rotations spécifiques aux blocs, offrant une attaque plus forte que Procrustes.
4. Validation Empirique : Expérimentations étendues sur les modèles GPT-2 (Small, Medium, Large) et Llama 3.2 1B fine-tunés sur PubMed.

Résultats Expérimentaux

Les auteurs ont évalué CONJFORMER sur des variantes de GPT-2 et Llama 3.2 1B, fine-tunés sur des résumés PubMed.

• Efficacité de la Confidentialité :
  • Modèles Originaux : L'inversion d'embedding par plus proche voisin atteint une précision élevée (plus de 35 % de récupération de token top-10) même après l'ajustement fin.
  • CONJFORMER : L'obscurcissement orthogonal élimine l'inversion directe par similitude cosinus. Les attaques les plus fortes restantes (alignement de poids basé sur les matrices de Gram) chutent vers une performance proche du hasard (au plus 1,3 % de récupération de token top-10) après l'ajustement fin.
• Performance du Modèle :
  • Perplexité : Le cadre entraîne un coût de performance minimal. Les modèles CONJFORMER ajustés présentent des augmentations de perplexité de seulement 0,4 % (Llama 3.2 1B) à environ 2 % (GPT-2 Small) par rapport aux modèles de référence.
  • Rétrofitage (Retrofitting) : Les modèles pré-entraînés peuvent être "rétrofités" à l'architecture équivariante en remplaçant les couches de normalisation et en effectuant un bref ajustement fin, récupérant la perplexité originale en 2 000 itérations.

Signification et Revendications

Le papier affirme que CONJFORMER fournit une défense pratique pour l'inférence de LLM respectant la confidentialité, sans dépendre de l'injection de bruit (qui dégrade la qualité) ou de mécanismes cryptographiques lourds (qui sont trop lents).

• Changement de la Problématique Adversaire : La principale signification est que la méthode change fondamentalement la nature de l'attaque. Elle fait passer l'adversaire d'un simple problème de "recherche" (correspondance de vecteurs avec une table publique) à un problème complexe de "récupération de base" (résolution des transformations orthogonales cachées via l'alignement de poids).
• Symétrie Architecturale : Ce travail démontre qu'imposer une symétrie au niveau de l'architecture peut fournir des garanties de confidentialité robustes contre l'inversion d'embedding.
• Limites : Les auteurs déclarent explicitement que CONJFORMER n'est pas un mécanisme cryptographique ou de confidentialité différentielle. Il repose sur le secret de la clé orthogonale du client et sur la confidentialité de la table d'embedding ajustée. Il ne protège pas contre les attaques exploitant les invariants orthogonaux (ex: normes, distances par paires) ou les scénarios de texte clair connu où l'adversaire peut observer les entrées non rotées. La sécurité repose sur la difficulté computationnelle du problème d'alignement de poids plutôt que sur un secret informationnel.