Résumé technique : TIGER – Inversion des gradients de Transformers via l'optimisation de la distance dans l'espace de plongement

Énoncé du problème

L'apprentissage fédéré (FL) permet l'entraînement collaboratif de modèles partagés tout en gardant les données brutes des clients locales. Cependant, les attaques par inversion de gradient ont démontré que les mises à jour de modèles (gradients) peuvent fuiter suffisamment d'informations pour reconstruire les entrées privées des clients. Bien que ces attaques aient été fructueuses sur les données d'images, la reconstruction de texte à partir de modèles de langage de type Transformer (LLM) reste un défi.

Les méthodes existantes d'inversion de texte font face à des limitations significatives dans des contextes de FL réalistes :

1. Approches basées sur l'optimisation : Les méthodes qui optimisent des entrées fictives pour correspondre aux gradients complets sont coûteuses en calcul et instables pour les modèles modernes, particulièrement avec de grandes tailles de lots (batch sizes).
2. Approches basées sur les sous-espaces : Des travaux antérieurs (par exemple, DAGER) exploitent la structure de rang faible des gradients des couches linéaires des Transformers pour identifier un sous-espace contenant les véritables plongements de couche (embeddings). Cependant, ces méthodes reposent sur des tests d'appartenance discrets (vérifier si des jetons candidats se situent dans le sous-espace). Cette approche est fragile face au bruit numérique (par exemple, issu de la quantification ou de la confidentialité différentielle) et passe mal à l'échelle pour les modèles encodeurs dotés d'une attention non causale, où la récupération séquentielle des jetons est impossible.

Par conséquent, les attaques existantes échouent souvent ou sous-estiment les risques de confidentialité dans les environnements de FL défendus impliquant de grands lots, des gradients quantifiés ou du bruit.

Méthodologie : TIGER

Les auteurs introduisent TIGER (Transformer Data Inversion from Gradients via Embedding-subspace Reconstruction), une attaque d'inversion de données de Transformer continue qui transforme le signal du sous-espace en un objectif différentiable. Au lieu de chercher parmi des jetons discrets ou de faire correspondre des gradients complets, TIGER optimise directement des plongements de jetons continus pour minimiser leur distance par rapport aux sous-espaces induits par le gradient.

Mécanisme central

TIGER tire parti de l'observation que pour une couche linéaire dans un Transformer, l'espace engendré par les lignes des entrées de la couche coïncide avec l'espace colonne du gradient de poids correspondant (sous de légères conditions de rang).

• Signal de sous-espace : Étant donné les gradients observés $\frac{\partial \mathcal{L}}{\partial W^l_Q}$, l'attaquant calcule l'espace colonne $S_l$.
• Objectif continu : Plutôt que de tester des candidats discrets, TIGER optimise une matrice d'embeddings d'entrée brute continue $\bar{Z}_0$. Le but est de s'assurer que les états cachés $\bar{Z}_l$ induits par la passe avant (forward pass) s'alignent avec les sous-espaces observés $S_l$.
• Fonction de perte : L'objectif principal est une perte de distance de l'espace direct (forward span-distance loss) ($\ell_{forw}$), qui minimise la distance au carré entre les états cachés récupérés normalisés et leur projection sur le sous-espace induit par le gradient.

Adaptations spécifiques à l'architecture

TIGER emploie des stratégies distinctes pour les modèles de type decoder-only et encoder-only :

1. Modèles Decoder-Only (Causaux) :

   • Exploite les masques d'attention causaux pour récupérer les jetons séquentiellement (jeton par jeton).
   • Puisque la représentation à la position $i$ dépend uniquement des jetons précédents, l'attaque optimise les embeddings un par un.
   • Déduplication : Pour empêcher que plusieurs séquences dans un lot ne convergent vers le même premier jeton, une perte de déduplication ($\ell_{dedup}$) est ajoutée. Elle pénalise l'embedding du premier jeton actuel s'il s'aligne avec le sous-espace déjà occupé par les premiers jetons précédemment récupérés dans le lot.

2. Modèles Encoder-Only (Non-Causaux) :

   • La récupération séquentielle causale est irréalisable car tous les jetons d'une séquence sont interdépendants.
   • TIGER effectue une optimisation conjointe de l'ensemble des embeddings bruts du lot.
   • Alignement bidirectionnel : Pour éviter les solutions dégénérées (par exemple, que tous les jetons récupérés convergent vers une seule direction), TIGER introduit une perte de distance de l'espace inverse (backward span-distance loss) ($\ell_{back}$). Cette perte impose que les directions de base induites par le gradient doivent également résider dans l'espace engendré par les états cachés récupérés. Cela garantit que le lot récupéré couvre l'intégralité du sous-espace observé, décourageant les solutions de jetons répétés ou de séquences dupliquées.

Initialisation et Optimisation

• Initialisation : TIGER utilise un a priori gaussien dépendant de la position, ajusté sur un large corpus (par exemple, WikiText), pour initialiser les embeddings, fournissant ainsi un point de départ solide pour l'optimisation non convexe.
• Optimisation : L'attaque exécute plusieurs optimisations indépendantes ($N_{init}$) avec différentes initialisations, en utilisant l'optimiseur Adam pour minimiser la perte de distance de l'espace.
• Discrétisation : Une fois l'optimisation continue convergée, les embeddings récupérés sont projetés vers le jeton du vocabulaire le plus proche via la similitude cosinus.

Principales contributions

1. Attaque TIGER : Une attaque d'inversion de gradient continue, robuste et évolutive pour les LLM de type Transformer, capable de récupérer du texte privé dans des contextes difficiles (grands lots, gradients quantifiés, bruit DP).
2. Objectif de sous-espace différentiable : Une formulation novatrice qui convertit la structure de rang faible des gradients en un objectif de sous-espace d'embedding différentiable. Cela évite le filtrage discret fragile et s'étend aux modèles de type encodeur via une perte d'alignement bidirectionnel.
3. Évaluation exhaustive : Des expériences approfondies sur des modèles modernes (GEMMA-3-4B-IT et EMBEDDINGGEMMA-300M) démontrent que TIGER surpasse substantiellement les attaques précédentes dans les contextes défendus et de type encodeur, tout en restant compétitif dans les contextes de decoder non défendus.
4. Open Source : Une implémentation en code ouvert pour faciliter les recherches futures sur les risques de confidentialité et les défenses.

Résultats expérimentaux

Les auteurs ont évalué TIGER sur des lots WikiText avec des tailles de lots, des longueurs de séquence et des niveaux de défense (bruit de gradient et quantification) variables, mesurant la performance via ROUGE-1 et ROUGE-L.

• Robustesse au bruit (Decoder) : Dans les contextes non défendus, TIGER est compétitif ou légèrement supérieur à DAGER. Cependant, sous un bruit de gradient de type Confidentialité Différentielle ($\sigma = 10^{-3}$), DAGER s'effondre vers une qualité de reconstruction quasi nulle, tandis que TIGER maintient une récupération significative (ROUGE-1 > 70 %).
• Performance de l'Encodeur : Sur les modèles de type encodeur, où la récupération causale est impossible, TIGER atteint un ROUGE-1 d'environ 60 % sur des lots de 16 séquences, surpassant nettement les attaques par optimisation antérieures (par exemple, LAMP).
• Quantification : TIGER reste efficace sous précision BF16, alors que DAGER échoue complètement en raison du manque de fiabilité de ses tests discrets basés sur des seuils.
• Évolutivité : TIGER passe plus efficacement à des séquences plus longues et des tailles de lots plus importantes que les méthodes précédentes, particulièrement dans les contextes d'encodeur.

Signification et affirmations

L'article affirme que TIGER révèle des vulnérabilités de confidentialité importantes dans les LLM de type Transformer qui étaient auparavant sous-estimées.

• Résilience des gradients : L'étude démontre que les gradients des Transformers conservent des informations textuelles substantielles même après des perturbations communes comme le bruit additif (DP) ou la réduction de la précision numérique (quantification).
• Limites des défenses actuelles : Les résultats suggèrent qu'un bruit de gradient modeste ou un calcul à plus faible précision ne doit pas être considéré comme un moyen d'éliminer les risques de reconstruction.
• Menace plus large : En permettant des reconstructions réussies dans des contextes où les attaques précédentes échouent (grands lots, encodeurs, contextes défendus), TIGER élargit le paysage des menaces pratiques de l'inversion de gradient, soulignant la nécessité d'évaluer et d'appliquer soigneusement les défenses de confidentialité dans les déploiements d'apprentissage fédéré.

Les auteurs notent des limitations, spécifiquement le fait que l'attaque repose sur la structure de rang faible des gradients, qui diminue lorsque le nombre total de jetons dépasse la dimension cachée. Ils reconnaissent également que bien que TIGER récupère un contenu substantiel, il ne produit pas toujours une reconstruction ordonnée exacte, suggérant un potentiel pour des approches hybrides combinant la récupération de sous-espace continue et le raffinement discret.