Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models

Résumé Technique : Récupération du texte d'entrée à partir des états cachés

Énoncé du problème
Ce travail étudie le problème de l'« inversion des états cachés » pour les modèles de langage de type décodeur uniquement (spécifiquement GPT-2 small). Le défi central consiste à reconstruire la séquence de jetons d'entrée originale $x$ uniquement à partir de la matrice des états cachés de la dernière couche $H(x)$ produite lors d'une passe avant (forward pass). Bien que des travaux théoriques récents (SIPIT [1]) aient établi que la mise en correspondance des jetons vers les états cachés est injective — ce qui signifie que les états cachés contiennent théoriquement toute l'information nécessaire pour reconstruire l'entrée — cet article traite de la question pratique de savoir comment cette inversion peut être effectuée efficacement et sous quelles conditions elle réussit. L'étude opère sous un modèle de menace en boîte blanche (white-box), supposant que l'adversaire a accès aux poids du modèle, au tokenizer et à la matrice d'embedding, mais sans connaissance du texte original au-delà de la forme du tenseur des états cachés.

Méthodologie
Les auteurs proposent un algorithme d'inversion basé sur le gradient qui traite le problème comme une optimisation continue dans l'espace des embeddings plutôt que comme une reconstruction discrète en une seule étape. La méthode opère position par position à travers trois couches distinctes :

1. Boucle externe (Positions des jetons) : Itère à travers chaque position $t$ de la séquence.
2. Boucle interne (Optimisation continue) : Pour la position actuelle, un vecteur proxy continu $e_t$ (initialement un embedding de jeton aléatoire) est optimisé à l'aide de l'optimiseur Adam. L'objectif est de minimiser l'erreur quadratique moyenne (MSE) entre l'état caché prédit par le modèle (conditionné par les jetons précédemment engagés) et l'état caché cible fuité. Crucialement, le proxy reste dans l'espace continu tout au long de cette boucle ; aucune projection de jeton rigide n'intervient durant l'optimisation.
3. Vérification discrète et engagement : Une fois que la boucle interne converge (ou atteint un budget d'étapes), les $C$ jetons les plus proches des embeddings de jetons discrets optimisés sont récupérés. Ces candidats sont vérifiés via une passe avant unique. Le premier candidat qui reproduit l'état caché cible avec un seuil de tolérance est « engagé » (committed). Si aucun candidat ne réussit, le plus proche voisin est engagé comme solution de repli.

Un principe de conception clé est la séparation stricte entre la recherche continue et la décision discrète. En n'engageant un jeton qu'une seule fois à la fin de la boucle interne, la méthode génère une « perte discrète » (discrete loss) propre ($L^{disc}_t$), définie comme la MSE lorsque le jeton engagé est injecté en passe avant. Cette métrique sert de mesure directe de la fidélité de la reconstruction.

Contributions clés et résultats

• Formulation continue vs discrète : L'article démontre qu'en maintenant l'optimisation dans l'espace continu, on expose des signaux internes riches, notamment les trajectoires de rang du jeton de référence et les courbes de perte par position. Cela contraste avec les méthodes de « projection rigide par étape » (comme la référence SIPIT), qui sont plus rapides mais font s'effondrer les vues continue et discrète, rendant le processus d'optimisation opaque.
• Détection de l'échec auto-diagnostique : Les auteurs identifient que la perte discrète cumulative agit comme un signal d'échec puissant, sans connaissance de la vérité de terrain. Les reconstructions exactes produisent une perte cumulative proche de la précision machine ($\sim 10^{-11}$), tandis que toute erreur de reconstruction provoque un pic binaire net dans la perte cumulative (séparé par environ dix ordres de grandeur). Cela permet à un attaquant ou à un auditeur de détecter les échecs en ligne sans accès au texte original.
• Précision et efficacité :
  • Sur des prompts de 10 jetons du jeu de données C4, le taux de correspondance exacte (EM) passe de 66,9 % (Configuration de base : $K=1000$ étapes, $C=2000$ candidats) à 97,5 % (Configuration haute précision : $K=2000$, $C=10\,000$), avec une similitude moyenne de 0,994.
  • Les résultats indiquent que la plupart des erreurs sont des « quasi-succès » (le jeton correct est classé haut mais n'est pas sélectionné) plutôt que de véritables ambiguïtés, car l'élargissement de la fenêtre de candidats $C$ permet de récupérer la majorité de ces échecs.
  • L'analyse du temps d'exécution montre un compromis : la méthode continue proposée est plus lente (17,8s/jeton pour la configuration de base) par rapport à la référence SIPIT (0,65s/jeton), qui atteint 100 % d'EM via une sortie précoce agressive et une projection par étape.
• Analyse des échecs et asymétrie : L'étude révèle une asymétrie catégorielle marquée dans les modes d'échec. La grande majorité des échecs de reconstruction surviennent sur des mots fonctionnels à haute fréquence précédés d'un espace (ex: « the », « , », « and »). Ces jetons résident dans des régions denses et presque colinéaires de la matrice d'embedding, ce qui les rend difficiles à distinguer via la distance $\ell_1$. Inversement, les jetons porteurs de sens (noms propres, termes techniques) sont presque parfaitement récupérés. Cela suggère que le contenu sensible et de faible fréquence peut être plus facile à fuiter que le langage naturel commun.

Signification et revendications
L'article soutient que les états cachés de la dernière couche des modèles de type décodeur sont aussi sensibles que le texte original. Les conclusions remettent en question l'hypothèse selon laquelle les vecteurs d'états cachés constituent des frontières de confidentialité opaques dans les architectures distribuées (ex: inférence fractionnée, apprentissage fédéré ou API d'embeddings).

Les auteurs affirment que leur formulation continue est significative non pas parce qu'elle est la plus rapide, mais parce qu'elle rend le processus d'inversion « observable ». En séparant la recherche continue de l'engagement discret, la méthode fournit des outils de diagnostic (trajectoires de rang, perte discrète) qui permettent de détecter les erreurs de reconstruction et de mieux comprendre la géométrie de l'espace des embeddings. L'étude conclut que dans les systèmes où les activations de la dernière couche sont transmises ou stockées, l'argument de la confidentialité s'effondre, car un algorithme suffisamment puissant peut récupérer l'entrée avec une probabilité élevée. Les auteurs recommandent de traiter ces états cachés avec la même sensibilité que le texte brut et suggèrent que les défenses futures (ex: confidentialité différentielle) devraient être évaluées en utilisant le diagnostic de perte discrète pour quantifier la dégradation de la récupérabilité.