Divergence-based Safety Measure for Large Language Models via Rational Inattention

Résumé Technique : Mesure de sécurité basée sur la divergence pour les grands modèles de langage via l'inattention rationnelle

Énoncé du problème
L'intégration des grands modèles de langage (LLM) dans les pipelines d'aide à la décision introduit des préoccupations de sécurité au niveau du système, particulièrement concernant les perturbations malveillantes des jetons d'entrée qui altèrent les sorties du modèle et influencent les décisions humaines en aval. Bien que des mesures de sécurité quantitatives soient exigées d'un point de vue systèmes et commande pour soutenir la comparaison de modèles, la surveillance au moment de l'exécution et l'ajustement fin des paramètres, peu de progrès ont été réalisés dans le développement de telles mesures pour les LLM. Plus précisément, il est nécessaire de disposer d'une métrique qui quantifie la pire perturbation de sortie causée par des attaques d'entrée, tout en garantissant que les attaques restent furtives vis-à-vis des mécanismes de surveillance internes.

Méthodologie
Le papier propose une mesure de sécurité basée sur la divergence qui quantifie la divergence de Kullback–Leibler (KL) maximale entre les distributions de sortie d'un LLM sain et d'un LLM soumis à des attaques sur les plongements (embeddings) d'entrée. L'innovation méthodologique centrale réside dans la construction d'une « contrainte de furtivité » en exploitant l'équivalence entre les mécanismes d'attention des transformeurs et les modèles d'Inattention Rationnelle (RI) de la prise de décision humaine.

1. Cadre d'Inattention Rationnelle (RI) : Les auteurs revisitent le cadre de la RI, où les agents arbitrent entre l'utilité attendue et le coût informationnel du traitement des données. La politique d'action optimale dans la RI est caractérisée par une fonction softmax dérivée d'un problème d'optimisation impliquant l'information mutuelle de Shannon.
2. Connexion Structurelle : Le papier établit que les poids d'attention des transformeurs (calculés via un softmax produit scalaire mis à l'échelle) partagent la même forme fonctionnelle que la politique d'action optimale dans le cadre de la RI. Cela permet d'interpréter l'attention du transformeur comme la solution d'un problème d'optimisation de type RI où le modèle alloue une capacité limitée de traitement de l'information aux jetons de contexte.
3. Mesure de Rationalité Bornée : Sur la base de cette connexion, les auteurs définissent une « mesure de rationalité bornée » par tête ($\Delta V^{(m)}(\tau)$). Cette métrique représente la différence entre la valeur de rationalité $\tau$-bornée (la valeur optimale du problème d'optimisation de l'attention avec un paramètre de température $\tau$) et la valeur de rationalité complète (la limite lorsque $\tau \to 0$). Cette mesure sert de sortie de surveillance interne indiquant le « niveau de rationalité » de l'allocation d'attention du LLM.
4. Formulation de la Mesure de Sécurité : La mesure de sécurité proposée est formulée comme un problème d'optimisation : maximiser la divergence KL entre les distributions de sortie saines et attaquées, sous deux contraintes :
   • Contrainte d'Énergie : L'énergie totale des signaux d'attaque injectés dans les jetons d'embedding est bornée ($\sum \|\zeta_i\|^2 \leq \rho$).
   • Contrainte de Furtivité : La somme pondérée des mesures de rationalité bornée à travers toutes les têtes d'attention doit rester en dessous d'une tolérance de confiance spécifiée ($\epsilon_T$). Cela garantit que l'attaque n'altère pas de manière significative le signal de surveillance basé sur l'attention interne du modèle.

Principales Contributions
Le papier présente trois contributions principales :

1. Correspondance Structurelle : Il démontre que les poids d'attention des transformeurs sont la solution unique à un problème d'optimisation de type RI, établissant un lien formel entre les mécanismes de LLM et les modèles de décision à rationalité bornée.
2. Mesure de Rationalité Bornée par Tête : Il introduit une nouvelle métrique dérivée du cadre de la RI pour quantifier la rationalité des allocations d'attention dans les LLM.
3. Mesure de Sécurité basée sur la Divergence : Il utilise la mesure de rationalité bornée comme une sortie de surveillance pour définir une métrique de sécurité qui quantifie le pire décalage furtif de sortie. Le papier analyse également les « attaques parfaitement indétectables » (attaques qui n'altèrent pas la sortie de surveillance) et dérive une borne supérieure pour la mesure de sécurité en utilisant un argument de divergence de Bregman, en supposant que la carte de score de sortie est lipschitzienne.

Résultats Expérimentaux
La mesure proposée a été évaluée sur deux modèles de langage causaux pré-entraînés : GPT-2 et GPT-Neo-125M.

• Configuration : Une tâche de prédiction de candidat contrôlée a été utilisée où des phrases ambiguës nécessitaient de prédire le jeton suivant (un adjectif) à partir d'un ensemble restreint. Les attaques ont été générées en utilisant la montée de gradient projetée pour maximiser la divergence KL de la distribution de sortie tout en respectant les contures d'énergie et de furtivité.
• Résultats : Les expériences ont révélé des profils de sécurité distincts pour les deux modèles. GPT-2 a présenté plusieurs attaques à haute divergence qui restaient dans la région furtive (satisfaisant la tolérance de confiance), tandis que les attaques à fort impact sur GPT-Neo-125M entraînaient généralement des résidus de surveillance plus importants. Cela démontre que la mesure proposée peut distinguer efficacement les profils de sécurité des modèles sous des budgets d'attaque et des tolérances de confiance identiques.

Signification et Revendications
Le papier affirme que ce travail comble une lacune dans le développement de mesures de sécurité quantitatives pour les LLM d'un point de vue systèmes et commande. En interprétant l'attention des transformeurs à travers le prisme de l'inattention rationnelle, les auteurs fournissent un mécanisme fondé pour construire des sorties de surveillance internes. La mesure de sécurité basée sur la divergence proposée offre un moyen de quantifier la vulnérabilité des LLM aux attaques d'entrée par embedding furtives. Les auteurs positionnent cette contribution comme une étape vers l'équipement des LLM de mesures de performance interprétables analogues aux mesures de robustesse, de résilience et de sécurité trouvées dans les systèmes de commande traditionnels. Le travail ne prétend pas résoudre tous les problèmes de sécurité des LLM, mais propose plutôt une métrique spécifique pour distinguer les profils de sécurité des modèles et analyser les impacts furtifs extrêmes.