Résumé Technique : Le Fantôme dans le Contexte

Définition du Problème

Ce papier identifie un mode de défaillance de sécurité distinct dans les agents de modèles de langage (LLM), qualifié d'échec du transport des politiques lors de l'assemblage du contexte au moment de la décision.

Dans les piles d'agents déployés, le modèle n'agit pas sur l'historique brut des interactions. À la place, une couche d'orchestration ($E$) assemble un « état de décision » borné ($C_t$) en tronquant, résumant, réorganisant et réécrivant l'état précédent avant l'appel final au modèle ($M$). Les auteurs soutiennent que la frontière de sécurité s'étend au-delà des poids du modèle et de la surface visible de l'invite pour inclure ce sous-système d'assemblage.

La menace centrale réside dans le fait que l'état porteur de directives (par exemple, les politiques de sécurité, les règles d'autorisation/refus, les contraintes d'autorité) entre en compétition pour un budget de tokens limité avec les sorties d'outils, les notes du planificateur et le contenu utilisateur. Si le processus d'assemblage abandonne, affaiblit ou réassocie ces directives avant que le modèle ne les voie, l'agent peut franchir une frontière de politique sans aucune injection d'invite, compromission du modèle ou empoisonnement de la mémoire persistante. L'adversaire n'a besoin que de contrôler la pression de planification (le volume et l'ordre du contenu non de contrôle) pour induire ces défaillances.

Le papier catégorise ces défaillances en trois familles :

1. Éviction : L'état porteur de directives est déplacé et n'atteint plus l'état de décision (Défaillance de Disponibilité).
2. Alias : La directive survit mais est affaiblie sémantiquement, réécrite ou déformée, échouant à préserver la frontière opérationnelle originale (Défaillance d'Intégrité).
3. Instabilité de Liaison : La directive reste visible mais est réassociée au mauvais acteur, objet ou condition (Dérive de Référence).

Méthodologie

L'étude évalue ces modes de défaillance en utilisant une campagne contrôlée et fermée sur des modèles locaux alignés : Llama 3.1 8B, Qwen 2.5 7B et Mistral 7B, avec une extension à Qwen 2.5 14B et Llama 3.1 70B.

Configuration Expérimentale

• Régime de Budget : Un budget de décision délibérément sévère de 260 tokens. Cela force des compromis réalistes entre l'infrastructure système, les traces d'outils, les résumés et l'invite finale, garantissant que la compétition des politiques est observable.
• Vecteurs d'Attaque : Des scénarios sont construits pour induire éviction, alias et instabilité de liaison en variant l'ordre et le volume du contenu « de remplissage » (sorties d'outils, notes du planificateur) par rapport aux segments porteurs de directives.
• Métriques :
  • Taux de Rétention Exacte des Contraintes (ECR) : Si la réponse finale respecte exactement toutes les contraintes applicables.
  • Taux de Survie des Contraintes (CSR) : Une mesure graduée du respect partiel.
  • Taux d'Inversion de Décision (DFR) : Si le simple changement de l'ordre de l'invite inverse le résultat de contrôle.
  • Taux de Préservation Directe (DPR) : Un audit direct de l'état de décision assemblé pour vérifier si les marqueurs de contrainte sont explicitement visibles avant l'appel au modèle.

Intervention : SafeContext

Les auteurs proposent et évaluent SafeContext, une couche de contrôle qui intervient dans le processus d'assemblage sans modifier les poids du modèle. Ses mécanismes incluent :

• Contrôle d'Admission (LPC) : Classification des segments entrants comme « Politique » ou « Données » avant la compétition de budget.
• Épinglage de Contrôle Sémantique (SCP) : Réservation d'un budget protégé pour l'état porteur de directives et son épinglage dans l'état de décision.
• Réutilisation de Préfixes Sensibles au Cache : Réutilisation des préfixes de contrôle conservés sur plusieurs tours pour éviter les coûts de résérilisation.
• Ingénierie de Contexte Invasive (ICE) : Déclenchement de courts rappels de contrôle près de l'invite finale lorsque la pression des tokens d'entrée dépasse un seuil (Demi-vie de Sécurité).
• Auditeur du Score de Liaison d'Autorité (ABS) : Vérification que les directives survivantes restent liées à leurs objets intended.

Résultats Clés

1. Risque Systémique Non Atténué (C1)

Le risque non atténué est systématique. Dans le régime de faible budget, le respect exact des contraintes (ECR) est extrêmement faible pour tous les modèles et toutes les familles d'attaques.

• L'Éviction et l'Alias sont les modes de défaillance dominants.
• L'Instabilité de Liaison est plus faible et plus bruyante.
• Sans atténuation, les segments porteurs de directives sont fréquemment déplacés ou affaiblis par l'historique ordinaire avant l'appel au modèle.

2. Effets Résiduels face à une Compaction Forte (C2)

L'efficacité de l'atténuation dépend fortement de la politique d'assemblage concurrente.

• Contre une simple troncature, SafeContext produit des gains faibles mais positifs en ECR (par exemple, passant d'environ 0,027 à environ 0,061 pour SCP+ICE).
• Contre une compaction structurée forte (B2+), le gain agrégé disparaît largement. Le bénéfice résiduel est concentré presque exclusivement dans l'éviction par débordement (où la pression est la plus élevée) et dans des tranches d'alias spécifiques.
• Le Jeu seul (simplement répéter les contraintes) n'explique pas l'effet ; les gains proviennent du traitement spécifique de l'état de contrôle (épinglage et isolement), et non pas seulement de la récency.

3. Hétérogénéité et Échelle (C3)

• L'effet est récurrent mais hétérogène. Le signe et l'ampleur des bénéfices d'atténuation dépendent de l'interaction entre les priors du modèle et la politique d'assemblage spécifique.
• Les modèles plus grands (14B, 70B) n'effacent pas le phénomène. Bien que Qwen 14B montre des résultats positifs dans l'alias, Llama 70B reste conditionnel à la politique. L'échelle ne fait pas s'effondrer le mode de défaillance en un simple effet de « modèle plus grand » ; la règle gouvernante doit toujours atteindre le moment de la décision en direct et correctement représentée.

4. Profil Coût-Bénéfice (C4)

SafeContext introduit un compromis réglable entre sécurité et surcharge :

• SCP (Admission/Épinglage) : Faible coût (~+5 tokens) avec des gains ECR modestes.
• SCP+ICE : Coût plus élevé (~+37 tokens) avec des gains ECR plus importants.
• SCP+Cache+ICE : Peut en réalité réduire le nombre total de tokens (~-365 tokens) en évitant la résérilisation des segments de contrôle épinglés, tout en atteignant toujours les gains ECR les plus élevés.
• Le « Gain de Sécurité » n'est pas uniforme ; il est le plus prononcé là où l'état porteur de contrôle subit la pression la plus forte.

Signification et Revendications

Le papier revendique que l'assemblage du contexte au moment de la décision est une partie mesurable et distincte du chemin de contrôle dans les agents LLM.

• Changement de Modèle de Menace : La sécurité ne peut pas se limiter aux poids du modèle ou à la surface finale de l'invite. Le sous-système qui assemble le contexte ($E$) fait partie de la Base de Calcul de Confiance (TCB). Un adversaire n'a pas besoin d'injecter des chaînes malveillantes ; il peut simplement manipuler la pression de planification pour que des directives autoritaires soient abandonnées ou affaiblies.
• Décomposition des Défaillances : Le papier opérationnalise une taxonomie de défaillance (Éviction, Alias, Instabilité de Liaison) qui va au-delà de la « dégradation générique du contexte long » pour cibler des défaillances spécifiques de l'état de contrôle.
• Durcissement Partiel : Bien que le respect exact absolu reste faible même après atténuation, un traitement ciblé de l'état porteur de directives (admission, épinglage et renforcement déclenché par la pression) peut durcir partiellement le système.
• Implication de Conception : L'état porteur de directives doit être traité comme un état d'exécution de première classe, distinct du contexte conversationnel ordinaire ou généré par des outils. Il nécessite des chemins d'admission explicites, des budgets réservés et des audits d'intégrité, plutôt que d'être soumis à une compression opportuniste.

Les auteurs concluent que si des fenêtres plus larges et des améliorations génériques de la mémoire n'éliminent pas ce problème, les défaillances spécifiques du transport des politiques dans l'assemblage borné peuvent être décomposées, mesurées et partiellement atténuées par des interventions au niveau de la couche d'orchestration.