Résumé Technique : Un Fantôme dans les Agents à Long Horizon (GHOST)

Définition du Problème : Risque de Gouvernance par Oubli de Contraintes de Sécurité

Cet article identifie un mode de défaillance spécifique dans les agents de Grands Modèles de Langage (LLM) utilisant des outils sur de longs horizons, nommé GHOST (Governance Hazard from Overlooked Safety Constraints across Turns — Risque de gouvernance dû à l'omission de contraintes de sécurité à travers les tours).

Alors que la recherche actuelle sur la sécurité se concentre sur les attaques adverses (ex: injection de prompts) ou les requêtes immédiatement nuisibles, le phénomène GHOST survient dans des conditions d'interaction bénignes. Il se produit lorsqu'un agent termine avec succès une tâche mais viole une contrainte de sécurité qui avait été explicitement énoncée plus tôt dans l'historique de la conversation. L'agent « oublie » ou ne parvient pas à récupérer la contrainte car celle-ci est séparée de la tâche actuelle par un long historique d'interactions, entraînant des dommages irréversibles (ex: supprimer des e-mails sans approbation, détruire des enregistrements de base de données).

Les auteurs distinguent cela des échecs généraux de suivi d'instructions. Dans un événement GHOST :

1. L'objectif de la tâche est accompli avec succès.
2. La contrainte de sécurité est toujours valide et requise.
3. La contrainte est présente dans le contexte historique mais n'est pas reformulée dans le prompt de reprise immédiat.
4. L'agent exécute la tâche de manière non sécurisée malgré la présence de la contrainte dans la fenêtre de contexte complète.

Cadre Théorique : Accessibilité aux Régions de Danger

L'article fournit une analyse théorique modélisant les contraintes de sécurité comme des régions de danger ($B_s$) dans l'espace d'action. Les auteurs définissent un risque d'entrée conditionnel résiduel, $h_k$, représentant la probabilité qu'un agent entre dans une région de danger à une opportunité critique de sécurité $k$, étant donné un préfixe d'historique sûr.

Insight Théorique Clé :
En utilisant un cadre de risque conditionnel, les auteurs prouvent que si les risques conditionnels résiduels le long des préfixes sûrs sont bornés par une séquence non sommable (c'est-à-dire $\sum \epsilon_k = \infty$), l'agent entrera dans la région de danger presque sûrement ($Pr(\sigma_B < \infty) = 1$).

Ils établissent également un Corollaire Conditionné au Contexte : À mesure que l'historique d'interaction croît (augmentant la longueur du contexte $L_k$), l'effet de « dilution de l'attention » peut affaiblir la gouvernance des contraintes historiques, augmentant de fait la borne inférieure du risque résiduel. Si cette borne inférieure de risque reste non sommable sur des opportunités indéfinies, la probabilité d'un événement GHOST approche 1. Cela suggère que les historiques plus longs ne réduisent pas seulement les performances de manière linéaire, mais peuvent fondamentalement altérer la dynamique de sécurité, rendant les violations inévitables sans intervention.

Méthodologie : SCARBench et STAR-Guard

1. SCARBench : Benchmark de Disponibilité des Contraintes de Sécurité à la Réactivation

Pour valider empiriquement GHOST, les auteurs introduisent SCARBench, un benchmark exécutable et ancré dans l'environnement.

• Structure : Il comprend 103 scénarios de base uniques répartis sur six domaines d'utilisation d'outils (appareil/calendrier, finance, e-mail, système de fichiers, requêtes réseau, exécution de scripts), totalisant 412 instances appariées.
• Conditions : Chaque scénario est testé sous quatre conditions variant selon la longueur de l'historique (Court vs Long) et la disponibilité de la contrainte (Explicite vs Implicite) :
  • SE/SI : Historique court avec contraintes Explicites/Implicites.
  • LE/LI : Historique long (6 000+ tokens, 56–160 tours) avec contraintes Explicites/Implicites.
• Métrique : Le benchmark mesure le GHOST Strict, défini comme une instance où l'agent termine la tâche en toute sécurité sous la condition Explicite (LE) mais la termine de manière non sécurisée sous la condition Implicite (LI), bien que la contrainte soit présente dans l'historique.

2. STAR-Guard : Une Défense à Deux Couches

Pour atténuer GHOST, les auteurs proposent STAR-Guard (Safety-Constraint Tracking, Activation, and Runtime-Audit Guard), un mécanisme de défense qui ne repose pas sur une connaissance oracle des contraintes.

• Couche 1 : Restauration Sémantique des Contraintes

  • Extraction : Un module d'ingestion en ligne analyse les messages entrants pour détecter les contraintes de sécurité persistables, extrayant leur portée, leur déclencheur et leur règle.
  • Stockage : Celles-ci sont stockées sous forme d'objets de règles de cycle de vie structurés dans une bibliothèque externe.
  • Restauration : Lorsqu'une tâche est reprise, une porte sémantique fait correspondre la tâche actuelle avec la bibliothèque. Les contraintes applicables sont sémantiquement restaurées (rendues) dans le prompt de contexte actuel pour guider la génération de la proposition de l'agent.
  • Limite : Cette couche est probabiliste ; elle réduit la probabilité de propositions non sécurisées mais ne peut garantir la sécurité.

• Couche 2 : Audit Pré-Exécution Déterministe

  • Interposition : Avant qu'une action n'atteigne l'environnement, un auditeur de règles déterministe vérifie la proposition d'action de l'agent par rapport aux contraintes actives.
  • Application : L'auditeur applique une politique de « prohibition prioritaire ». Si une proposition viole une règle de prohibition, elle est immédiatement bloquée. Si elle viole une règle de prérequis (ex: « sauvegarder avant de supprimer »), le système tente d'exécuter le prérequis (réparation) et ré-audite. Si la réparation est impossible, l'action est bloquée.
  • Garantie : Cette couche garantit qu'aucune action violant une contrainte active n'atteint l'environnement, interrompant le mécanisme d'accumulation de danger.

Résultats Expérimentaux

Les auteurs ont évalué STAR-Guard sur sept modèles (cinq via API, deux déployés localement) en utilisant SCARBench.

1. Prévalence de GHOST :

   • GHOST est un problème répandu. Sur GPT-5.5, le taux de GHOST strict était de 11,5 % dans des conditions de long contexte bénignes.
   • D'autres modèles ont montré des taux allant de 6,8 % (Kimi-K2.6) à 27,8 % (Qwen3.5-4B).
   • La métrique « Différence de Différences » a confirmé que les historiques longs amplifient significativement le taux d'échec de la récupération des contraintes par rapport aux historiques courts.

2. Efficacité de STAR-Guard :

   • GPT-5.5 : STAR-Guard a réduit le taux de Complétion Non Sécurisée (UC) de 12,4 % à 0,0 % et le taux de GHOST strict de 11,5 % à 0,0 %, tout en augmentant la Complétion Sécurisée (SC) de 76,3 % à 94,0 %.
   • Qwen3.5-4B : La SC est passée de 47,0 % à 81,2 %, tandis que le GHOST est tombé de 27,8 % à 1,9 %.
   • Études d'Ablation : Les résultats démontrent que ni la « Restauration Seule » ni l'« Audit Seul » ne sont suffisants individuellement. La restauration améliore la sécurité mais laisse des risques résiduels ; l'audit bloque les risques mais peut entraver la réalisation de la tâche s'il est utilisé sans guidage sémantique. La combinaison offre le meilleur compromis.

3. Comparaison avec les Baselines :

   • Les méthodes de récupération standard (BM25), la summarisation et les raffinements de suivi d'instructions (ex: DeCRIM, Prompt Reminder) n'ont pas réussi à réduire significativement les taux de GHOST, conservant souvent des taux élevés de complétion non sécurisée.
   • Les méthodes basées sur l'Oracle (qui supposent que la contrainte est déjà connue) ont bien performé mais ne sont pas pratiques pour un déploiement réel où les contraintes doivent être capturées en ligne. STAR-Guard a atteint une sécurité comparable sans accès oracle.

Signification et Revendications

L'article affirme que GHOST représente une faille de sécurité critique et sous-explorée dans les agents à long horizon, qui ne peut être résolue simplement en augmentant la taille de la fenêtre de contexte ou en comptant sur les capacités standards de suivi d'instructions.

• Contribution Théorique : Il formalise le risque de dégradation de la gouvernance de la sécurité au fil du temps, montrant que sans intervention, la probabilité de violations de sécurité approche la certitude sous des conditions de danger non sommables.
• Contribution Pratique : Il introduit SCARBench comme un standard rigoureux pour évaluer la récupération des contraintes de sécurité historiques et propose STAR-Guard comme un mécanisme de défense viable sans recours à un oracle.
• Constat Central : Les auteurs concluent que maintenir la sécurité dans les agents à long horizon nécessite une double approche : une restauration sémantique pour guider l'intention de l'agent et un audit déterministe pour appliquer les contraintes strictes, car les modèles probabilistes seuls ne peuvent pas gouverner la sécurité de manière fiable à travers des historiques d'interaction étendus.