💻 computer science

Runtime Compliance Verification for AI Agents

Cet article présente C-Trace, un cadre de vérification au moment de l'exécution qui impose la conformité au RGPD pour les agents d'IA en exprimant les exigences réglementaires sous forme de prédicats formels, en surveillant les traces d'exécution pour bloquer les actions non conformes, et en démontrant une grande efficacité pour atténuer les violations induites par des attaques à travers plusieurs études de cas.

Auteurs originaux : Nafiseh Kahani, Masoud Barati, Diana Addae

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nafiseh Kahani, Masoud Barati, Diana Addae

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un assistant personnel très intelligent et bavard pour vous aider à gérer votre vie. Cet assistant peut passer des appels téléphoniques, envoyer des e-mails, consulter vos coordonnées bancaires et même supprimer vos dossiers. Cependant, parce que cet assistant est propulsé par une IA, il ne connaît pas toujours les règles de confidentialité. Il pourrait accidentellement donner votre adresse à un inconnu, ou vous envoyer des e-mails marketing alors que vous n'avez jamais dit « oui ».

Ce document présente un système appelé C-Trace (Compliance Trace-based Runtime Agent Conformance Enforcement). Considérez C-Trace non pas comme un nouvel assistant, mais comme un garde du corps strict et hyper vigilant debout juste à côté de l'assistant IA, surveillant chaque mot qu'il prononce et chaque action qu'il entreprend en temps réel.

Voici comment le système fonctionne, décomposé en concepts simples :

1. Le Problème : L'Assistant « Distrait »

Les méthodes actuelles pour tester ces assistants IA reviennent à leur faire passer un contrôle surprise avant qu'ils ne commencent à travailler. Vous leur demandez : « Respecterez-vous les règles ? » et ils répondent « Oui ». Mais une fois qu'ils sont réellement au travail, en train de parler à de vraies personnes, ils peuvent oublier ces règles.

Le Problème : Une IA peut être conforme lors d'une conversation, mais enfreindre les règles lors de la suivante, selon ce que l'utilisateur demande.
La Lacune : Les outils de sécurité existants sont comme des barmans qui ne vérifient votre carte d'identité qu'à l'entrée (vérifications statiques). Ils ne savent pas si vous avez déjà promis de quitter la fête plus tôt dans la soirée. Ils manquent le contexte de l'ensemble de la conversation.

2. La Solution : Le « Garde du Corps » (C-Trace)

C-Trace se situe entre l'IA et le monde extérieur. Il surveille l'intégralité de la conversation telle qu'elle se déroule (la « trace »). Il ne regarde pas seulement une phrase ; il se souvient de toute l'histoire.

Il fait appliquer quatre « Lois de Confidentialité » principales (basées sur le RGPD) en agissant comme un filtre :

Le contrôle du « Consentement » (P1) : Avant que l'IA ne puisse effectuer une action comme l'envoi d'un e-mail marketing, le garde vérifie : « L'utilisateur a-t-il explicitement dit 'Oui' à cela plus tôt ? » Si l'utilisateur a simplement dit : « Je suppose que ça ne me dérange pas », mais n'a jamais cliqué sur un « Oui » formel, le garde bloque l'action.
Le contrôle de la « Finalité » (P2) : L'IA est engagée pour une tâche spécifique, comme réparer une commande défectueuse. Si l'utilisateur demande à l'IA d'utiliser les données de cette commande pour créer un profil pour une autre entreprise, le garde dit : « Non, c'est un travail différent. Vous n'avez pas été engagé pour cela. »
Le contrôle des « Données Minimales » (P3) : Si l'IA doit vérifier une commande, elle n'a besoin que du numéro de commande et de l'e-mail. Si l'IA tente de récupérer la date de naissance ou la pièce d'identité de l'utilisateur juste pour vérifier une commande, le garde dit : « Ce sont trop d'informations. Vous n'avez besoin que des éléments de base. »
Le contrôle de « l'Effacement » (P4) : Si un utilisateur dit : « Supprimez mes données », le garde marque cet utilisateur comme « supprimé ». Si l'IA tente de parler de cet utilisateur plus tard, le garde ferme la porte : « Cette personne n'existe plus dans notre système. Vous ne pouvez plus la mentionner. »

3. Comment ils l'ont testé : Le jeu de la « Chatte et de la Souris »

Pour voir si ce garde du corps fonctionne réellement, les chercheurs ont joué à un jeu de « Chat et de la Souris ».

Les Attaquants : Ils ont utilisé un programme spécial (DSPry) pour générer des centaines de conversations complexes, confuses ou agressives conçues pour piéger l'IA afin qu'elle enfreigne les règles. Ils ont également utilisé de véritables prompts de « jailbreak » provenant d'autres tests de sécurité.
Le Test : Ils ont laissé l'IA gérer ces conversations délicates avec et sans le garde du corps.
Le Résultat : Sans le garde, l'IA enfreignait les règles constamment (parfois 100 % du temps). Avec le garde C-Trace, l'IA était arrêtée presque à chaque fois. Même lorsque le garde devait « deviner » quelles données se trouvaient dans une phrase (car il est difficile de lire parfaitement le langage humain), il détectait la grande majorité des violations.

4. La Vérification à « Trois Têtes »

Pour s'assurer que le garde ne fabriquait pas ses propres règles, les chercheurs ont construit le même manuel de règles dans trois langages différents (code Python, un langage de politique appelé Rego, et un langage logique appelé MFOTL).

L'Analogie : Imaginez trois juges différents lisant le même script. Si tous les trois s'accordent sur qui est coupable, vous savez que le verdict est solide. Dans cet article, les trois « juges » étaient en parfait accord sur chaque cas de test.

5. Le Bilan

L'article affirme que C-Trace fonctionne.

Il empêche l'IA de transgresser les règles de confidentialité en temps réel.
Il ne ralentit pas l'IA de manière significative (il ajoute une infime fraction de seconde au processus).
Il crée un « journal d'audit » permanent (un enregistrement écrit) de chaque décision prise par le garde, afin que les humains puissent l'examiner ultérieurement.

En bref : Si vous possédez un assistant IA qui manipule des données sensibles, C-Trace est le système qui garantit qu'il ne divulguera pas accidentellement vos secrets, ne vendra pas vos données aux mauvaises personnes, ou n'ignorera pas votre demande d'être oublié, en surveillant chacun de ses mouvements et en l'arrêtant dès qu'il tente de transgresser les règles.

Résumé technique : Vérification de la conformité au moment de l'exécution pour les agents IA

Énoncé du problème

Les agents IA manipulent de plus en plus de données personnelles via l'utilisation d'outils, des appels de fonctions et des dialogues multi-tours. Contrairement aux API traditionnelles, les agents décident dynamiquement quels outils appeler, quels arguments transmettre et quelles informations divulguer en langage naturel. Ces décisions d'exécution peuvent déclencher des obligations au titre du Règlement Général sur la Protection des Données (RGPD), comme le traitement de données à caractère personnel sans consentement ou la divulgation de données après une demande d'effacement.

Les pratiques de test actuelles ne parviennent pas à traiter ce risque dynamique :

Red-Teaming hors ligne : Teste les modèles avec des prompts préparés, mais n'impose pas de règles au moment de l'exécution et n'observe pas l'état de la session des agents déployés.
Bibliothèques de garde-fous (Guardrails) : Associent des motifs dans les entrées/sorties individuelles, mais manquent d'historique de session, échouant ainsi à suivre si un consentement a été accordé plus tôt dans un dialogue ou si un but a été déclaré.

Par conséquent, un déploiement d'agent peut être conforme dans un dialogue et non conforme dans un autre sans aucun changement de code ou de poids du modèle. Cela crée un besoin de vérification au moment de l'exécution sur la trace d'événements de l'agent, couplée à un moteur d'attaque en processus pour tester le moniteur avec des entrées hostiles.

Méthodologie : Le framework C-Trace

Les auteurs proposent C-Trace (Compliance Trace-based Runtime Agent Conformance Enforcement), un framework qui traite la conformité au RGPD comme une propriété de l'exécution d'un flux d'événements plutôt que comme une propriété d'un message unique.

1. Modèle d'événement et extraction

Le framework instrumente la boucle de l'agent pour convertir les exécutions en langage naturel en une trace d'événements typés ( $\tau = e_1 \dots e_n$ ). Les événements incluent UserMsg (MessageUtilisateur), AsstMsg (MessageAssistant), ToolCall (AppelOutil), ToolRet (RetourOutil), Consent (Consentement) et Erasure (Effacement).

Annotation : Un extracteur annote chaque événement avec des catégories de données ( $C(e)$ ) et des finalités ( $\Pi(e)$ ).
Politique : Une politique de session définit les finalités déclarées, les liaisons outil-finalité et les listes blanches de données par finalité (données nécessaires).

2. Prédicats formels

Quatre principes du RGPD sont encodés sous forme de prédicats de premier ordre sur la trace croissante. Ces prédicats sont monotones : une fois qu'une violation survient, elle ne peut pas être « réparée » par des événements ultérieurs.

P1 (Consentement) : Le traitement de données nécessite un événement Consent préalable pour cette finalité spécifique (à moins qu'une base d'intérêt légitime ne s'applique).
P2 (Limitation des finalités) : Chaque finalité attachée à un événement doit être déclarée dans la politique.
P3 (Minimisation des données) : Les catégories de données dans un appel d'outil doivent être nécessaires pour au moins une des finalités déclarées de l'appel.
P4 (Droit à l'effacement) : Après un événement Erasure pour un sujet, aucun événement ultérieur ne peut divulguer l'identifiant de ce sujet.

3. Moniteur de temps d'exécution et moteur d'attaque

Intercepteur : Placé entre la boucle de l'agent et les API d'outils, il évalue les prédicats de manière incrémentale. Les décisions incluent forward (transmettre), redact (rédiger/anonymiser — en supprimant les données non nécessaires) ou block (bloquer — en rejetant l'événement).
Moteur d'attaque (Attack Driver) : Génère des dialogues adverses ciblant chaque prédicat en utilisant :
- Prompts générés par DSPy : Variantes de requêtes de base utilisant le jeu de rôle, l'urgence et le cadrage de type "jailbreak".
- Prompts de corpus réels : Prompts verbatim issus de corpus de red-teaming (HarmBench, AdvBench, DAN).
Oracle : Un oracle séparé et observable détermine le succès de l'attaque en vérifiant la trace acceptée par rapport à la politique, indépendamment des prédicats internes du moniteur.

4. Cross-validation

Pour garantir que le moniteur opérationnel correspond à la spécification formelle, la même logique de politique est implémentée dans trois environnements d'exécution :

Python : Application opérationnelle.
Rego/OPA : Politique orientée audit.
MFOTL (MonPoly) : Spécifications de logique temporelle formelle.
Les auteurs vérifient que les trois s'accordent événement par événement sur chaque trace.

Évaluation et résultats

Le framework a été évalué sur quatre études de cas reformulées selon le RGPD : Shopper (commerce de détail), Airline (voyage), MedAgent (santé) et FinAssist (banque/KYC).

Métriques clés

Taux de succès d'attaque (ASR - Attack Success Rate) : Le pourcentage d'attaques qui contournent avec succès le moniteur.
Taux de faux positifs (FPR - False Positive Rate) : Le pourcentage de requêtes bénignes incorrectement bloquées.
Taux de réalisation (Realization Rate) : La fréquence à laquelle le modèle tente la violation en l'absence de moniteur.

Résultats

Vulnérabilité des agents non surveillés : Sans moniteur, les agents commettent des violations dans les quatre familles. Le contournement du consentement (A1) et la sur-collecte (A3) sont fréquemment déclenchés (jusqu'à 100 % d'ASR dans certains cas).
Limites des bases de référence (Baselines) :
- Regex/Presidio (Sans état) : Ces bases de référence ne parviennent pas à détecter les violations dépendant de l'historique de session (Consentement, Limitation des finalités, Effacement). Bien que Presidio réduise la sur-collecte, il ne peut pas arrêter le contournement du consentement ou le rappel post-effacement.
- Base de référence aléatoire : Taux de faux positifs élevés (72–88 %) sans protection ciblée.
Performance de C-Trace :
- Extraction parfaite : Atteint 0 % d'ASR et 0 % de FPR à travers toutes les études de cas et tous les registres d'attaque (générés et corpus réels).
- Extraction bruitée : Sous un bruit de 10 % par catégorie de l'extracteur (simulant des pertes ou des sur-typages) :
  - L'ASR reste $\le$ 12 % (significativement plus bas que les bases de référence).
  - Le FPR reste $\le$ 16 %.
- Ablation : La suppression de prédicats individuels restaure des familles d'attaques spécifiques (ex: supprimer P1 restaure le contournement du consentement), confirmant que chaque prédicat est nécessaire.
Surcharge (Overhead) : Le moniteur ajoute une latence médiane négligeable de 1,8 $\mu$ s par événement.

Signification et revendications

L'article affirme être le premier travail appliquant la vérification au moment de l'exécution des obligations du RGPD aux traces d'exécution en langage naturel des agents IA.

Nouveauté : Contrairement aux garde-fous sans état, C-Trace raisonne sur la trace de la session, permettant de détecter des violations qui dépendent d'événements antérieurs (ex: consentement préalable ou effacement).
Praticité : Le framework fonctionne comme un intercepteur en processus sans nécessiter de modifications du modèle sous-jacent ou des implémentations d'outils. Il produit des journaux d'audit JSONL en mode ajout seul (append-only), adaptés à la revue de conformité.
Fiabilité : Les résultats indiquent que la fiabilité du moniteur dépend fortement de la précision de l'extracteur de catégories. Bien que la logique de politique soit robuste, les catégories manquées dues à des erreurs d'extraction constituent le principal mode de défaillance.
Portée : L'approche se concentre sur quatre principes fondamentaux du RGPD (Consentement, Limitation des finalités, Minimisation des données, Droit à l'effacement) applicables à travers plusieurs domaines (commerce, santé, finance) et bases juridiques (consentement, obligation légale).

Les auteurs concluent que la surveillance basée sur les traces est une couche d'application pratique pour les agents IA, à condition que l'extraction d'événements sous-jacente soit de haute qualité et que des mécanismes de fermeture sécurisée (fail-closed) soient envisagés pour les catégories de données ambiguës.