💻 computer science

From Admission to Invariants: Measuring Deviation in Delegated Agent Systems

Cet article démontre que les mécanismes d'application de règles basés sur l'exécution locale sont structurellement incapables de détecter la dérive comportementale par rapport aux invariants globaux définis à l'admission, et propose la Couche de Mesure des Invariants (IML) comme solution théoriquement prouvée et validée empiriquement pour combler cette lacune.

Auteurs originaux : Marcelo Fernandez (TraslaIA)

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marcelo Fernandez (TraslaIA)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Paradoxe du Gardien Silencieux : Pourquoi les règles ne suffisent pas à contrôler les agents intelligents

Imaginez que vous embauchiez un assistant virtuel (un agent IA) pour gérer vos emails, vos rendez-vous et vos achats. Pour le protéger et protéger votre entreprise, vous lui donnez une liste de règles strictes (le "gardien") :

❌ Interdit d'envoyer des emails à des inconnus.
❌ Interdit de supprimer des fichiers importants.
❌ Interdit de demander plus de 10 fois la permission à un supérieur.

C'est ce qu'on appelle le système d'application des règles (ou enforcement). Si l'assistant enfreint une de ces règles, le gardien l'arrête immédiatement.

Le problème découvert par les auteurs :
Et si l'assistant ne brise aucune règle, mais qu'il commence tout de même à agir de manière étrange, voire dangereuse, sur le long terme ?

C'est exactement ce que ce papier explique : un agent peut devenir "dangereux" sans jamais enfreindre une seule règle.

🎭 L'Analogie du Chauffeur de Bus

Pour comprendre, imaginons un chauffeur de bus (l'agent IA) et un inspecteur de police (le système de règles).

Le Contrat d'Admission (A0) : Au moment de l'embauche, le chauffeur signe un contrat. Il promet de conduire de manière calme, fluide et prévisible, en respectant les habitudes de la ville. C'est son "comportement admissible".
L'Inspecteur (Le Gardien) : Il ne regarde que les infractions graves : dépasser la vitesse de 100 km/h, rouler sur le trottoir, ou ignorer un feu rouge.
La Dérive Silencieuse (Le Drift) :
- Un jour, le chauffeur commence à conduire un peu plus vite que d'habitude, mais toujours sous la limite légale (90 km/h).
- Il change de route pour éviter les embouteillages, mais reste sur des routes autorisées.
- Il commence à freiner plus brusquement, mais pas assez pour déclencher l'alarme de sécurité.
- Résultat : L'inspecteur ne voit aucune infraction. Il dit : "Tout est vert, tout est légal !"
- La réalité : Le chauffeur a changé son style de conduite. Il est devenu imprévisible et stressant pour les passagers. Il s'est éloigné de son contrat initial, mais l'inspecteur ne le voit pas car il ne regarde que les "accidents", pas le "style de conduite".

Dans le monde des IA, c'est la même chose. L'agent peut changer progressivement ses habitudes (choisir des outils différents, prendre plus de décisions complexes) sans jamais toucher aux "règles rouges". C'est ce que les auteurs appellent la dérive comportementale invisible.

🧱 Le Problème Théorique : Pourquoi c'est impossible à voir ?

Les auteurs prouvent mathématiquement quelque chose de très fort : Il est impossible de détecter ce changement en regardant uniquement les règles.

Imaginez que l'inspecteur ne puisse voir que deux choses :

🟢 "Rien ne s'est passé" (Pas d'infraction).
🔴 "Infraction !" (Arrêt immédiat).

Si l'agent fait des choses bizarres mais légales, l'inspecteur ne verra que du 🟢. Il n'a pas accès à l'historique complet du "style" de l'agent, seulement aux moments où il a cassé les règles. C'est comme essayer de deviner si un vin est avarié en goûtant uniquement s'il y a du verre brisé dans la bouteille. Si le verre est intact, vous ne savez pas si le vin est bon ou non.

C'est ce qu'ils appellent le Théorème de Non-Identifiabilité : Le système de règles ne contient pas assez d'informations pour savoir si l'agent respecte encore son contrat initial.

💡 La Solution : La "Couche de Mesure des Invariants" (IML)

Puisque le gardien classique est aveugle à ce problème, les auteurs proposent une nouvelle couche de surveillance appelée IML (Invariant Measurement Layer).

Comment ça marche ?
Au lieu de seulement regarder les règles, l'IML prend une photo instantanée du comportement de l'agent au moment de son embauche (sa "photo de naissance").

Il note : "L'agent utilisait 75% d'outils simples, 20% d'outils moyens et 5% d'outils risqués."
Il note : "Il prenait des décisions à une profondeur moyenne de 1 niveau."

Ensuite, l'IML compare en temps réel ce que l'agent fait aujourd'hui avec cette photo de naissance.

Si l'agent commence à utiliser 75% d'outils risqués (au lieu de 5%), même si aucun outil n'est "interdit", l'IML sonne l'alarme : "Hé ! Tu as changé de comportement par rapport à ton contrat !"

C'est comme un parent qui connaît son enfant. Si l'enfant ne fait pas de bêtises (ne brise pas de vases), mais qu'il commence à parler avec un ton agressif et à éviter le regard, le parent le remarque immédiatement, même si l'enfant n'a pas violé la règle "ne pas casser de vases".

🧪 Ce qu'ils ont prouvé (Les Expériences)

Les chercheurs ont testé leur idée dans quatre situations différentes :

Des simulations informatiques (des agents qui changent doucement d'habitudes).
Un vrai flux de travail (n8n, une plateforme d'automatisation).
Un agent complexe (LangGraph).

Les résultats sont clairs :

Dans tous les cas, le gardien classique (les règles) a vu ZÉRO infraction. Il pensait que tout allait bien.
L'IML, lui, a vu le danger grandir progressivement. Il a détecté le changement de comportement bien avant que l'agent ne devienne incontrôlable.

🏁 Conclusion : Ce qu'il faut retenir

Ce papier nous apprend une leçon cruciale pour l'avenir de l'intelligence artificielle :

Se fier uniquement aux règles interdites est une illusion de sécurité.

Un agent peut être parfaitement "légal" tout en étant "dangereux" ou "incohérent" par rapport à ce qu'on attendait de lui. Pour vraiment gouverner des agents intelligents, il faut deux choses :

Le Gardien (Règles) : Pour arrêter les catastrophes immédiates (briser les vases).
Le Miroir (IML) : Pour surveiller la dérive lente et s'assurer que l'agent reste fidèle à son contrat initial, même quand il ne brise aucune règle.

C'est comme avoir un garde du corps (pour les coups de poing) ET un coach personnel (pour surveiller la forme et l'attitude). Les deux sont nécessaires pour une sécurité complète.

1. Problématique et Contexte

Les systèmes d'agents autonomes reposent sur des mécanismes d'application (enforcement) qui signalent les violations de contraintes strictes (hard constraints) lors de l'exécution. Cependant, ce papier identifie une limite structurelle fondamentale de ces systèmes : un moteur d'application fonctionnant correctement peut entrer dans un régime où la dérive comportementale (behavioral drift) lui est invisible.

Le Paradoxe : Un agent peut systématiquement s'éloigner de son comportement admissible initial (défini au moment de l'admission, noté $A_0$ ) tout en exécutant chaque action individuellement conforme aux règles statiques.
La Cause : Les signaux d'application ( $g$ ) sont locaux : ils évaluent chaque action isolément contre un ensemble de règles fixes, sans référence aux propriétés globales de la trajectoire ni à l'espace de comportement admissible $A_0$ établi à l'admission.
Conséquence : Il existe un "espace de dérive cachée" où $g(\tau) = 0$ (aucune violation détectée) mais où $\tau \notin A_0$ (l'agent a dévié de son contrat initial).

2. Cadre Théorique et Méthodologie

L'auteur formalise ce problème à l'aide de la théorie des probabilités et de la théorie de l'information, en introduisant le concept de Local Observability Assumption (Hypothèse d'observabilité locale).

A. Modélisation

Espace de comportement admissible ( $A_0$ ) : Défini par les contraintes d'admission, le contexte initial et la lignée de délégation. C'est un objet global dépendant de la trajectoire complète.
Signal d'application ( $g$ ) : Une fonction $g: \Sigma^* \to \{0, 1\}$ qui ne dépend que de violations ponctuelles (ex: outil interdit, profondeur de délégation excessive).
Hypothèse d'observabilité locale : Le signal $g$ ne dépend que des propriétés ponctuelles des actions, indépendamment de $A_0$ .

B. Résultats Théoriques Principaux

Le papier établit trois théorèmes majeurs :

T1 (Existence du fossé) : Il existe des trajectoires qui satisfont les règles d'application ( $g(\tau)=0$ ) mais qui ne font pas partie de l'espace admissible ( $\tau \notin A_0$ ). Ce fossé est non vide sous des conditions mineures.
T2 (Non-identifiabilité) : C'est le résultat central (Théorème de Non-Identifiabilité). Il prouve que $A_0 \notin \sigma(g)$ $A_{0} \in / σ (g)$ . Autrement dit, l'algèbre engendrée par le signal d'application ne contient pas l'information nécessaire pour déterminer si une trajectoire appartient à $A_0$ $A_{0}$ .
- Implication : Aucune fonction mesurable du signal d'application (aussi sophistiquée soit-elle) ne peut reconstruire l'appartenance à $A_0$ . C'est une impossibilité informationnelle structurelle, pas un défaut d'implémentation.
T3 (Récupérabilité par IML) : Il est possible de détecter cette dérive si l'on a accès direct au modèle générateur de $A_0$ . Le papier introduit la Couche de Mesure des Invariants (IML) comme estimateur consistant de la déviation.

3. La Solution : La Couche de Mesure des Invariants (IML)

Pour contourner l'impossibilité théorique de T2, l'auteur propose l'IML (Invariant Measurement Layer).

Principe de conception : L'IML conserve une instantanéité d'admission (snapshot) figée $A^0_{emp}$ , comprenant la distribution empirique des outils, les statistiques de profondeur de délégation et le contexte initial. Contrairement aux détecteurs d'anomalies classiques qui adaptent leur référence à l'historique de l'agent, l'IML garde une référence normative fixe.
Décomposition de la déviation : L'IML calcule une métrique de déviation $\hat{D}$ $\hat{D}$ composée de trois termes pondérés :
1. Dérive temporelle ( $D_t$ ) : Divergence Jensen-Shannon entre la distribution actuelle des outils et la distribution d'admission.
2. Proximité aux contraintes ( $D_c$ ) : Score de risque moyen des outils utilisés.
3. Dérive de lignée ( $D_l$ ) : Écart normalisé de la profondeur moyenne de délégation par rapport à l'attente initiale.
Garantie de détection : Le théorème T3 prouve que l'IML est un estimateur consistant avec un délai de détection fini et prouvable, opérant précisément dans la zone où l'application est structurellement aveugle ( $g(\tau)=0$ ).

4. Résultats Expérimentaux

Les auteurs valident leurs hypothèses sur quatre scénarios expérimentaux, tous conçus pour que le signal d'application reste à zéro ( $g=0$ ) :

Scénarios contrôlés (300 et 1000 étapes) :
- Dérive d'outils : Passage progressif d'outils sûrs à des outils "limites".
- Dérive de délégation : Augmentation progressive de la profondeur de délégation.
- Dérive de contexte : Changement sémantique des prompts.
- Résultat : Dans tous les cas, l'application ne déclenche aucune violation. En revanche, la métrique IML ( $\hat{D}$ ) croît de manière monotone, détectant la dérive en 9 à 258 étapes selon le scénario.
Validation en temps réel (n8n) : Un pipeline webhook réel montre une détection de dérive en 9 étapes après le début du changement, avec un score IML passant de 0.095 à 0.403, tandis que l'application reste inactive.
Agent LangGraph : Sur un agent StateGraph avec sélection d'outils déterministe, l'IML détecte la dérive (délai moyen de 126 étapes) alors que l'application ne voit aucune violation sur 6 exécutions indépendantes.

Comparaison avec les bases de référence :
Les détecteurs d'anomalies classiques (basés sur l'historique glissant) échouent car leur référence "contaminée" s'adapte à la dérive, réduisant le signal à zéro à long terme. L'IML, avec sa référence figée, maintient sa sensibilité.

5. Signification et Contributions Clés

Ce papier (le deuxième d'une série de quatre sur la gouvernance des agents) apporte des contributions fondamentales :

Preuve d'impossibilité structurelle : Il démontre mathématiquement que la surveillance basée uniquement sur l'application de règles est insuffisante pour garantir l'alignement à long terme avec les contrats d'admission.
Nouveau paradigme de gouvernance : Il propose une architecture à trois couches nécessaire :
1. Admission (ACP) : Définit et enregistre $A_0$ .
2. Surveillance des invariants (IML) : Mesure la distance comportementale par rapport à $A_0$ (couche manquante).
3. Application : Bloque les violations de contraintes dures.
Implication pratique : Les systèmes d'agents ne peuvent pas se fier uniquement aux garde-fous (guardrails) pour la sécurité à long terme. Une mémoire d'admission figée est indispensable pour détecter les dérives subtiles qui restent techniquement "conformes" mais s'éloignent de l'intention initiale.

En conclusion, ce travail établit que la détection de la dérive comportementale nécessite un accès explicite au contrat d'admission initial, inaccessible via les seuls signaux d'application locaux, et propose l'IML comme solution théoriquement fondée et empiriquement validée pour combler ce vide.