Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents

1. Énoncé du problème

L'article comble une lacune critique dans la gouvernance des agents IA autonomes (en particulier les agents de modèles de langage de grande taille). Alors que les plateformes existantes (par exemple, AWS, Microsoft, Google) fournissent une autorisation statique centrée sur l'identité (par exemple, « Cette action est-elle autorisée ?»), elles échouent à détecter la dérive comportementale et les risques émergents qui évoluent au fil du temps sans modifications du code.

Les auteurs identifient trois modes de défaillance spécifiques que les politiques statiques ne détectent pas :

1. Non-stationnarité comportementale : Les agents modifient silencieusement leurs distributions en raison de mises à jour de modèles ou d'une dérive des invites (prompts).
2. Risque compositionnel : Des actions individuelles bénignes (par exemple, de petits virements) se combinent pour former une fraude (par exemple, le fractionnement ou « structuring »).
3. Discrimination émergente : L'apprentissage adaptatif amplifie les déséquilibres initiaux des données en un biais systémique.

Les solutions actuelles (pare-feux basés sur des règles, évaluateurs LLM, moteurs de politiques statiques) sont soit évadables, soit introduisent de la latence, soit manquent de mémoire des comportements antérieurs. Le problème fondamental est que les agents peuvent rester pleinement autorisés tout en devenant dangereux à mesure que des risques non observés s'accumulent.

2. Méthodologie centrale : Le principe de viabilité informationnelle

L'article propose un recadrage théorique de la gouvernance fondé sur la Théorie de la Viabilité d'Aubin. L'idée centrale est le Principe de Viabilité Informationnelle :

Gouverner un agent autonome revient à estimer continuellement une borne sur le risque non observé ($\hat{B}(x)$) et à autoriser une action uniquement lorsque la capacité observée de l'agent ($S(x)$) dépasse cette borne d'une marge de sécurité ($\epsilon$).

Règle de décision :
$$\text{Autoriser } x \iff S(x) \ge \hat{B}(x) + \epsilon$$

Décomposition du risque non observé ($\hat{B}(x)$)

L'article décompose $\hat{B}(x)$ en trois termes statistiquement distincts, chacun nécessitant des estimateurs spécifiques :

1. $U(x)$ (Incertitude/Dérive distributionnelle) : Risque provenant du décalage du comportement de l'agent par rapport à sa distribution de référence. Estimé via la Divergence KL sur des fenêtres glissantes de résultats de transactions et d'appels d'outils.
2. $SB(x)$ (Biais structurel) : Risque provenant de disparités systématiques dans le traitement de différents segments de population. Estimé via des tests Z segment-contre-le-reste (tests de deux proportions).
3. $RG(x)$ (Écart réalité/Contexte séquentiel) : Risque provenant de motifs qui n'émergent que dans les séquences (par exemple, la fraude par fractionnement). Estimé via PlanGovernor (correspondance de motifs sur les historiques d'actions).

Le cadre de viabilité des agents (AVF)

Pour opérationnaliser ce principe, les auteurs définissent trois propriétés nécessaires et suffisantes pour un système de gouvernance :

• P1 (Surveillance) : Estimation continue de $\hat{B}(x)$ sur l'ensemble des contraintes (nécessite un historique d'état).
• P2 (Anticipation) : Prédiction du temps jusqu'au franchissement de la frontière ($t^*$) en surveillant le taux de variation ($d\hat{B}/dt$) avant qu'une violation ne se produise.
• P3 (Restriction monotone) : Les interventions ne peuvent qu'resserrer les restrictions, jamais les assouplir. Cela préserve l'intégrité des estimations de risque contre toute manipulation adverse.

3. Implémentation système : RiskGate

Les auteurs présentent RiskGate, une implémentation de référence du AVF.

• Architecture : Un graphe orienté acyclique (DAG) à trois couches composé d'une couche de gouvernance (estimateurs statistiques), d'une couche de domaine (règles métier) et d'une couche d'abstraction (API de politique).
• Estimateurs statistiques :
  • Divergence KL à double canal : Surveille séparément les résultats de transactions et les appels d'outils avec une correction de Bonferroni pour le contrôle du taux de faux positifs (FPR) conjoint.
  • Seuils adaptatifs (D-UCB1) : Utilise un algorithme de borne de confiance supérieure avec décote pour optimiser dynamiquement les seuils de détection, équilibrant les faux positifs et les anomalies manquées.
  • Détection de biais : Implémente un test Z segment-contre-le-reste avec correction du biais d'auto-inclusion.
• L'autopilote (Carte de régulation) :
  • Formalisé comme une instance de la Carte de Régulation d'Aubin ($R_A$).
  • Fonctionne sur une base de « resserrement uniquement ». Si le système approche d'une frontière de viabilité, il resserre automatiquement les seuils.
  • Inclut un interrupteur d'arrêt (Kill Switch) comme contrôle admissible de « dernier recours » pour garantir que le système ne reste jamais bloqué sans action valide.
• Gouvernance prédictive :
  • Calcule un Indice de Viabilité (VI) $VI(t) \in [-1, +1]$.
  • Utilise une régression MCO (Ordinary Least Squares) sur les valeurs récentes de VI pour prédire $t^*$ (temps jusqu'au franchissement de la frontière), transformant la gouvernance de réactive à prédictive.

4. Contributions clés

1. Cadre théorique : Le Principe de Viabilité Informationnelle unifie les estimateurs statistiques et les propriétés de gouvernance sous une seule structure mathématique, expliquant pourquoi la surveillance, l'anticipation et la monotonie sont nécessaires.
2. Cadre de viabilité des agents (AVF) : Une définition formelle de la dégradation des agents (sénescence) et des trois propriétés (P1-P3) requises pour l'empêcher.
3. Implémentation RiskGate : Une bibliothèque Python complète comprenant :
   • Détection de dérive multi-canaux avec calibration Monte Carlo.
   • Optimisation adaptative des seuils via des bandits manchots (Multi-Armed Bandits).
   • Un pipeline monotone où les décisions sont strictement cumulatives ($D_{final} = \bigwedge D_i$).
   • Un autopilote en boucle fermée avec une garantie formelle de noyaux de viabilité non vides.
4. Validation analytique :
   • Cartographie de la couverture : Le cadre est mappé contre la taxonomie des défaillances « Agents of Chaos » (11 études de cas), montrant comment les trois termes de $\hat{B}(x)$ couvrent divers modes de défaillance.
   • Démonstrations détaillées :
     • Attaque par fractionnement (Structuring Attack) : Montre comment $RG(x)$ (PlanGovernor) bloque la fraude que $U(x)$ et les règles statiques manquent.
     • Biais émergent : Montre comment P2 (Anticipation) détecte la dérive du biais 108 opérations avant qu'un test Z réactif ne se déclenche.

5. Résultats et évaluation

• Note : L'article indique explicitement que l'évaluation empirique quantitative (taux de détection mesurés, latence, retour sur investissement) est prévue comme travail futur. Les résultats actuels sont analytiques et théoriques.
• Couverture analytique : Le cadre correspond avec succès aux 11 cas de défaillance documentés de Shapira et al. [23], démontrant qu'aucun estimateur unique ne couvre tous les risques ; la composition de $U(x)$, $SB(x)$ et $RG(x)$ est requise.
• Convergence : Les stratégies de réduction de dérive dans RiskGate s'alignent sur les conclusions de Rath [21], suggérant que des stratégies combinées (mémoire, routage, ancrage) peuvent réduire la dérive jusqu'à 81,5 %.
• Capacité prédictive : Le mécanisme de prédiction de $t^*$ est montré comme fournissant un « délai d'avance » pour l'intervention, permettant au système d'agir avant qu'une contrainte ne soit violée.

6. Signification et impact

• Changement de paradigme : Passe de la gouvernance IA statique et sans état (vérifier si une action est autorisée maintenant) à la viabilité dynamique et avec état (vérifier si la trajectoire de l'agent est sûre).
• Alignement réglementaire : Le cadre répond directement aux exigences du Règlement européen sur l'IA (Gestion des risques, Précision, Supervision humaine) en fournissant une estimation de risque continue et quantifiable ainsi que des pistes d'audit.
• Rigueur formelle : En ancrant le système dans la Théorie de la Viabilité, l'article fournit une garantie mathématique que le système ne restera pas « bloqué » (Théorème 3.1) et que les interventions sont structurellement sûres (P3).
• Résilience aux attaques : La propriété de Restriction Monotone (P3) est mise en avant comme une défense cruciale contre « l'érosion adverse », où des attaquants tentent de tromper le système pour qu'il assouplisse ses propres défenses.

En résumé, cet article fournit une fondation théorique rigoureuse et une implémentation de référence concrète pour gouverner des agents autonomes capables de s'adapter à la dérive comportementale, aux risques compositionnels et aux biais émergents, garantissant la sécurité même lorsque le comportement de l'agent n'est pas explicitement observable en temps réel.