Résumé Technique : Une seule porte ne suffit pas : Composer des contrôles de pré-action à état pour l'IA agentique

1. Énoncé du problème

Les systèmes d'IA agentique nécessitent souvent de multiples contrôles de pré-action (portes) pour gouverner simultanément des actions conséquentes. Ces contrôles traitent généralement de préoccupations distinctes : l'autorité (permissions/obligations), les ressources (budgets de coût/carbone) et la preuve (validité des données/métadonnées). Bien que des travaux antérieurs aient établi des portes individuelles (SARC, Green SARC, SARC-DQ) et étudié la composition des moniteurs d'exécution, une lacune critique subsiste lorsque ces contrôles sont hétérogènes et à état (stateful).

Le problème central abordé est le couplage de contrôle induit par la remédiation. Dans de nombreux systèmes, un contrôle ne se contente pas de bloquer une action ; il la remédie (par exemple, en substituant une valeur de donnée corrompue ou en réduisant l'échelle d'une requête de ressource). Lorsqu'un Contrôle A remédie une action, il modifie le contexte, la preuve ou les valeurs dérivées de l'action (telles que la valeur de la commande ou les dépenses prédites). Si le Contrôle B a évalué l'action originale avant la remédiation du Contrôle A, le jugement du Contrôle B peut devenir invalide.

Cela crée trois défis spécifiques :

1. Invalidation : Une évaluation en un seul passage (parallèle ou séquentielle sans réévaluation) peut conduire à une exécution non saine où l'action finale viole une porte qui avait été satisfaite par l'état pré-remédiation.
2. Non-commutativité : Lorsque plusieurs opérateurs de remédiation existent (par exemple, la substitution de preuves et la réduction d'échelle des ressources), leur ordre d'application peut modifier le résultat final. L'ordre n'est pas un détail d'implémentation mais une propriété sémantique de la politique de gouvernance.
3. Contamination de l'état : Admettre un enregistrement dans un tampon de gouvernance persistant (par exemple, pour une substitution future) sur la base de l'admissibilité actuelle peut propager des « défauts non couverts » (des failles que les prédicats de la porte actuelle ne détectent pas) dans l'état de confiance futur, compromettant ainsi les décisions futures.

2. Méthodologie et Formalisme

Le document formalise ces problèmes en utilisant un modèle déterministe où une action $a$ dans un contexte $c(a)$ est évaluée par un ensemble de portes $G_i$. Chaque porte mappe des entrées vers une réponse dans un treillis $R = \{admettre, substituer, dégrader, escalader, bloquer\}$.

Définitions Clés

• Couplage de contrôle induit par la remédiation : Deux contrôles $G_i$ et $G_j$ sont couplés si un opérateur de remédiation $\rho_i$ appliqué par $G_i$ modifie l'entrée consommée par $G_j$, de telle sorte que $G_j(a) \neq G_j(\rho_i(a))$.
• Sûreté par action (Per-Action Soundness) : Un système est sûr si l'action exécutée $a_{exec}$ satisfait chaque porte au moment de l'exécution, compte tenu de l'état en vigueur.
• Jonction non compensatoire : Le document distingue la satisfaction de contraintes (où tout veto bloque l'exécution) de l'agrégation compensatoire (où des scores élevés dans un domaine compensent des scores faibles dans un autre). Il prouve que pour les exigences de gouvernance strictes, l'agrégation pondérée additive peut échouer à préserver les droits de veto à moins que des conditions de seuil spécifiques ne soient remplies.

Le Protocole Remediate-and-Regate (RTR)

Pour remédier à l'insécurité du passage unique, le document propose un protocole Remediate-and-Regate (RTR) :

1. Phase I : Évaluer la porte de preuve. Si une substitution se produit, former une action remédiée $a' = \rho_{sub}(a)$ et re-calculer le contexte $c(a')$. Si une porte de ressource est présente, elle peut appliquer davantage un opérateur de déroutement $\rho_{route}$ à $a'$, recalculant à nouveau le contexte.
2. Phase II : Ré-évaluer toutes les portes (y compris la porte de preuve) sur l'action finale remédiée $a_{exec}$ et le contexte mis à jour.
3. Jonction : Calculer le verdict composé en utilisant une jonction non compensatoire (par exemple, deny-overrides ou logique min) sur les réponses de la Phase II.

Le document prouve que sous les hypothèses de déterminisme, de remédiation bornée (un seul passage) et d'idempotence (la substitution ne déclenche pas de nouvelle substitution), ce protocole garantit la sûreté par action.

Gestion de la Non-Commutativité

Le document démontre que les deux opérateurs de remédiation spécifiques implémentés dans l'artefact — $\rho_{sub}$ (substitution de preuve) et $\rho_{route}$ (réduction d'échelle des ressources) — ne commutent pas.

• $\rho_{route}(\rho_{sub}(a)) \neq \rho_{sub}(\rho_{route}(a))$ en général pour ces opérateurs.
• Un vérificateur de modèle fini a trouvé des contre-exemples concrets où l'ordre des opérations change le résultat final.
• Conclusion : L'ordre des opérations doit être explicitement spécifié comme faisant partie de la politique de gouvernance (par exemple, « Porte de preuve d'abord, puis Porte de ressource ») plutôt que d'être laissé à l'implémentation. Le document note que c'est une propriété de ces opérateurs spécifiques et ne prétend pas être une solution générale pour des systèmes de réécriture arbitraires.

Contamination de l'État et Atténuation

Le document identifie une vulnérabilité où des « défauts non couverts » (des défauts de données que les prédicats de la porte ne peuvent détecter) sont admis dans un tampon gouverné et sont ensuite utilisés pour remédier à des actions futures.

• Mécanisme : Une valeur admise mais défectueuse entre dans le tampon $\to$ Des actions futures substituent cette valeur défectueuse $\to$ Le défaut se propage.
• Atténuations : Deux stratégies sont démontrées :
  1. Fenêtre de quarantaine : Un écrit n'est considéré comme fiable qu'après $N$ admissions consécutives cohérentes.
  2. Médiane glissante de 3 : Utiliser la médiane des valeurs récentes pour filtrer les valeurs aberrantes.
     Note : Ces méthodes réduisent l'exposition mais n'éliminent pas la vulnérabilité fondamentale de la remédiation à état avec une couverture incomplète.

3. Principales Contributions

1. Formalisation du couplage induit par la remédiation : Le document définit les conditions dans lesquelles la remédiation d'un contrôle invalide le jugement d'un autre, allant au-delà de la simple composition de moniteurs pour atteindre l'invalidation d'objets sémantiques.
2. Sûreté du Remediate-and-Regate : Il établit un protocole qui restaure la sûreté dans un cadre borné et idempotent en garantissant que chaque porte ré-évalue l'action finale.
3. Non-commutativité des opérateurs de remédiation spécifiques : Il démontre que les deux opérateurs de remédiation concrets implémentés dans l'artefact (substitution de preuve et réduction d'échelle des ressources) ne commutent pas, rendant l'ordre des opérations comme une exigence sémantique pour ces contrôles spécifiques. Ceci est vérifié par un vérificateur de modèle fini trouvant 86/243 points de grille (et 150/200 points hors grille) où l'ordre change le résultat. Le document précise explicitement que cette non-commutativité ne s'applique pas à des opérateurs de remédiation arbitraires.
4. Contamination de l'état de gouvernance : Il démontre que l'admission d'enregistrements dans un état persistant sans couverture complète peut empoisonner la remédiation future, et montre que les stratégies d'atténuation (quarantaine, filtrage par médiane) réduisent mais n'éliminent pas ce risque.
5. Agrégation linéaire vs Sémantique de Veto : Il fournit une condition exacte (Lemme) pour savoir quand un agrégateur de somme pondérée préserve les droits de veto : un profil refusé est admis si et seulement si le seuil $\tau$ n'excède pas la somme des poids du plus grand élément "laissé de côté". Cela clarifie que le scoring additif n'est pas un substitut aux sémantiques de faisabilité conjonctive pour la gouvernance stricte.
6. Ensemble de preuves unifié : Un mécanisme pour préserver l'intégralité de la lignée à travers les portes, enregistrant les ID de preuves pré et post-remédiation ainsi que l'écriture spécifique dans le tampon, assurant l'engagement d'identité sans prétendre à la reconstruction d'octets.

4. Résultats Empiriques

Le document valide ces mécanismes en utilisant un artefact déterministe (suite-demo) composé de trois moteurs Apache 2.0 non modifiés (SARC, Green SARC, SARC-DQ) sur 30 graines pré-enregistrées et deux flux de travail (Quotidien et Hebdomadaire).

• Sûreté (CH1) : Sous le protocole Remediate-and-Regate, aucune action exécutée n'a violé aucune porte au moment de l'exécution sur l'ensemble des 30 graines.
• Insécurité du passage unique (CH2) : Dans le scénario construit (S4), l'évaluation en un seul passage diverge du protocole sûr de 207,5 décisions (moyenne) par 30 graines, admettant souvent des actions qui violent les portes après la remédiation.
• Non-commutativité (CH7) : Un vérificateur de modèle a confirmé que les deux opérateurs de remédiation spécifiques ne commutent pas, validant la nécessité d'un ordre fixe pour ces opérateurs.
• Honnêteté de la couverture (CH4) : Le système composé a détecté exactement l'union des classes couvertes par les portes membres ; aucune nouvelle couverture de détection n'a été "fabriquée" par la composition.
• Contamination du tampon (CH6) : Dans le flux de travail "Quotidien" (W1), le tampon standard a produit une moyenne de 14,70 substitutions empoisonnées. Les atténuations par quarantaine et par médiane-de-3 ont strictement réduit ce nombre. Dans le flux de travail "Hebdomadaire" (W2), le taux d'empoisonnement de base était plus faible (1,83), et bien que les atténuations aient réduit le nombre, la petite taille de l'échantillon a parfois entraîné un nombre de base de zéro, rendant la réduction statistique par graine impossible à satisfaire dans tous les cas.
• Sécurité de la compensation (CH5) : Les vérifications par grille exhaustives et empiriques ont confirmé que l'agrégation pondérée additive peut admettre des actions refusées (par exemple, bloquer un défaut spécifique) si le seuil n'est pas soigneusement calibré, alors que la jonction min préserve strictement le veto.

5. Signification et Revendications

La signification du document réside dans l'établissement de sémantiques de composition bornées pour les contrôles de pré-action à état dans l'IA agentique. Il soutient que :

• La remédiation change la sémantique : Une fois qu'un contrôle est autorisé à transformer une action, les jugements antérieurs deviennent contingents sur la version de l'objet évalué. Une gouvernance correcte nécessite des sémantiques explicites pour invalider et re-calculer les jugements dépendants.
• L'ordre importe : Lorsque plusieurs opérateurs de remédiation existent, leur ordonnancement fait partie de la politique de gouvernance, et non d'un détail d'implémentation.
• L'état nécessite des politiques de confiance : L'admission dans l'état de gouvernance persistant est distincte de la confiance future ; les défauts admis mais non couverts peuvent contaminer la remédiation future.

Portée et Limites :
Le document limite explicitement ses revendications :

• Il s'agit d'une démonstration de mécanisme, et non d'une étude de prévalence en production.
• Il établit la sûreté pour le cadre actuel à un seul passage et idempotent. Il ne prétend pas résoudre la convergence, la terminaison ou la confluence générales pour des remédiateurs arbitraires non-idempotents ou des dépendances cycliques.
• Il ne prétend pas que l'agrégation pondérée est intrinsèquement dangereuse, mais plutôt qu'elle est inadaptée à la mise en œuvre de sémantiques de veto strictes sans contraintes de seuil spécifiques.
• L'atténuation de la contamination du tampon réduit l'exposition mais n'élimine pas la vulnérabilité de la remédiation à état avec une couverture incomplète.
• La démonstration de la non-commutativité s'applique spécifiquement aux deux opérateurs implémentés (substitution de preuve et réduction d'échelle des ressources) et ne se généralise pas à des opérateurs de remédiation arbitraires sans un nouveau passage du vérificateur.

Le travail fournit une base rigoureuse pour composer des contrôles hétérogènes et à état dans les agents d'IA, soulignant la nécessité de la réévaluation, de l'ordonnancement explicite et de la distinction prudente entre l'admission et la confiance.