Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

Résumé Technique : Une Architecture Probabiliste à Trois Couches de Type « Assume–Guarantee » pour le Déploiement Sûr d'Agents LLM

1. Énoncé du Problème

Le déploiement d'agents basés sur des modèles de langage (LLM) dans des environnements critiques pour la sécurité présente un défi structurel pour l'assurance temps réel, qui ne peut être résolu par des mécanismes d'application à une seule couche. Contrairement à la génération de texte statique, les agents LLM s'engagent dans une exécution en boucle fermée où les plans générés influencent le monde physique et les observations futures. L'article soutient qu'une opération sûre nécessite la satisfaction simultanée de trois dimensions distinctes :

1. Intention Sémantique et Conformité aux Politiques : Alignement avec les instructions de l'utilisateur, les contraintes éthiques et les règles du domaine.
2. Validité Environnementale : Vérification que l'état actuel du monde se situe dans le Domaine de Conception Opérationnelle (ODD).
3. Faisabilité Dynamique : Assurance que la trajectoire d'exécution satisfait les contraintes de sécurité physique (par exemple, évitement des collisions, limites de force).

Le problème central réside dans le fait que ces trois dimensions dépendent d'ensembles d'informations strictement distincts qui deviennent disponibles à différentes étapes de l'exécution. L'intention sémantique est connue a priori ; la validité environnementale nécessite des données de capteurs au moment de l'exécution ; et la faisabilité dynamique dépend de la trajectoire de la boucle de contrôle pendant l'exécution. L'article postule que toute architecture qui réduit ces dimensions à une seule couche d'abstraction laisse nécessairement au moins une dimension non certifiée, car aucune barrière de sécurité unique ne peut accéder simultanément aux informations nécessaires pour les trois. Des preuves empiriques issues de benchmarks (par exemple, AgentSafetyBench) étayent cette affirmation, montrant que les défaillances de sécurité se concentrent dans les dimensions environnementales et physiques, hors de portée des contrôles purement sémantiques.

2. Méthodologie : L'Architecture à Trois Couches Basée sur des Contrats

Pour remédier à cette insuffisance structurelle, l'article propose une Architecture Probabiliste à Trois Couches de Type « Assume–Guarantee » (A/G). Ce cadre traite la sécurité non pas comme une preuve déterministe, mais comme une composition de contrats probabilistes, où chaque couche fait respecter une dimension spécifique de la sécurité en fonction des informations disponibles à cette étape.

L'architecture se compose de trois couches séquentiellement composées, chacune définie par un contrat $\Sigma_i = (A_i, \Gamma_i)$, où $A_i$ est une hypothèse sur les entrées et $\Gamma_i$ est une garantie probabiliste sur les sorties :

• Couche 1 : Couche d'Assurance Utilisateur ($\Sigma_U$)

  • Ensemble d'Informations ($I_U$) : Intention de l'utilisateur, politique, métadonnées de rôle et règles éthiques. Aucune observation du monde n'est disponible.
  • Fonction : Valide le plan généré $p$ par rapport à l'alignement sémantique (cognitif, réglementaire, éthique) et à l'autorisation de l'utilisateur.
  • Contrat : Si la demande est autorisée ($A_U$), la couche garantit que le plan cible uniquement des emplacements autorisés et ne contient aucune violation de politique ($\Gamma_U$). Cette garantie sert d'hypothèse pour la couche suivante.
  • Mécanisme : Utilise des méthodes neuro-symboliques pour formaliser l'intention informelle et les contraintes de politique.

• Couche 2 : Couche d'Assurance Opérationnelle ($\Sigma_O$)

  • Ensemble d'Informations ($I_O$) : État du monde estimé $\hat{w}$, données de capteurs $\xi$ et spécifications de l'ODD.
  • Fonction : Détermine si l'agent est certifié pour agir dans l'état actuel du monde et définit l'enveloppe d'autonomie (par exemple, limites de vitesse, actions autorisées).
  • Contrat : En supposant que le plan a passé la Couche Utilisateur ($A_O \equiv \Gamma_U$), la couche garantit que l'exécution reste dans l'ODD ($W_{ODD}$) et que les sous-plans violant les contraintes de l'ODD sont bloqués ($\Gamma_O$).
  • Mécanisme : Recourt à des vérifications de validité déterministes sur les estimations de l'état du monde pour assurer l'auditabilité, en gérant l'incertitude probabiliste en amont.

• Couche 3 : Couche d'Assurance Fonctionnelle ($\Sigma_F$)

  • Ensemble d'Informations ($I_F$) : Trajectoires d'état complètes $x(t)$, entrées de commande $u(t)$ et dynamiques du système.
  • Fonction : Fait respecter la sécurité à la fréquence de la boucle de contrôle pendant l'actionnement.
  • Contrat : En supposant la validité de la Couche Opérationnelle ($A_F \equiv \Gamma_O$), la couche garantit l'absence de collisions et le respect des contraintes physiques (par exemple, limites de force) ($\Gamma_F$).
  • Mécanisme : Combine une surveillance temps réel basée sur les spécifications (Logique Temporelle de Signal), des Fonctions de Barrière de Contrôle (CBF) pour une intervention minimale, et une synthèse basée sur la simulation.

Bornes de Sécurité Compositionnelles :
La probabilité de sécurité au niveau du système est dérivée via la règle de chaîne des probabilités. Puisque $\Gamma_U \implies A_O$ et $\Gamma_O \implies A_F$, la probabilité de sécurité du système est :
$$Pr(\text{sûr}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
où $p_{O|U}$ et $p_{F|OU}$ sont des probabilités conditionnelles reflétant l'efficacité du filtrage en amont. L'article fournit quatre caractérisations de cette borne (B1–B4), allant des bornes inférieures conservatrices de Fréchet–Bonferroni (n'utilisant que les marginales) à la décomposition exacte par règle de chaîne (B4), qui permet une certification modulaire, couche par couche.

3. Contributions Clés

• Argument Structurel pour Trois Couches : L'article fournit une preuve formelle (Annexe B) démontrant que trois étapes indépendamment certifiées sont structurellement nécessaires. Il démontre que toute architecture comportant moins de trois couches doit soit violer la chronologie causale de la disponibilité des informations (par exemple, certifier la sécurité opérationnelle avant que les données de capteurs n'existent), soit reconstruire implicitement la structure à trois étapes au sein d'un seul composant, perdant ainsi la vérifiabilité compositionnelle.
• Décomposition Pilotée par l'Information : Contrairement aux taxonomies antérieures basées sur des artefacts de pipeline (par exemple, objectifs, plans, outils), cette architecture est pilotée par l'ordre temporel de la disponibilité de l'information ($I_U \subset I_O \subset I_F$). Cette distinction garantit que les certifications reposent sur le domaine d'information correct à chaque étape.
• Cadre Probabiliste Assume–Guarantee : L'article adapte les contrats A/G à la nature non stationnaire et non i.i.d. des agents LLM. Il va au-delà des garanties binaires pour atteindre des bornes probabilistes, reconnaissant que les sorties des LLM sont intrinsèquement stochastiques et que les environnements sont incertains.
• Boucle d'Assurance Bidirectionnelle : L'architecture est conçue comme une boucle en direct où les signaux de sécurité ($s_F, s_O$) se propagent de bas en haut. Si une couche inférieure détecte une violation (par exemple, un risque de collision), elle déclenche un recalcul du plan au niveau de la Couche Utilisateur, plutôt que de simplement arrêter l'exécution.

4. Résultats et Analyse

En tant que papier de position, l'ouvrage ne présente pas de nouveaux benchmarks empiriques mais synthétise la littérature existante pour étayer ses affirmations structurelles :

• Cohérence des Benchmarks : L'article note que les agents actuels (par exemple, sur AgentSafetyBench) échouent de manière significative en matière de sécurité comportementale et environnementale (30,4 %) par rapport à la sécurité du contenu (68,4 %), ce qui s'aligne avec l'argument selon lequel des gardes sémantiques à une seule couche sont insuffisantes.
• Bornes Théoriques : L'article dérive les bornes mathématiques (B1–B4) pour la sécurité du système. Il illustre, via un exemple en cours (un robot aidant), que la borne par règle de chaîne (B4) peut produire des probabilités de sécurité significativement plus élevées (par exemple, 0,857) par rapport à un produit naïf de marginales (0,787) si le filtrage en amont est efficace.
• Analyse de Sensibilité : L'analyse montre que le système est sensible à la couche la plus faible ; une dégradation de la probabilité d'une couche dégrade multiplicalement la borne globale du système, et aucun renforcement des autres couches ne peut compenser un écart dans l'une d'elles.

5. Importance et Problèmes Ouverts

L'article affirme que l'architecture à trois couches proposée constitue la structure de certification minimale viable pour le déploiement sûr d'agents LLM. Il soutient que le domaine produit actuellement des mécanismes de sécurité plus rapidement que l'infrastructure théorique nécessaire pour les composer et les certifier.

L'article identifie explicitement trois problèmes ouverts qui doivent être résolus pour passer de ce cadre théorique à une norme déployable :

1. Estimation de Bornes à partir de Traces Non-I.I.D. : Les méthodes statistiques standard (comme les bornes PAC) échouent car les traces LLM sont non stationnaires et dépendantes. De nouvelles méthodes (par exemple, bornes de martingale, prédiction conforme pour des données non échangeables) sont nécessaires pour estimer les probabilités conditionnelles $p_{O|U}$ et $p_{F|OU}$.
2. Dégradation Gracieuse en Cas de Dérive de Déploiement : Les contrats actuels sont fragiles ; si les hypothèses sont violées, les garanties deviennent vides. L'article propose des « contrats robustes » permettant une dégradation proportionnelle des garanties lorsque les hypothèses sont légèrement violées, permettant une opération contrôlée lors de décalages distributionnels.
3. Extension aux Environnements Multi-Agents : Le cadre actuel traite des agents individuels. Les systèmes multi-agents introduisent de nouveaux modes de défaillance (par exemple, manipulation des croyances inter-agents) nécessitant un quatrième domaine d'information (provenance des messages inter-agents) et une structure de certification révisée.

En conclusion, l'article affirme que le déploiement sûr d'agents LLM n'est pas simplement un défi d'ingénierie consistant à construire des barrières de sécurité plus solides, mais une exigence structurelle pour une architecture par étapes basée sur des contrats, respectant l'ordre causal de l'information. Le cadre proposé fournit la fondation théorique nécessaire à une certification de sécurité modulaire et compositionnelle dans des environnements dynamiques et incertains.