🤖 AI

A Theory of Least Autonomy in AI

Cet article propose le concept de « moindre autonomie » comme une généralisation nécessaire du principe du moindre privilège pour les systèmes d'IA agentiques, introduisant une théorie formelle qui combine des métriques de rayon d'impact compositionnel, des graphes d'influence d'agents dirigés et des prédicats de collusion pour détecter et contrôler les compositions d'autorisation complexes et les manipulations de capacités trans-domaines.

Auteurs originaux : Christophe Parisel

Publié 2026-07-14

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Christophe Parisel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un immense immeuble de bureaux de haute technologie où les agents de sécurité avaient autrefois une règle simple : « Ne donnez à personne une clé d'une pièce dont il n'a pas besoin. » C'est ce qu'on appelle le Moindre Privilège. Pendant des décennies, cela a très bien fonctionné pour les humains et les robots simples. Si un agent d'entretien avait besoin de nettoyer les toilettes, on lui donnait une clé des toilettes. S'il n'avait pas besoin du coffre-fort, on ne lui donnait pas la clé du coffre-fort. Simple, n'est-ce pas ?

Mais maintenant, nous avons construit l'IA Agentique — des travailleurs numériques intelligents et autonomes qui ne se contentent pas d'ouvrir des portes ; ils peuvent frapper à d'autres portes, demander à d'autres travailleurs d'ouvrir des choses, et combiner leurs petites clés pour déverrouiller de gigantesques portes secrètes auxquelles ils n'avaient pas accès seuls. L'ancienne règle du « une clé, une pièce » ne suffit plus.

Voici entré le Moindre Autonomie, une nouvelle théorie proposée par le chercheur Christophe Parisel dans un article daté du 14 juillet 2026. C'est comme mettre à niveau le système de sécurité en passant de la question « Qui possède la clé ? » à « Qui peut s'associer pour faire s'effondrer tout le bâtiment ? »

Le nouveau danger : Le « Rayon d'action » (Blast Radius)

L'article suggère que nous devons mesurer quelque chose appelé le Rayon d'action compositionnel. Considérez cela comme un compteur de « distance de danger ».

Imaginez que l'immeuble de bureaux est un arbre géant. Les racines sont le PDG, les branches sont les départements (comme la Finance ou l'Ingénierie), et les feuilles sont des fichiers ou des outils spécifiques. L'article utilise un tour de magie mathématique (un arbre ultramétrique) pour mesurer la distance entre deux actions sur cet arbre.

Si deux actions se produisent dans la même petite pièce, la distance est de zéro.
Si une action se déroule dans la branche « Finance » et l'autre dans « Ingénierie », la distance est plus grande.
S'ils sont dans des bâtiments complètement différents (comme « Opérations » versus « Siège social »), la distance est énorme.

Mais il ne s'agit pas seulement de distance. L'article ajoute une « étiquette de sensibilité » à chaque pièce. Certaines pièces sont simplement « Standards » (risque faible), tandis que d'autres sont à « Haute Intégrité » (ne pas toucher aux chiffres) ou à « Haute Confidentialité » (ne pas laisser fuiter de secrets). La théorie combine la distance et les étiquettes de sensibilité pour calculer un multiplicateur (allant de 1,00 à 2,00).

Ainsi, le « Rayon d'action » n'est pas seulement la distance entre deux actions ; c'est la distance entre elles pondérée par leur dangerosité. Si une action à faible risque en Finance se combine avec une action à haut risque en Ingénierie, le « rayon d'action » de cette combinaison reçoit un score élevé.

La « Rencontre » et le « Graphe d'Influence »

C'est ici que cela devient complexe. L'article soutient que nous ne pouvons pas simplement regarder ce qu'un agent IA peut faire seul. Nous devons regarder avec qui il peut communiquer.

Les auteurs introduisent l'idée de Rencontre (Meeting).

Rencontre de Ressources : L'Agent A écrit une note sur un tableau blanc, et l'Agent B lit ce même tableau blanc. Ils se sont « rencontrés » au tableau blanc.
Renction Agent-à-Agent (A2A) : L'Agent A et l'Agent B ont un canal de discussion direct. L'article est très conservateur ici : même si la discussion semble unidirectionnelle, les auteurs supposent que l'Agent B pourrait d'une manière ou d'une autre influencer l'Agent A en retour (peut-être en envoyant un message piégé ou un résultat d'outil trompeur). Ils traitent donc cela comme une rue à double sens.

Une fois que nous savons qui s'est « rencontré », nous calculons un Potentiel d'Influence. Il s'agit d'un score de la « portée structurelle » que leurs actions combinées couvrent. Si l'Agent A écrit à un coffre-fort sensible et que l'Agent B lit un rapport sensible, et qu'ils se sont rencontrés, leur potentiel d'influence est élevé.

Ensuite, nous dessinons une carte appelée le Graphe d'Influence. Nous ne traçons une ligne (un arc) entre deux agents que si :

Ils ont eu une « Rencontre ».
Leur Potentiel d'Influence est supérieur à un certain Seuil ( $\theta$ ).

L'article précise soigneusement que ce seuil ( $\theta$ ) n'est pas un nombre magique trouvé par un ordinateur. C'est un choix de politique fait par un responsable de la sécurité humaine, calibré par rapport à un « catalogue » de toutes les combinaisons d'actions possibles dans l'entreprise.

Le piège de la « Collusion »

La partie la plus effrayante de la théorie est le Prédicat de Collusion. C'est un test pour voir si un groupe d'agents pourrait s'associer pour faire quelque chose de mal, même si aucun agent seul ne fait rien de mal en soi.

L'article identifie trois façons dont les agents peuvent « colluder » dans ce graphe :

Composition d'Autorisation : L'Agent A a le pouvoir d'approuver une requête, et l'Agent B a le pouvoir d'exécuter cette requête. Si A peut influencer B (ou vice versa), ils peuvent contourner les règles.
Manipulation de Décision : L'Agent A peut influencer l'Agent B, et l'Agent B a le pouvoir d'approuver quelque chose. A peut tromper B pour qu'il approuve une mauvaise décision.
Exposition Trans-Domaine : L'Agent A peut atteindre le domaine « Finance », et l'Agent B peut atteindre le domaine « Ingénierie ». S'ils sont connectés dans le graphe, ils pourraient accidentellement (ou malicieusement) mélanger ces deux mondes d'une manière que les règles interdisaient.

Ce que l'article exclut (Les « Zones d'Interdiction »)

Il est crucial de comprendre ce que cette théorie ne fait pas.

Ce n'est PAS un moniteur d'exécution (runtime). L'article stipule explicitement qu'il s'agit d'une analyse statique lors de la conception. C'est comme vérifier les plans d'un bâtiment avant de le construire. Il ne surveille pas les agents en temps réel pour voir s'ils communiquent réellement. Il dit simplement : « Si les plans ressemblent à ceci, il y a un risque. »
Il ne prouve pas qu'un crime a été commis. Trouver un « témoin de collusion » dans le graphe ne signifie pas que les agents ont fait quoi que ce soit de mal. Cela signifie simplement que la configuration le permet. C'est un « signal d'alarme » pour que les ingénieurs de sécurité examinent les permissions.
Il ne se soucie pas du « comment » de l'action. L'article admet qu'une action de « lecture » et une action de « suppression » sur le même fichier ont la même « distance structurelle » (zéro) dans leur mathématique. La théorie se concentre sur la structure des permissions, et non sur le type spécifique d'opération (comme savoir s'il s'agit d'une suppression destructrice ou d'une lecture inoffensive).

Le Verdict : Un nouveau filet de sécurité

L'article conclut que le Moindre Privilège est toujours nécessaire, mais qu'il est insuffisant pour ces agents IA intelligents et connectés. Vous pouvez donner à un agent ses permissions « minimales », mais si cet agent peut parler à un autre agent qui possède des permissions minimales différentes, ils peuvent se combiner pour créer une permission « maximale » que personne n'avait prévue.

Les auteurs proposent le Moindre Autonomie comme une règle complémentaire. Elle demande : « Quel est le rayon d'action maximal d'autorité que cet agent pourrait jamais atteindre, même à travers une chaîne d'amis ? »

L'article fournit un guide étape par étape pour que les ingénieurs de sécurité construisent ce modèle :

Cartographier l'arbre de l'entreprise et étiqueter la sensibilité de chaque nœud.
Lister toutes les actions possibles.
Définir un seuil ( $\theta$ ) basé sur la tolérance au risque de l'entreprise.
Dessiner le graphe d'influence.
Rechercher des « témoins de collusion ».

Si le graphe montre un risque de collusion, les ingénieurs doivent redessiner le flux de travail, changer les permissions ou abaisser le seuil. L'article suggère que c'est un moyen de détecter des risques « invisibles » que les vérifications de permissions standards manquent, mais il admet que le modèle dépend fortement de la précision des données d'entrée (l'arbre, les étiquettes et les définitions de rencontre).

En bref, l'article suggère que dans un monde d'agents IA, nous ne pouvons pas nous contenter de vérifier qui détient les clés. Nous devons vérifier qui peut frapper à la porte de qui et ce qui se passe lorsque leurs coups à la porte se combinent. C'est une nouvelle façon de penser la sécurité, une approche qui traite l'ensemble du réseau d'agents comme un organisme unique, potentiellement dangereux, qui doit être maîtrisé.

Résumé Technique : Une Théorie du Moindre Autonomie pour l'IA

1. Énoncé du Problème

Le principe du Moindre Privilège, établi dans les années 1970, dicte qu'une identité ne doit détenir que les permissions strictement nécessaires à sa tâche. Bien qu'efficace pour les utilisateurs humains et les processus logiciels statiques, cet article soutient que le Moindre Privilège est insuffisant pour les systèmes d'IA agentiques.

Contrairement aux acteurs passifs, les systèmes agentiques possèdent des capacités dynamiques : ils peuvent séquencer des actions, déléguer des tâches, transformer des sorties et déclencher des flux de travail à travers les frontières des systèmes. Par conséquent, une configuration où les permissions individuelles semblent anodines isolément peut créer un risque significatif lorsqu'elles sont combinées. Deux propriétés spécifiques des systèmes agentiques exacerbent ce phénomène :

Le Rôle de Gardien (Gatekeeping) : Un agent peut ne pas avoir d'accès direct à des données sensibles, mais conserver l'autorité pour approuver ou permettre l'accès d'un autre principal.
La Composition : La portée opérationnelle d'un agent peut dépendre non seulement de ses propres permissions, mais aussi des actions d'autres agents qu'il peut influencer.

Les revues de permissions par permission échouent à capturer l'« exposition d'autorité » découlant de ces interactions multi-agents, nécessissant ainsi un passage de l'analyse des permissions statiques à l'analyse de l'autonomie.

2. Méthodologie et Cadre Formel

L'article propose une théorie formelle du Moindre Autonomie, structurée en trois couches : la couche Action, la couche Agent et la couche Système.

2.1 La Couche Action : Rayon d'Action Compositionnel

Le cadre modélise le système d'information de l'entreprise comme un arbre enraciné $T$ (une hiérarchie ultramétrique) où les nœuds feuilles représentent des ressources et les nœuds internes représentent des périmètres organisationnels.

Lattice de Sensibilité : Chaque nœud se voit assigner une étiquette locale $\ell(v) = (flow, axes)$ , où $flow \in \{\emptyset, GK, Ac\}$ (représentant l'absence de flux, le rôle de Gardien ou d'Accesseur) et $axes \subseteq \{C, I\}$ (Confidentialité, Intégrité).
Étiquettes Accumulées par Chemin : Les étiquettes sont propagées vers le haut de l'arbre via un opérateur de jointure $\otimes$ , accumulant la sensibilité le long du chemin allant de la racine vers une ressource.
Rayon d'Action ( $d(a, b)$ ) : Une distance pseudo-ultramétrique est définie entre deux actions $a$ et $b$ . Elle combine la distance structurelle dans la hiérarchie (basée sur la profondeur du Plus Petit Ancêtre Commun) avec un multiplicateur dérivé des étiquettes de sensibilité des nœuds de ressources des actions. Cette métrique quantifie l'« étendue structurelle » d'une interaction potentielle.

2.2 La Couche Agent : Graphe d'Influence

La théorie élève les métriques de niveau action au niveau de l'agent en utilisant un Graphe d'Influence d'Agents Dirigé $G(\theta)$ .

Rencontres (Meetings) : Un arc entre les agents $U$ $U$ et $V$ $V$ est fondé sur une « rencontre », définie soit par :
1. Une Rencontre de Ressource Dirigée : $U$ peut écrire sur une ressource que $V$ peut lire.
2. Une Rencontre A2A Non-Dirigée : $U$ et $V$ ont un chemin de communication configuré (traité de manière conservatrice comme bidirectionnel pour tenir compte de l'influence inverse via les prompts ou les artefacts).
Potentiel d'Influence ( $\Phi$ ) : Pour qu'une rencontre génère un arc, le rayon d'action maximal entre les ensembles d'actions concernés (ex: les écritures de $U$ et les lectures de $V$ ) doit atteindre ou dépasser un seuil de politique $\theta$ .
Autonomie Effective : Définie comme l'ensemble de toutes les actions assignées à un agent plus les actions de tout agent atteignable via des chemins dirigés dans $G(\theta)$ . Cela représente une abstraction conservatrice de l'exposition des capacités.

2.3 La Couche Système : Prédicat de Collusion

Le cadre définit un Prédicat de Collusion pour détecter les compositions multi-agents préjudiciables. Un ensemble d'agents $S$ est signalé comme colludant si deux agents distincts $U, V \in S$ satisfont une accessibilité dirigée dans $G(\theta)$ ET remplissent l'une des trois conditions suivantes :

Composition d'Autorisation : $U$ possède une autorité de gardien sur une ressource que $V$ accède ($Gates(U, V)$).
Manipulation de Décision : $V$ possède une autorité de gardien sur une ressource que $U$ accède ($Gates(V, U)$).
Exposition Trans-Domaine : $U$ et $V$ peuvent influencer des agents qui détiennent des capacités dans des domaines de sécurité séparés (ex: Finance vs Ingénierie).

3. Principales Contributions

L'article apporte trois contributions majeures :

Rayon d'Action Compositionnel : Une métrique formelle combinant une hiérarchie d'entreprise ultramétrique avec une structure de sensibilité à valeurs de treillis pour mesurer la séparation structurelle entre les actions.
Graphe d'Influence Dirigé et Prédicat de Collusion : Un modèle graphique où les arcs sont conditionnés par des rencontres de ressources ou de communication et un seuil de politique $\theta$ . Cela inclut un mécanisme pour détecter la composition d'autorisation, la manipulation de décision et la composition de capacité trans-domaine.
Procédure de Conception : Une méthodologie étape par étape permettant aux ingénieurs de sécurité de traduire le modèle en pratique, incluant le calibrage du seuil $\theta$ et d'un budget d'autonomie individuelle $\tau_{aut}$ .

4. Résultats et Exemple Illustratif

L'article fournit une procédure de conception étape par étape et un exemple illustratif impliquant une hiérarchie d'entreprise avec les domaines Finance, Ingénierie, Conformité et Juridique.

Calibrage : L'exemple démontre comment sélectionner $\theta$ en se basant sur un « profil de rayon de catalogue » (la distribution des rayons d'action dans le système) pour distinguer les interactions à faible impact des interactions à haut impact.
Scénarios de Détection : L'exemple identifie avec succès :
- Dépassements de Budget Individuel : Des agents dont l'autonomie directe ou effective dépasse le rayon d'action autorisé ( $\tau_{aut}$ ).
- Collusion : Des paires d'agents où l'influence dirigée combinée à des rôles de gardien crée un risque (ex: un agent influençant un gardien qui, à son tour, autorise l'accès à une ressource que le premier agent peut lire).
- Différenciation : L'exemple distingue l'« influence matérielle » (atteignant le seuil mais ne colludant pas) des configurations « positives pour la collusion », montrant comment le cadre isole des vecteurs de risque spécifiques.

5. Signification et Revendications

L'article positionne le Moindre Autonomie non pas comme un remplacement du Moindre Privilège, mais comme un critère de conception complémentaire.

Analyse Statique : Le cadre est un outil d'analyse statique, de conception ; il identifie les configurations qui justifient un examen mais ne prétend pas prouver la provenance, l'autorité de commande ou les traces d'exécution réalisées.
Abstraction Conservatrice : Le modèle est intentionnellement conservateur. Il traite les chemins d'influence potentiels comme des expositions de capacités dans le pire des cas. Un résultat positif indique une configuration qui nécessite une revue de politique, une médiation au runtime ou une refonte, plutôt que de confirmer une attaque active.
Portée : La théorie traite le défi spécifique de la manière dont les permissions distribuées entre plusieurs agents peuvent se combiner à travers différents périmètres organisationnels et domaines de sécurité, une lacune non couverte par le contrôle d'accès basé sur les rôles (RBAC) traditionnel ou les systèmes d'autorisation d'outils d'exécution.

L'article conclut que bien que le Moindre Privilège reste nécessaire, il ne peut caractériser l'exposition d'autorité inhérente aux systèmes d'IA agentiques. La théorie proposée offre une méthode structurée pour identifier et auditer ces interactions multi-agents à haut impact.