🤖 AI

The Two Boundaries: Why Behavioral AI Governance Fails Structurally

Cet article soutient que la gouvernance comportementale de l'IA échoue structurellement car il est indécidable de vérifier les effets arbitraires d'un programme par rapport à des politiques (selon le théorème de Rice), et propose une « gouvernance coextensive » — une séparation architecturale du calcul et de ses effets où la gouvernance est intégrée dans le pipeline d'exécution — comme seule solution pour éliminer les risques et inefficacités inévitables causés par un désalignement entre les capacités et les limites des politiques.

Auteurs originaux : Alan L. McCann

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Alan L. McCann

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème Central : Le Décalage des « Deux Frontières »

Imaginez que vous avez un robot très puissant capable de faire presque n'importe quoi : envoyer des e-mails, déplacer de l'argent ou modifier des enregistrements de base de données. Pour le garder en sécurité, vous érigez une clôture (la gouvernance) pour lui indiquer ce qu'il a le droit de faire.

Le papier soutient que dans presque tous les systèmes d'IA construits aujourd'hui, il existe deux clôtures différentes qui ne correspondent pas :

La Clôture des Capacités (Ce que le robot peut faire) : Elle est déterminée par les outils et le code du robot. Si le robot possède un outil pour envoyer des e-mails, il peut envoyer des e-mails.
La Clôture des Règles (Ce que le robot a le droit de faire) : Elle est déterminée par les règles de sécurité et les filtres que vous avez écrits.

Le Problème : Ces deux clôtures ne sont presque jamais de la même taille ou de la même forme.

La « Zone de Risque » (Capacité non gouvernée) : Parfois, le robot possède un outil qu'il peut utiliser, mais vos règles ne couvrent pas cet outil spécifique. C'est comme si le robot avait une porte dérobée secrète que votre garde de sécurité ignore. Le robot s'infiltre et des choses mauvaises se produisent.
La « Zone de Théâtre » (Théâtre de la gouvernance) : Parfois, vos règles sont très strictes concernant des choses que le robot ne peut pas faire. C'est comme avoir un garde de sécurité qui vérifie la capacité de « voler » alors que le robot n'a pas d'ailes. Vous gaspillez de l'énergie à surveiller des choses qui sont impossibles, tandis que les vrais dangers (les portes dérobées) restent ouverts.

Le papier indique que tenter de résoudre ce problème en ajoutant plus de gardes ou plus de règles ne fait qu'agrandir le « Théâtre » et réduire légèrement le « Risque », mais cela ne comble jamais l'écart.

Pourquoi Vous Ne Pouvez Pas Simplement « Surveiller » le Robot (Le Problème Mathématique)

Vous pourriez penser : « Pourquoi ne pas simplement construire un moniteur super-intelligent qui surveille le robot et l'arrête s'il fait quelque chose de mal ? »

Le papier utilise une célèbre règle mathématique appelée le Théorème de Rice pour expliquer pourquoi cela est impossible pour une IA intelligente et flexible.

L'Analogie : Imaginez que vous essayez de prédire la fin d'un film en regardant uniquement le scénario. Si le film est court et simple, vous pouvez deviner la fin. Mais si le film est une histoire infinie et complexe qui change en fonction du public, aucun algorithme ne peut prédire la fin avec une certitude de 100 % avant que le film ne soit projeté.
Le Résultat : Parce que l'IA est si flexible (elle peut écrire son propre code et combiner des outils de nouvelles manières), vous ne pouvez pas prouver mathématiquement à l'avance qu'une action spécifique sera sûre. Vous ne pouvez que deviner. Et parce que vous ne pouvez que deviner, il y aura toujours une chance que le robot fasse quelque chose de mal que votre moniteur n'aura pas vu.

La Solution : Le « Preneur de Commandes » contre le « Chef »

Le papier propose une correction structurelle. Au lieu d'essayer de surveiller le robot et de l'empêcher de faire des choses mauvaises, vous changez la façon dont le robot est construit.

L'Ancienne Façon (Gouvernance Comportementale) :
Le robot est un Chef qui a un accès direct à la cuisinière, aux couteaux et au gaz. Vous vous tenez à côté de lui avec un bloc-notes, en criant « Stop ! » s'il tend la main vers le mauvais ingrédient.

Défaut : Le Chef peut saisir le gaz avant que vous ne puissiez crier, ou il peut trouver un nouveau moyen de cuisiner que vous n'avez pas noté sur votre bloc-notes.

La Nouvelle Façon (Gouvernance Structurelle / Gouvernance Coterminale) :
Vous séparez le Chef de la Cuisine.

Le Chef (Calcul) : L'IA n'a le droit que de penser et d'écrire une recette (une « directive »). Elle ne peut pas toucher à la cuisinière, aux couteaux ou au gaz. Elle n'a pas de mains physiques.
Le Preneur de Commandes (Frontière de Gouvernance) : Un système séparé et strict reçoit la recette. Il vérifie : « Cette recette contient-elle les bons ingrédients ? Est-elle sûre ? »
- Si oui, le Preneur de Commandes entre dans la cuisine et prépare le repas.
- Si non, le Preneur de Commandes jette la recette.

Pourquoi cela fonctionne :

L'IA ne peut pas faire de mal car elle n'a littéralement pas les outils pour toucher au monde.
Chaque action doit passer par le Preneur de Commandes.
Il n'y a pas de « Zone de Risque » car l'IA n'a pas de portes dérobées secrètes.
Il n'y a pas de « Zone de Théâtre » car le Preneur de Commandes ne vérifie que les recettes qui peuvent réellement être cuisinées.

Pourquoi la « Surveillance » Ne Suffit Pas

Le papier explique également pourquoi se contenter de « journaliser » ou d'enregistrer ce que fait l'IA ne compte pas comme une gouvernance.

L'Analogie : Imaginez une caméra de sécurité dans une banque. Si la caméra voit un voleur, elle enregistre le crime. Mais la caméra n'a pas empêché le vol.
Les Mathématiques : Si une caméra attrape 99 % des vols, cela semble formidable. Mais si la banque effectue 1 000 transactions par jour, la probabilité qu'au moins un vol passe à travers l'écart de 1 % est presque de 100 %.
Le Point : Vous devez arrêter l'action avant qu'elle ne se produise, pas simplement l'enregistrer après.

La Conclusion

Le papier conclut que pour gouverner véritablement l'IA, vous ne pouvez pas simplement ajouter plus de filtres ou de règles par-dessus les systèmes existants. Vous devez reconstruire le système afin que l'IA ne puisse que demander des choses, et qu'un gardien séparé et strict décide si ces choses se produisent.

Si les frontières correspondent : L'IA est sûre par conception (Gouvernance Structurelle).
Si les frontières ne correspondent pas : Vous aurez toujours un certain risque et un certain gaspillage d'efforts, peu importe le nombre de règles que vous ajoutez (Gouvernance Comportementale).

Les auteurs l'ont prouvé mathématiquement en utilisant du code informatique (Coq) pour montrer que cette approche du « Preneur de Commandes » est la seule façon de garantir que chaque action est gouvernée.

1. Énoncé du Problème

L'article traite de l'échec structurel fondamental des cadres de gouvernance de l'IA actuels concernant les effets de l'IA (actions réalisées dans le monde, telles que les appels d'API, les écritures de bases de données et les invocations d'outils).

Les Deux Frontières : Tout système ayant des effets possède deux frontières distinctes :
1. Frontière d'Expressivité : Définie par l'architecture du système (langages, API, outils), elle représente tout ce que le système peut faire.
2. Frontière de Gouvernance : Définie par les politiques et la surveillance, elle représente tout ce que le système a le droit de faire.
La Divergence : Dans les déploiements actuels, ces frontières sont définies indépendamment, créant trois régions :
1. Capacité Gouvernée (Chevauchement) : La seule région fonctionnelle où les capacités sont couvertes par la politique.
2. Capacité Non Gouvernée (Risque) : Des capacités que le système peut exécuter mais qui manquent de couverture de gouvernance (par exemple, l'exfiltration de données via des canaux latéraux non surveillés).
3. Théâtre de Gouvernance : Des politiques traitant de capacités que le système ne possède pas (par exemple, filtrer les numéros de carte de crédit dans les e-mails lorsque le système n'a aucun accès aux données de cartes de crédit).
Le Problème Central : La gouvernance comportementale (filtres de contenu, RLHF, surveillance) tente de combler ce fossé en ajoutant des couches a posteriori. Cependant, parce que les agents d'IA possèdent une expressivité dynamique et turing-complète, la frontière de gouvernance ne peut jamais correspondre structurellement à la frontière d'expressivité par des moyens comportementaux seuls.

2. Méthodologie et Fondement Théorique

L'article utilise des méthodes formelles et l'informatique théorique pour analyser le problème de gouvernance.

Théorème de Rice (1953) : L'outil théorique central. Le théorème de Rice stipule que pour toute propriété sémantique non triviale d'un programme turing-complet, il est indécidable si un programme arbitraire possède cette propriété.
- Application : La propriété « les effets de ce programme respectent-ils la politique P ? » est une propriété sémantique non triviale. Par conséquent, aucun algorithme ne peut généralement décider si un agent d'IA turing-complet arbitraire violera une politique de gouvernance.
Vérification Formelle : Les affirmations sont mécanisées dans Coq (454 théorèmes répartis sur 36 modules, zéro lemme admis). Cela fournit une certitude mathématique concernant les propriétés structurelles de la solution proposée.
Analyse Architecturale : L'article oppose les approches « comportementales » (analyse des sorties) aux approches « structurelles » (séparation architecturale des préoccupations).

3. Contributions Clés

A. L'Impossibilité de la Gouvernance Comportementale des Effets

L'article démontre que la gouvernance comportementale est structurellement insuffisante pour le contrôle des effets dans les systèmes turing-complets.

Les filtres de contenu, le RLHF et l'IA constitutionnelle opèrent sur des propriétés sémantiques (ce que le modèle dit ou intènd).
Parce que l'espace des actions possibles est combinatoire et turing-complet, les approches comportementales ne peuvent produire que des approximations (faux positifs/négatifs).
La surveillance est insuffisante car elle constitue un système séparé ; elle observe mais ne contrôle pas, entraînant des lacunes de couverture inévitables qui s'accumulent de manière exponentielle avec le nombre d'actions.

B. L'Alternative Structurelle : Séparation du Calcul et de l'Effet

L'article propose un changement architectural radical : Séparer le Calcul de l'Effet.

Couche de Calcul : Code pur produisant des directives (données structurées décrivant les effets intentionnels) mais incapable de réaliser des E/S.
Frontière de Gouvernance : Une couche unique et obligatoire qui reçoit les directives, les valide par rapport à la politique (vérification syntaxique) et exécute l'effet.
Résultat : La gouvernance devient une fonction de la directive (syntaxe), et non du programme (sémantique). Puisque les directives sont des données structurées, leurs propriétés sont décidables par construction.

C. Gouvernance Coterminale

L'article définit la Gouvernance Coterminale comme l'état où la Frontière d'Expressivité égale la Frontière de Gouvernance.

Définition : Un système satisfait la gouvernance coterminale si (1) chaque effet exprimable passe par une frontière de gouvernance (Sécurité), et (2) les primitives sont suffisamment expressives pour cibler les calculs souhaités (Suffisance).
Propriétés :
- Aucune Région Non Gouvernée : Rien ne échappe à la gouvernance par construction.
- Aucune Région de Théâtre : Chaque politique correspond à une capacité réelle.
- Raisonnement Compositionnel : Si les composants A et B sont gouvernés, leur composition est automatiquement gouvernée.
- Intelligibilité Intrinsèque : Le registre de gouvernance est le registre d'exécution lui-même.

D. Conséquences en Matière d'Efficacité

Gouvernance Comportementale : Coût additif. Chaque couche (filtre, moniteur) ajoute une latence et un calcul proportionnels au débit ( $k \times$ débit).
Gouvernance Structurelle : Subsume l'infrastructure. Les vérifications de gouvernance font partie du pipeline d'exécution. Le coût est linéaire avec le débit uniquement, sans système séparé à maintenir.
Données Empiriques : Sur Apple Silicon, la surcharge d'exécution gouvernée a été mesurée à 0,23 ms médiane (contre 0,24 ms pour une exécution non gouvernée), prouvant que la gouvernance structurelle est indiscernable de la vitesse d'exécution native.

4. Résultats

Preuve Théorique : Le théorème de Rice confirme que la gouvernance comportementale des agents turing-complets est indécidable dans le cas général.
Vérification Formelle : Les preuves Coq démontrent que le « Principe de Séparation » proposé génère un système où les théorèmes de Sécurité et de Suffisance tiennent, assurant des frontières coterminales.
Performance : La gouvernance structurelle introduit une latence négligeable par rapport aux couches comportementales, qui s'avèrent peu évolutives à mesure que le nombre de couches de gouvernance augmente.
Modes de Défaillance : L'article démontre que sans séparation structurelle, le « Risque » (capacités non gouvernées) et le « Théâtre » (politiques pour des capacités inexistantes) sont structurellement inévitables.

5. Signification et Implications

Changement de Paradigme : L'article soutient que la sécurité de l'IA ne peut être obtenue en « patchant » les architectures existantes avec plus de filtres ou de moniteurs. Elle nécessite une ré-architecture fondamentale où les effets ne sont pas des capacités directes du code mais sont médiatisés par une frontière gouvernée.
Distinction des Niveaux : Il clarifie que la Gouvernance du Contenu (façonner ce que les LLM disent) et la Gouvernance des Effets (contrôler ce que les agents font) sont des problèmes distincts nécessitant des mécanismes différents. La gouvernance du contenu est comportementale ; la gouvernance des effets doit être structurelle.
Politique vs Application : L'article souligne que la gouvernance structurelle garantit l'application d'une politique avec une certitude mathématique, mais ne garantit pas la justesse de la politique elle-même. La conception des politiques reste un problème de jugement humain.
Limites Pratiques : Cette approche nécessite une ré-architecture complète des cadres d'agents existants (qui mélangent actuellement les E/S et la logique). Elle ne peut pas être adaptée rétroactivement sous forme de bibliothèque. Elle impose également une discipline aux développeurs (calcul pur vs directives) qui peut affecter la vitesse de prototypage.

Conclusion

« Les Deux Frontières » conclut que pour les systèmes d'IA dotés d'agence, la sécurité structurelle est le seul chemin vers un risque résiduel nul. Les approches comportementales peuvent réduire le risque mais ne peuvent éliminer la « région non gouvernée » en raison de l'indécidabilité des propriétés sémantiques dans les systèmes turing-complets. La Gouvernance Coterminale, obtenue en séparant le calcul de l'effet, est le critère architectural nécessaire pour garantir que chaque action entreprise par une IA est gouvernée de manière prouvable.