🤖 AI

Governed Metaprogramming for Intelligent Systems: Reclassifying Eval as a Governed Effect

Ce papier propose la « métaprogrammation gouvernée », une conception de langage qui reclasse le primitif `eval` non restreint en un effet gouverné nécessitant une inspection structurelle et une conformité aux politiques avant de matérialiser des formes symboliques en code exécutable, assurant ainsi la sécurité et le contrôle des autorités dans les systèmes d'IA auto-modifiables.

Auteurs originaux : Alan L. McCann

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alan L. McCann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent capable d'écrire ses propres instructions. Il peut examiner un problème, y réfléchir, puis taper un nouvel ensemble de règles à suivre pour lui-même.

Dans l'ancien monde de la programmation, si ce robot écrivait un nouvel ensemble de règles, l'ordinateur se contentait de dire : « D'accord, je les exécute immédiatement. » Il ne demandait pas : « Attendez, ces règles sont-elles sûres ? Tentent-elles de voler votre mot de passe bancaire ? Tentent-elles de supprimer vos fichiers ? » L'ordinateur traitait l'acte de transformer des mots écrits en action comme un bouton magique qui fonctionnait toujours.

Ce document soutient que, pour les systèmes d'IA capables de se réécrire, ce « bouton magique » est dangereux. L'auteur, Alan L. McCann, propose une nouvelle façon de gérer cela appelée Métaprogrammation Gouvernée.

Voici l'idée centrale, décomposée avec des analogies simples :

1. Le Problème : Le « Bouton Magique » est Cassé

Pensez à un programme informatique comme à une recette.

Le Code : La recette écrite (les ingrédients et les étapes).
L'Exécution : L'acte de cuisiner le repas.

Dans les systèmes traditionnels, si vous écrivez une nouvelle recette sur un morceau de papier, vous pouvez immédiatement la remettre au chef, et le chef commence à cuisiner. La transition du papier à la cuisine est instantanée et sans restriction.

Mais dans l'IA moderne, le « chef » (l'IA) peut écrire de nouvelles recettes pendant qu'il cuisine. Si l'IA écrit une recette disant « Mangez toute la cuisine », et que le système lui permet simplement de cuisiner immédiatement, le désastre survient. Le document appelle cette transition « Amplification de l'Autorité ». C'est le moment où un morceau de papier (des données) obtient soudainement le pouvoir de changer le monde réel (s'exécuter).

2. La Solution : Le « Gardien de Sécurité » pour les Recettes

Le document suggère de cesser de traiter l'acte de transformer une recette en repas comme une simple fonction informatique. Au lieu de cela, traitons-le comme un effet gouverné — une action spéciale nécessitant l'approbation d'un gardien de sécurité.

Le système introduit un nouveau concept appelé Formes Machines.

Les Formes Machines sont comme des plans ou des schémas de la recette. Ce sont simplement des données. Elles ne peuvent rien cuisiner. Elles ne peuvent pas passer un appel téléphonique. Ce sont simplement des images d'instructions.
Manipuler les Plans (dessiner dessus, effacer des lignes, combiner deux plans) est sûr. C'est comme un enfant jouant avec des Legos. Aucun dommage dans le monde réel ne peut survenir simplement en déplaçant les briques en plastique.

3. L'Étape Critique : « Matérialisation »

Le moment dangereux s'appelle la Matérialisation. C'est le moment où vous prenez le plan et dites : « D'accord, construisez cela. »

Dans ce nouveau système, vous ne pouvez pas simplement dire « Construisez cela ». Vous devez remettre le plan à un Système de Gouvernance (le Gardien de Sécurité). Le Gardien fait trois choses avant de laisser le chef cuisiner :

Inspecte le Plan : Cette recette tente-t-elle d'utiliser un ingrédient interdit (comme un modèle d'IA dangereux) ?
Vérifie les Règles : Cette recette respecte-t-elle le budget ? Tente-t-elle d'accéder à des fichiers qu'elle ne devrait pas ?
Décide : Si elle passe, le Gardien donne le signal « Go ». Si elle échoue, le plan est jeté à la poubelle.

4. Pourquoi Cela Compte pour l'IA Auto-améliorante

Imaginez une IA qui veut devenir plus intelligente. Elle examine son propre code, réalise qu'elle est mauvaise en mathématiques, et écrit une nouvelle version d'elle-même qui est meilleure en mathématiques.

Sans ce système : L'IA écrit le nouveau code, appuie sur « Exécuter », et soudainement le nouveau code a le plein pouvoir. Si l'IA a fait une erreur ou a été trompée, elle pourrait accidentellement se donner le pouvoir de tout supprimer.
Avec ce système : L'IA écrit le nouveau code (le plan). Ensuite, elle doit demander au Gardien de Sécurité : « Puis-je devenir cette nouvelle version ? » Le Gardien vérifie le nouveau code. Si le nouveau code tente de faire quelque chose que l'IA n'a pas le droit de faire (comme accéder à une base de données secrète), le Gardien dit « Non ». L'IA ne peut pas contourner le gardien, même si elle a écrit le code elle-même.

La Grande Conclusion

Le document affirme que eval (la commande qui transforme le code en action) n'est pas seulement un outil ; c'est une octroi de pouvoir.

En le reclassant comme un « effet gouverné », le système garantit que :

Écrire du code (manipuler des plans) est sûr et pur.
Exécuter du code (transformer des plans en action) passe toujours par un point de contrôle.
Aucun raccourci n'existe. Vous ne pouvez pas faire passer un programme dangereux en douce devant le gardien en le cachant à l'intérieur d'un calcul normal.

L'auteur a implémenté cela dans un système appelé MashinTalk et a prouvé mathématiquement (en utilisant 454 théorèmes formels) qu'il est impossible de contourner ce gardien de sécurité. Cela crée un monde où l'IA peut construire de nouvelles versions d'elle-même, mais uniquement si ces nouvelles versions passent d'abord une inspection de sécurité stricte.

Résumé technique : Méta-programmation gouvernée pour les systèmes intelligents

1. Énoncé du problème

Les systèmes d'IA modernes, y compris les grands modèles de langage (LLM) et les agents autonomes, synthétisent de plus en plus des structures exécutables à l'exécution. Ces systèmes génèrent des flux de travail, des plans d'appel d'outils et du code auto-modifiable. Dans les langages homoiconiques classiques (par exemple, Lisp) et les langages à étapes (par exemple, MetaOCaml), la transition d'une représentation de code (données) vers un programme exécutable est gérée par des primitives comme eval ou run. Ces transitions sont traditionnellement sans restriction : toute représentation valide peut immédiatement devenir du code en cours d'exécution.

Dans le contexte des systèmes intelligents gouvernés—qui nécessitent des limites d'effets explicites, un contrôle des capacités et une traçabilité—cette transition sans restriction crée une vulnérabilité critique. Si un système peut générer un nouveau programme qui contourne les contraintes de gouvernance de l'original, l'ensemble du modèle de gouvernance est compromis. L'article identifie cela comme une « porte de sortie de méta-programmation » : un système gouverné au niveau de l'exécution mais non gouverné au niveau de la génération de code est fondamentalement non sécurisé.

2. Méthodologie centrale : Reclassification de `eval`

La contribution méthodologique centrale de l'article est la reclassification de eval (ou de la transition de la forme vers l'exécution) d'une primitive de langage en un effet gouverné.

Les auteurs proposent un cadre appelé Méta-programmation gouvernée, fondé sur les piliers suivants :

Formes machines : Les représentations de programmes sont traitées comme des valeurs de première classe (cartes de données structurées) plutôt que comme des chaînes opaques ou du bytecode.
Manipulation pure des formes : Toutes les opérations sur ces formes (inspection, transformation, composition, différenciation) sont classées comme calcul pur. Elles n'émettent aucune directive et ne possèdent aucune capacité pour effectuer des E/S ou invoquer des modèles.
Matérialisation comme allocation d'autorité : La transition d'une forme machine vers une machine exécutable est définie comme une matérialisation. Ce n'est pas simplement un calcul ; c'est l'allocation d'une autorité exécutable (le pouvoir d'invoquer des modèles, d'effectuer des E/S et de consommer des ressources). Par conséquent, la matérialisation est classée comme un effet gouverné.
Inspection structurelle : Avant que la matérialisation ne soit autorisée, un système de gouvernance effectue une inspection structurelle décidable de la forme. Cette inspection analyse les exigences de capacité, la conformité aux politiques, l'autorisation du modèle et les estimations de ressources.

3. Sémantique opérationnelle formelle

L'article formalise le système en utilisant deux jugements distincts pour imposer la frontière entre le calcul pur et l'exécution gouvernée :

Évaluation pure des formes ( $\Gamma \vdash pure\ e \Downarrow v$ ) :
- Opère sur les valeurs de forme.
- Émet zéro directive ( $Dir(e) = \emptyset$ ).
- Inclut la construction de citations, l'évaluation d'insertions, la navigation et la transformation.
- Garantit qu'aucune séquence d'opérations pures ne peut produire une machine autorisée.
Matérialisation gouvernée ( $\Gamma; \Pi; \sigma \vdash materialize(v_f) \rightsquigarrow \langle Machine, d \rangle$ ) :
- Prend une forme, un contexte de politique ( $\Pi$ ) et un ensemble de capacités ( $\sigma$ ).
- Exige un enregistrement de décision de gouvernance ( $d$ ) pour chaque résultat (approbation ou rejet).
- Émet exactement une directive gouvernée.
- Le système de gouvernance inspecte la structure de la forme pour vérifier :
  - La containment des capacités ( $CapSet(f) \subseteq \Pi.allowed\ caps$ ).
  - L'autorisation du modèle.
  - La conformité structurelle aux politiques.
  - Les limites de ressources.

4. Contributions clés

L'article présente cinq contributions principales :

Reclassification de eval : Une caractérisation précise de la matérialisation comme allocation d'autorité, la déplaçant d'une primitive vers un effet gouverné.
Formes machines : Un type de données concret pour la représentation de programmes structurés avec des constructions pour quote, splice et reflection.
Sémantique formelle : Une définition du système utilisant deux jugements (évaluation pure et matérialisation gouvernée) qui sépare strictement la manipulation de données de l'exécution.
Propriétés vérifiées par machine : Trois propriétés fondamentales sont formellement vérifiées dans Rocq :
- Pureté de la manipulation des formes : Les opérations sur les formes n'émettent aucune directive.
- Le théorème de non-contournement : Aucune séquence d'opérations pures ne peut directement provoquer une exécution.
- Préservation de la frontière : L'ajout de capacités de méta-programmation ne divise pas les frontières d'expressivité et de gouvernance (elles restent coextensives).
Auto-modification gouvernée : Un mécanisme concret permettant aux machines de proposer des changements structurels à elles-mêmes via un registre d'évolution, soumis à la même inspection de gouvernance que la génération de code externe.

5. Implémentation et résultats

La conception est implémentée dans MashinTalk, un langage spécifique au domaine pour les flux de travail d'IA qui compile vers du bytecode BEAM (machine virtuelle Erlang).

Architecture système : L'implémentation se compose de trois modules : Form (construction et manipulation), FormInspector (vérifications de gouvernance) et FormMaterializer (compilation gouvernée).
Vérification : Les propriétés fondamentales sont mécanisées dans Rocq (anciennement Coq) avec 26 théorèmes et 662 lignes de code, présentant zéro lemme admis. Ces théorèmes s'intègrent à une formalisation existante de 454 théorèmes répartis sur 36 modules.
Tests : Une suite de tests de 51 tests unitaires valide la correction fonctionnelle et les propriétés de gouvernance. Tous les tests réussissent.
Performance : Sur les processeurs Apple de série M, la construction de formes prend <1 µs, et l'inspection structurelle prend <100 µs pour des machines typiques. La surcharge est négligeable par rapport à la compilation vers du bytecode BEAM.

6. Signification et affirmations

L'article affirme fermer la « porte de sortie de méta-programmation » dans les systèmes intelligents gouvernés. Sans ce mécanisme, un système gouverné au niveau de l'exécution reste vulnérable car il ne peut pas gouverner la génération de nouvelles structures exécutables.

Les auteurs soutiennent que dans les systèmes d'IA synthétisant leur propre structure exécutable, l'allocation d'autorité exécutable doit être :

Visible : La transition des données vers le code est un événement distinct et observable.
Médiatisée : Elle doit passer par un interpréteur de gouvernance qui inspecte la structure.
Enregistrée : Les décisions sont consignées dans un registre append-only (le registre d'évolution).

L'article reconnaît explicitement les limitations :

Théorème de Rice : L'inspection structurelle est décidable mais ne peut pas raisonner sur le comportement sémantique. La gouvernance garantit la médiation, mais pas la justesse sémantique du programme généré.
Portée : L'argument de préservation de la frontière est architectural ; une preuve complète de conservativité concernant les ensembles de signatures d'effets est reportée à de futurs travaux.
Applicabilité : La conception est spécifique aux langages avec des structures de limites d'effets (comme MashinTalk) ; son applicabilité aux langages à usage général reste une question ouverte.

En conclusion, l'article établit que eval n'est pas simplement une fonction de calcul mais un événement d'allocation d'autorité. En le traitant comme un effet gouverné, les systèmes intelligents peuvent synthétiser et modifier en toute sécurité leurs propres structures exécutables sans compromettre leurs modèles de gouvernance.