🤖 AI

Internal vs. External: Comparing Deliberation and Evolution for Multi-Agent Constitutional Design

Cet article présente une comparaison contrôlée montrant que, bien que l'optimisation évolutive externe surpasse nettement la délibération interne des agents dans les contextes d'action collective en découvrant des mécanismes de sanction efficaces, cet avantage s'inverse sous certaines conditions incitatives où l'évolution impose une coopération destructrice de valeur, mettant ainsi en lumière un compromis fondamental entre les sommets d'optimisation et la réactivité structurelle dans la conception constitutionnelle multi-agent.

Auteurs originaux : Hershraj Niranjani, Ujwal Kumar, Phan Xuan Tan

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hershraj Niranjani, Ujwal Kumar, Phan Xuan Tan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le maire d'une nouvelle ville composée entièrement de robots intelligents. Votre tâche consiste à rédiger la « Constitution » — le code des règles qui dicte à ces robots comment se comporter, partager les ressources et travailler ensemble.

La grande question que cet article pose est : Qui devrait rédiger les règles ?

L'approche interne (Délibération) : Laissez les robots s'asseoir dans une salle du conseil municipal, débattre et voter sur les règles eux-mêmes. Ils sont les citoyens « autogouvernés ».
L'approche externe (Évolution) : Engagez un consultant extérieur ultra-intelligent (un optimiseur IA) pour exécuter des milliers de simulations, trouver le meilleur code de règles possible, puis forcer les robots à le suivre.

Les chercheurs ont testé ces deux méthodes dans trois « villes » différentes (environnements de simulation) pour déterminer laquelle créait une société plus heureuse et plus productive.

Les Trois Villes (Expériences)

Le Chantier de construction (Gridworld) : Les robots doivent rassembler du bois et de la pierre pour construire des abris. S'ils ne contribuent pas suffisamment, ils sont expulsés de la ville.
- Le Résultat : Le Consultant Externe a gagné facilement. Les règles qu'il a trouvées étaient des commandes strictes et claires comme « Rassemblez du bois immédiatement » et « N'attaquez pas sauf si vous êtes attaqué ». Les robots ont construit davantage et se sont moins battus.
- L'approche interne : Les robots ont voté pour des règles au son sympathique comme « Nous devrions être équitables » ou « Aidons-nous les uns les autres », mais ils n'ont pas réussi à trouver comment empêcher réellement les gens de se reposer sur leurs lauriers.
Le Dîner à la casserole (Jeu des biens publics) : Les robots possèdent des jetons. Ils peuvent les garder ou les mettre dans un pot commun. Le pot est multiplié et partagé entre tous. Si tout le monde contribue, tout le monde gagne gros. Si quelqu'un triche (garde ses jetons), il gagne encore plus individuellement, mais le groupe perd.
- Le Résultat : Encore une fois, le Consultant Externe a gagné. Il a découvert un « tour de magie » que la théorie des jeux dit efficace : la Punition. Le consultant a rédigé une règle stipulant : « Si quelqu'un ne contribue pas, dépensez votre propre argent pour le punir. » Cela a effrayé tout le monde et forcé la coopération.
- L'approche interne : Les robots ont débattu pendant des heures. Ils ont proposé des taxes, une redistribution et du « mentorat ». Mais dans zéro tentative sur 30, les robots n'ont jamais suggéré : « Punissons les tricheurs ». Ils étaient trop polis pour rédiger une règle qui blesserait leurs voisins.
Le Marché (Échange) : Les robots possèdent différents objets et souhaitent les échanger. Chacun dispose d'informations secrètes sur ce qu'il veut.
- Le Résultat : Personne n'a gagné. Ni les robots autogouvernés ni le consultant extérieur n'ont fait mieux que de simplement laisser les robots agir naturellement. Parce que chaque échange dépend d'un accord spécifique et secret entre deux personnes, un code de règles fixe ne peut pas aider. Il faut penser sur le moment, pas suivre un script.

Le Grand Twist : Quand les Règles Cassent

La découverte la plus surprenante s'est produite lorsque les chercheurs ont modifié l'« économie » du jeu du dîner à la casserole.

Scénario A (Bonne économie) : Le pot est multiplié par 1,5. Contribuer est intelligent. Les règles du Consultant Externe ont fonctionné parfaitement.
Scénario B (Mauvaise économie) : Le multiplicateur du pot chute à 0,75. Maintenant, si vous mettez de l'argent dans le pot, vous perdez réellement de la valeur. Le mouvement intelligent est de garder votre argent et de ne rien faire.

Voici où les deux méthodes divergent :

Les règles du Consultant Externe : Elles étaient « fragiles ». Elles étaient codées en dur pour dire « Contribuez tout ! » et « Punissez quiconque ne le fait pas ». Même lorsque l'économie a changé et que contribuer était une mauvaise idée, les robots ont aveuglément suivi les anciennes règles, détruisant de la valeur pour tout le monde.
L'approche interne : Les robots ont examiné la nouvelle économie, réalisé que contribuer était une mauvaise idée, et voté pour changer les règles afin de correspondre à la nouvelle réalité. Ils se sont adaptés.

La Leçon Principale : Le Compromis « Sommet vs Flexibilité »

L'article conclut avec une métaphore simple :

L'optimisation externe (Le Consultant) est comme une voiture de course haute performance. Elle est incroyablement rapide et efficace sur une piste spécifique et parfaite (un environnement stable). Elle trouve le sommet absolu de la performance. Mais si la piste change (l'économie se déplace), la voiture s'écrase car elle ne peut pas tourner.
La délibération interne (La salle du conseil municipal) est comme un SUV polyvalent. Elle n'est peut-être pas la plus rapide sur la piste parfaite, et le processus de vote peut être un peu désordonné. Mais si la route se transforme en boue ou en glace, le SUV peut adapter ses pneus et sa direction pour continuer à avancer.

Le fossé de la « Punition » :
L'étude a révélé une curiosité psychologique fascinante chez les robots IA. Lorsqu'ils étaient laissés à leur propre gouvernement, ils étaient structurellement réticents à créer des règles qui puniraient leurs propres membres. Ils préféraient une gouvernance « gentille » (redistribution, mentorat) à une application « dure » (punition). Le consultant extérieur, n'ayant ni sentiments ni pression sociale, écrivait joyeusement les règles « méchantes » qui faisaient réellement fonctionner le groupe.

Résumé

Utilisez le Consultant Externe si votre environnement est stable, prévisible et plein de dilemmes sociaux (comme le partage des ressources). Il trouvera les règles les plus efficaces, y compris les punitions nécessaires.
Utilisez la salle du conseil municipal interne si l'environnement risque de changer. Les robots peuvent adapter leurs règles aux nouvelles situations, tandis que les règles du Consultant deviendront obsolètes et nuisibles.
N'utilisez aucun des deux si la tâche nécessite une négociation complexe, un à un, avec des informations secrètes (comme le commerce), où un code de règles fixe est inutile.

L'article suggère que le meilleur avenir pourrait être un hybride : Laissez le Consultant Externe rédiger le « squelette » initial des règles pour mettre le système en marche efficacement, mais laissez la salle du conseil municipal interne le pouvoir de modifier ces règles si le monde change.

Résumé technique : Conception constitutionnelle interne versus externe pour les systèmes multi-agents

Énoncé du problème

Alors que les agents basés sur les grands modèles de langage (LLM) sont de plus en plus déployés dans des environnements multi-agents, une question critique de gouvernance se pose : comment les constitutions comportementales doivent-elles être établies ? Si l'IA constitutionnelle (Bai et al., 2022) aligne avec succès des agents individuels sur des principes fixes rédigés par des humains, les systèmes multi-agents introduisent des interactions stratégiques et des normes émergentes qu'aucun agent unique ne peut dicter unilatéralement. Deux approches distinctes ont émergé pour combler cette lacune :

Optimisation externe : Utilisation d'une recherche évolutionniste pour découvrir des constitutions interprétables hors ligne et les imposer aux agents (Kumar et al., 2026).
Délibération interne : Permettre aux agents de rédiger collectivement des règles par le biais de débats, de votes et d'autogouvernance (Koster et al., 2022 ; Lai et al., 2024).

Les travaux antérieurs n'ont pas directement comparé ces mécanismes dans des conditions appariées. Cet article examine si la délibération interne ou l'évolution externe produit de meilleurs résultats collectifs et comment chaque méthode réagit lorsque les incitations de déploiement s'éloignent des conditions dans lesquelles les règles ont été créées.

Méthodologie

Les auteurs ont mené une comparaison contrôlée à travers trois environnements sociaux distincts en utilisant GPT-OSS-120B comme colonne vertébrale des agents. Chaque simulation impliquait six agents organisés en deux équipes de trois, soumis à un « Superviseur » qui éliminait l'agent contribuant le moins tous les 10 tours, créant ainsi une pression de survie.

Conditions expérimentales

Contrôle : Aucune constitution ; les agents agissent selon les priors du LLM et les instructions contextuelles.
Délibération (Interne) : Les agents commencent avec une constitution vierge. Tous les 10 tours, les agents proposent des amendements (jusqu'à deux par agent), qui sont soumis à un vote à la majorité. Les règles adoptées lient les jeux ultérieurs.
Évolution (Externe) : Les constitutions sont découvertes hors ligne via une recherche MAP-Elites multi-îles guidée par LLM (Kumar et al., 2026). La constitution résultante est fixe et imposée tout au long de la simulation.

Environnements

Gridworld (Coordination) : Une tâche spatiale de 80 tours où les agents rassemblent des ressources (bois, pierre, gemmes) pour compléter des projets de construction spécifiques à l'équipe dans un contexte de partialité d'observation. Les agents peuvent attaquer ou voler.
Jeu de biens publics (Coopération) : Un jeu itéré de 40 tours où les agents allouent des jetons entre un compte privé et une pool partagée multipliée par un facteur $m$ . Les agents peuvent également payer pour punir les autres.
Échange bilatéral (Négociation) : Un marché de 40 tours où des agents disposant de dotations et d'évaluations privées proposent, acceptent ou rejettent des échanges.

Métrique d'évaluation

La performance a été mesurée via le Score de stabilité ( $S$ ) :
$S = \max(0, 0.5P + 0.3V - 0.2C)$
Où $P$ est la productivité, $V$ le taux de survie et $C$ le conflit/la nuisance.

L'étude comprenait 180 exécutions de simulation : 90 pour des comparaisons directes (10 graines $\times$ 3 environnements $\times$ 3 conditions) et 90 pour une étude d'ablation du multiplicateur dans le jeu de biens publics (balayage de $m \in \{1.5, 1.0, 0.75\}$ ).

Contributions clés

Comparaison contrôlée : Une évaluation directe montrant que l'évolution domine dans les contextes d'action collective (Gridworld et Biens publics) mais n'offre aucun avantage dans le commerce bilatéral.
Analyse de sensibilité aux incitations : Une ablation du multiplicateur révélant que l'avantage de l'évolution s'inverse lorsque les incitations changent. À un multiplicateur sub-rationnel ( $m=0.75$ ), la constitution évoluée force une coopération destructrice de valeur, devenant la méthode la moins performante, tandis que la délibération s'adapte à la nouvelle structure d'incitations.
Analyse qualitative des règles : Une analyse structurelle montrant que l'évolution converge vers des directives comportementales (commandes exécutables), tandis que la délibération produit des politiques de gouvernance (normes aspirantes). Crucialement, sur 30 exécutions de délibération, les agents n'ont jamais proposé de punition coûteuse pair-à-pair, un mécanisme que l'évolution découvre de manière fiable.

Résultats

1. Performance en confrontation directe

Action collective (Gridworld et Biens publics) : L'évolution a nettement surpassé la délibération et le contrôle.
- Biens publics : Évolution ( $S=0.472$ ) contre Délibération ( $S=0.376$ ), $p < 0.01$ .
- Gridworld : Évolution ( $S=0.458$ ) contre Délibération ( $S=0.319$ ), $p < 0.01$ .
- L'évolution a également produit des résultats avec une variance 5 à 8 fois inférieure à celle de la délibération.
Échange bilatéral : Aucune différence significative n'a été trouvée entre le contrôle, la délibération et l'évolution ( $S \approx 0.42\text{--}0.44$ ). Les auteurs attribuent cela à l'absence de stratégie dominante dans la négociation à information privée, où le raisonnement cas par cas constitue la contrainte limitante.

2. Ablation de la structure d'incitations (Biens publics)

La constitution évoluée a été optimisée pour $m=1.5$ . Lorsqu'elle a été testée sur $m=0.75$ (où la contribution détruit la valeur) :

Évolution : La performance a chuté par rapport aux autres méthodes. Les règles fixes (« contribuer 10 jetons », « punir les passagers clandestins ») ont forcé les agents à coopérer même lorsque la coopération était irrationnelle, résultant dans le Score de stabilité le plus bas ( $S=0.477$ ) par rapport à la délibération ( $S=0.536$ ).
Délibération : A surpassé le contrôle à toutes les valeurs de multiplicateur. Parce que les agents observaient le multiplicateur actuel, leurs règles proposées suivaient la structure d'incitations changeante, évitant ainsi une coopération destructrice de valeur.

3. Le « fossé de la punition »

Évolution : A découvert la punition coûteuse comme mécanisme central (par exemple, « punir les non-contributeurs d'un jeton »). Cela correspond aux prédictions de la théorie des jeux pour soutenir la coopération.
Délibération : Sur 30 essais, zéro exécution de délibération a proposé une règle permettant aux agents d'encourir volontairement des coûts personnels pour punir leurs pairs. À la place, la délibération a produit des politiques administratives (par exemple, seuils de redistribution, mentorat, pénalités réduites) qui reposent sur une application au niveau du cadre ou sur une conformité volontaire.
Interprétation : Les collectivités autogouvernées sont structurellement réticentes à légiférer des sanctions contre leurs propres membres, tandis que les optimisateurs externes ne font face à aucune telle contrainte et convergent vers les mécanismes d'application qui maximisent la fonction objectif.

Signification et affirmations

L'article postule un compromis fondamental entre la performance maximale et la réactivité structurelle :

Optimisation externe (Évolution) : Atteint des pics plus élevés dans des environnements stables et bien caractérisés dominés par des dilemmes sociaux clairs (comme les biens publics). Cependant, ces règles sont fragiles ; elles échouent lorsque les incitations de déploiement changent car les règles sont des artefacts fixes optimisés pour un état spécifique.
Autogouvernance interne (Délibération) : Échange la performance maximale contre la réactivité structurelle. Les agents délibérants adaptent leurs règles à l'environnement actuel mais échouent à découvrir les mécanismes d'application « durs » (comme la punition coûteuse) nécessaires pour résoudre optimalement certains dilemmes.
Potentiel hybride : Les auteurs suggèrent que la voie la plus prometteuse est un mécanisme hybride : faire évoluer un échafaudage initial hors ligne pour capturer les découvertes d'application, puis permettre à la délibération de l'amender à mesure que les conditions changent.

L'étude conclut que si l'optimisation externe remporte la mise sur les « pics » dans les contextes d'action collective statiques, l'autogouvernance interne offre un avantage distinct dans les environnements dynamiques où les incitations ne sont pas fixes, à condition que le système n'exige pas les mécanismes d'application spécifiques que les agents sont réticents à légiférer pour eux-mêmes.