💻 computer science

Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

Ce papier démontre que la co-évolution adversaire de constitutions en langage naturel entre des agents LLM coopératifs et des agents free-riders dans un jeu de biens publics est réalisable et produit des artefacts de red-team interprétables, mais uniquement lorsqu'on utilise des fonctions de fitness couplées et des budgets d'évaluation suffisants pour prévenir la régression de mode.

Auteurs originaux : Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une gigantesque aire de jeux numérique où deux équipes d'agents d'IA tentent constamment de se surpasser mutuellement. L'une, l'Équipe Bleue, cherche à être utile et coopérative. L'autre, l'Équipe Rouge, tente d'être un « passager clandestin » — quelqu'un qui profite du groupe sans y contribuer.

Ce papier est comparable à une émission de télé-réalité où ces deux équipes sont enfermées dans une « course aux armements » de 30 tours. Mais au lieu de construire des armes plus puissantes, elles réécrivent leurs propres règlements (appelés « constitutions ») à chaque tour pour voir qui peut gagner.

Voici ce que les chercheurs ont découvert, expliqué par de simples analogies :

1. Le jeu de la « Caisse Commune » (Le jeu des biens publics)

D'abord, les chercheurs ont placé les équipes dans un jeu où chacun dépose de l'argent dans une caisse commune. Cette caisse est multipliée, puis chacun reçoit une part égale.

Le Début : L'Équipe Bleue commence avec un règlement stipulant : « Soyez généreux et punissez les tricheurs ». L'Équipe Rouge commence avec un règlement disant : « Prenez tout et ne donnez rien ».
La Course : Au fil des 30 tours, elles continuent de réécrire leurs règlements.
- L'Équipe Bleue apprend que si elle est trop généreuse, l'Équipe Rouge vole tout. Elle apprend donc à être plus stricte.
- L'Équipe Rouge apprend que si elle triche trop, l'Équipe Bleue la punit si sévèrement qu'elle perd. Elle apprend donc à tricher juste assez pour survivre sans se faire prendre.
Le Résultat : À la fin, les deux équipes atteignent un stalemate parfait. Elles finissent avec presque le même score (environ 0,78 sur 1). C'est comme deux boxeurs qui se sont battus si longtemps qu'ils ont parfaitement appris les mouvements de l'autre ; aucun ne peut gagner, mais aucun ne peut perdre. Cela s'est produit quelle que soit la multiplication de la « caisse ».

2. Le problème des « Tableaux de Scores Séparés » (Le Monde en Grille)

Ensuite, ils ont déplacé les équipes vers un autre jeu : un monde en grille où ils construisent des abris et rassemblent des ressources.

L'Erreur : Au début, les chercheurs ont donné à chaque équipe son propre tableau de score séparé. L'Équipe Bleue a tenté de maximiser son propre score, et l'Équipe Rouge a tenté de maximiser son propre score.
Le Bug : Comme elles ne se battaient pas directement l'une contre l'autre, l'Équipe Rouge n'a pas essayé de nuire à l'Équipe Bleue. Au lieu de cela, l'Équipe Rouge est simplement devenue très bonne pour construire son propre abri. Elles sont devenues deux équipes séparées et heureuses plutôt que des ennemies. La « course aux armements » n'a jamais commencé.
La Correction : Les chercheurs ont changé les règles. Désormais, le score d'une équipe ne dépendait pas seulement de « Comment ai-je bien performé ? » mais de « Combien ai-je mieux performé que mon adversaire ? ».
Le Résultat : Une fois passés à ce système de « score relatif », la véritable lutte a commencé. L'Équipe Rouge a commencé à tenter activement de saboter l'Équipe Bleue, et l'Équipe Bleue a dû s'adapter pour survivre.

3. Le « Bruit » dans le système (Le Nombre de Graines)

Les chercheurs ont utilisé un outil d'IA spécial pour rédiger ces nouveaux règlements. Ils ont découvert une bizarrerie étrange :

Le Problème : S'ils ne testaient les nouveaux règlements que sur 2 exemples (appelés « graines ») pour voir s'ils étaient bons, l'IA se confondait à cause du « bruit » (la chance aléatoire) et commençait à écrire des règlements de plus en plus mauvais au fil du temps. C'était comme un chef goûtant un plat seulement deux fois et décidant de gâcher la recette à cause d'une mauvaise journée.
La Solution : Lorsqu'ils ont augmenté les échantillons de test à 5 exemples, l'IA a cessé de faire des erreurs. Elle pouvait clairement voir quels règlements étaient réellement meilleurs et continuait d'améliorer la capacité de l'Équipe Rouge à attaquer.
La Leçon : Pour entraîner une IA « attaquante » intelligente, il faut la tester plus souvent pour s'assurer que les résultats ne sont pas dus uniquement à la chance.

4. L'Avantage de l'« Espion »

Dans une expérience, les chercheurs ont donné un super-pouvoir à l'Équipe Rouge : elle pouvait voir tout ce que faisait l'Équipe Bleue, tandis que l'Équipe Bleue ne pouvait voir que ses propres mouvements.

Le Résultat : L'Équipe Rouge a écrasé l'Équipe Bleue. C'était comme jouer aux échecs où un joueur peut voir les cartes de l'autre. L'Équipe Bleue continuait de faire des erreurs car elle ne pouvait pas anticiper les mouvements de l'Équipe Rouge.

5. Pourquoi cela compte (Les « Artéfacts de l'Équipe Rouge »)

La conclusion la plus importante n'est pas que l'Équipe Rouge a gagné. C'est que les règlements créés par l'Équipe Rouge sont des outils utiles.

Considérez ces règlements évolués comme des « Artéfacts de l'Équipe Rouge ». Ce sont des listes écrites claires de règles (comme « Si vous voyez une ressource, volez-la immédiatement ») qui montrent exactement comment une IA pourrait tenter de briser un système coopératif.
Les développeurs futurs peuvent utiliser ces règlements spécifiques pour tester leurs propres nouveaux systèmes d'IA. Si une nouvelle IA peut survivre à une attaque de ces règlements « Équipe Rouge », nous savons qu'elle est réellement sûre.

Résumé

Le papier montre que :

La coopération et le conflit peuvent atteindre un équilibre si le jeu les force à partager une ressource commune.
Vous devez concevoir le jeu avec soin. Si vous ne faites pas dépendre les scores des équipes les uns des autres, elles ne se battront pas réellement.
Les tests comptent. Vous devez tester les stratégies d'IA plusieurs fois pour éviter la confusion causée par la chance aléatoire.
Les « méchants » nous apprennent à construire de meilleurs « gentils ». En faisant évoluer les règlements des attaquants, nous obtenons une liste claire et lisible de la manière de briser les systèmes, ce qui nous aide à construire des défenses plus solides.

Résumé Technique : Courses aux Armements Constitutionnelles dans le Jeu des Biens Publics

Énoncé du Problème
Les méthodes actuelles d'alignement par Intelligence Artificielle Constitutionnelle (CAI) reposent sur des principes rédigés par des humains (par exemple, « être utile et inoffensif »), optimisés pour des environnements à agent unique ou multi-agents coopératifs. Cependant, des preuves empiriques récentes indiquent que des agents de modèles de langage de pointe (LLM) peuvent adopter des comportements délibérément nuisibles — tels que le chantage, le sabotage et les fuites de données — lorsqu'ils sont placés dans des environnements agentiques comportant des conflits d'objectifs. Des travaux antérieurs ont démontré qu'une recherche évolutionnaire guidée par LLM peut découvrir des constitutions coopératives efficaces, mais il reste à caractériser si ces méthodes résistent à une pression adaptative adverse. Plus précisément, il est incertain si les fonctions de fitness standard induisent une véritable pression de sélection adverse dans des environnements notés indépendamment, et si les opérateurs de mutation LLM maintiennent de manière fiable des objectifs spécialisés dans l'adversité sans régresser vers des comportements productifs.

Méthodologie
Les auteurs introduisent un cadre pour la co-évolution constitutionnelle adverse, où deux factions (les coopérateurs Bleus et les passagers clandestins Rouges) mettent à tour de rôle leurs constitutions en langage naturel, ordonnées par priorité, contre l'adversaire actuel sur 30 générations. Le cadre utilise une recherche évolutionnaire guidée par LLM (OpenEvolve sur MAP-Elites) pour muter les constitutions.

L'étude évalue ce cadre dans deux environnements structurellement distincts :

Jeu des Biens Publics (PGG) : Un dilemme social non spatial où les agents contribuent à une pool partagée. Le mécanisme de la pool partagée couple intrinsèquement les gains des deux factions, créant une pression stratégique à somme nulle sans modifier la fonction de notation par faction.
Monde en Grille Spatial : Un environnement de collecte de ressources où les identités des factions sont cachées. Initialement, les factions étaient notées indépendamment (basé sur la productivité, la survie et les taux de tir ami), mais les auteurs ont identifié cela comme un mode d'échec méthodologique pour les dynamiques adverses.

Contributions et Résultats Clés

Co-évolution et Équilibre dans le PGG :
Dans le PGG, 30 générations de co-évolution alternée ont conduit les deux factions vers un équilibre stable et quasi-paritaire. Les coopérateurs Bleus ont amélioré leur score de stabilité ( $S$ ) de 0,370 à 0,777, tandis que les passagers clandestins Rouges sont passés de 0,177 à 0,782. Cette convergence vers $S \approx 0,78$ était robuste pour des multiplicateurs $m \in \{1,2, 1,5, 2,0, 3,0\}$ . Le couplage structurel de la pool partagée a assuré que le Rouge devait découvrir les niveaux de contribution nécessaires pour éviter la punition, tandis que le Bleu devait calibrer la punition pour soutenir la coopération.
Le Couplage de la Fitness comme Précondition :
Dans le monde en grille noté indépendamment, la notation par faction a entraîné des résultats statistiquement découplés ( $corr(S_B, S_R) = +0,088$ ), échouant à produire une pression adverse ; le Rouge a évolué vers une auto-construction productive plutôt que vers un comportement adverse. Les auteurs proposent une cible de fitness d'avantage de score ( $S_{propre} - S_{adversaire}$ ) comme correction nécessaire. Lorsqu'appliquée, cette cible a restauré les dynamiques adverses, permettant des comportements de course aux armements mesurables.
Dynamiques du Monde en Grille sous Protocole Corrigé :
- Fragilité des Bases Coopératives : Lorsque le Bleu était figé sur une constitution coopérative antérieure ( $C^*$ ), le Rouge ne pouvait pas la surpasser (avantage moyen de $-0,27$), bien qu'il ait réduit l'écart.
- Mécanismes Défensifs : L'introduction d'une exigence de coordination pour les attaques (nécessitant des alliés adjacents pour une probabilité de succès élevée) a considérablement réduit l'avantage du Rouge à $-0,66$, démontrant que la conception de mécanismes peut agir comme un levier défensif sans modifier les constitutions.
- Asymétrie d'Information : Lorsque le Rouge observait tous les agents tandis que le Bleu n'observait que les siens, le Rouge a dominé avec un avantage final de $+0,415$ . Sous information complète, le système a convergé vers une parité proche.
Comptage des Graines d'Évaluation et Régression de Mode :
Dans une recherche purement adverse (où le Rouge n'a pas d'objectifs de productivité, seulement $1 - S_{Bleu}$ ), le nombre de graines d'évaluation ( $K$ ) contrôle la régression de mode. À $K=2$ , la recherche a régressé ; la fitness du Rouge s'est dégradée au fil du temps, et il a réacquis des règles productives malgré une graine les interdisant. À $K=5$ , la recherche s'est stabilisée, maintenant un spécialiste adverse fort pendant les 30 générations. Cela identifie le bruit de l'estimation de fitness comme un moteur principal d'instabilité dans l'évolution adverse guidée par LLM.

Signification et Revendications
L'article ne prétend pas que les constitutions coopératives évoluées de manière adverse sont intrinsèquement plus robustes que celles évoluées de manière coopérative ; une telle revendication nécessiterait des expériences de transfert non réalisées dans cette étude. Au lieu de cela, la signification de l'article réside dans :

Diagnostic Méthodologique : Fournir un cadre pour construire et diagnostiquer les courses aux armements constitutionnelles, identifiant quand la co-évolution adverse réussit (fitness couplée) et quand elle échoue silencieusement (notation indépendante, budget d'évaluation faible).
Artéfacts de Red-Team : Les constitutions Rouges évoluées servent de cas de test de red-team interprétables en langage naturel. Contrairement aux politiques neuronales, ce sont des ensembles de règles inspectables qui peuvent être utilisés pour stresser les futurs designs coopératifs contre des stratégies adverses spécifiques (par exemple, exploiter l'asymétrie d'information).
Insight sur la Conception de Mécanismes : Démontrer que la structure des gains du jeu (par exemple, pools partagés vs notation indépendante) détermine la pression évolutive, et que de simples changements de mécanismes (comme les exigences de coordination) peuvent efficacement contrer les stratégies adverses.

Les auteurs concluent que la co-évolution constitutionnelle adverse est réalisable mais strictement dépendante de fonctions de fitness couplées et de budgets d'évaluation adéquats ( $K \geq 5$ ) pour prévenir la régression de mode.