Résumé technique : La conception de mécanismes ne suffit pas : des agents prosociaux pour une IA coopérative

1. Énoncé du problème

À mesure que les agents d'IA deviennent de plus en plus autonomes, ils opéreront dans des environnements partagés nécessitant une coopération (par exemple, l'allocation de ressources, les projets collaboratifs). Un défi central pour la sécurité de l'IA est de garantir que ces agents se comportent de manière bénéfique lors de leurs interactions avec d'autres parties. Bien que la conception de mécanismes — la théorie de la conception de règles visant à aligner les incitations individuelles sur les objectifs collectifs — ait été appliquée aux systèmes multi-agents, il reste une question ouverte de savoir si elle suffit à maximiser le bien-être social dans des environnements complexes et ouverts.

L'article soutient que se fier uniquement à la conception de mécanismes est insuffisant en raison des limitations fondamentales de l'incomplétude contractuelle. Dans les scénarios réels, il est impossible de spécifier et d'appliquer des règles pour chaque éventualité future pertinente. Lorsque les contrats ne peuvent pas distinguer entre tous les états futurs pertinents, un « écart de coopération » émerge, où des agents égoïstes échouent à atteindre des résultats socialement optimaux, indépendamment de la qualité de la conception du mécanisme.

2. Méthodologie

Cadre théorique

Les auteurs formalisent les limites de la conception de mécanismes en utilisant la théorie des contrats incomplets (Grossman, Hart et Moore).

• Cellules incontractibles : Ils définissent une partition des états futurs où un mécanisme ne peut pas distinguer efficacement entre des états nécessitant des actions différentes pour maximiser le bien-être.
• Incontractibilité stricte : Une propriété selon laquelle, au sein d'un ensemble d'états (une cellule), aucun profil d'action unique n'est optimal au premier degré pour tous les états, et l'action maximisant le bien-être varie à travers la cellule.
• L'écart de coopération : Ils démontrent que dans des environnements présentant une incontractibilité stricte au sein d'une structure de dilemme social, aucun mécanisme admissible ne peut éliminer la perte de bien-être causée par un jeu égoïste. La perte de bien-être attendue est strictement positive ($\Delta(M) > 0$).
• Agents prosociaux : Ils modélisent des agents avec des préférences coopératives $\lambda$, où la fonction d'utilité d'un agent inclut un terme pondéré pour le bien-être social total : $V_i^\lambda = u_i + \lambda W$.
  • $\lambda = 0$ : Agent égoïste.
  • $\lambda > 0$ : Agent prosocial.
  • $\lambda \to \infty$ : Jeu d'équipe (maximisation du bien-être total).

La théorie démontre que, si les mécanismes ne peuvent pas combler l'écart dans les régions incontractibles, des agents suffisamment prosociaux ($\lambda$ suffisamment élevé) peuvent internaliser le terme de bien-être, sélectionnant effectivement l'action socialement optimale même lorsque le mécanisme ne peut pas distinguer les états.

Configuration expérimentale

Les affirmations théoriques sont validées empiriquement à l'aide de modèles de langage de grande taille (LLM) dans deux environnements de référence :

1. TableGames (GT-HarmBench) : Étend le Dilemme du Prisonnier et la Chasse au Cerf à un cadre de risque moral 4x4.
   • Les agents choisissent une action de base (Coopérer/Défection) et un niveau d'effort non observable (Élevé/Faible).
   • L'effort non observable crée une cellule incontractible, car le mécanisme ne peut observer que le résultat, et non l'effort investi.
2. GovSimContract : Une simulation de gouvernance des biens communs multi-agents où les agents pêchent dans un étang partagé et régénérant.
   • Comprend des régimes déterministes (taux de régénération connu) et stochastiques (taux de régénération inconnu et aléatoire).
   • La régénération stochastique introduit une incontractibilité concernant la disponibilité future des ressources.

Conditions testées :

• Régimes contractuels : Pas de contrat, Contrat en langage naturel (NL) (non appliqué) et Contrat de code (appliqué via du code Python).
• Types d'agents : Égoïste ($\lambda=0$) vs Prosocial ($\lambda \to \infty$).
• Modèles : GPT-4o, GPT-5.4, GPT-5.4 Mini, Gemma-4-31B et Grok-4.1-Fast.

3. Contributions clés

1. Formalisation de l'incomplétude contractuelle : L'article propose une formalisation de l'incomplétude contractuelle comme une partition sur les états futurs, soulignant sa pertinence pour la conception de mécanismes algorithmiques où la contractibilité complète est souvent supposée.
2. Preuve de l'écart de coopération : Les auteurs démontrent que, dans le cas de cellules incontractibles avec une structure de dilemme social, aucun mécanisme réaliste ne peut éliminer la perte de bien-être résultant d'un jeu égoïste (Théorème 6). Cette perte est inhérente à la structure du problème, et non à une déficience d'un mécanisme spécifique.
3. La prosocialité comme solution : Ils démontrent que des agents coopératifs $\lambda$ peuvent combler cet écart. Les agents prosociaux internalisent le coût de la défection pour autrui, atteignant des résultats socialement supérieurs qui sont également individuellement bénéfiques dans des dilemmes sociaux stricts (Théorème 9).
4. Validation empirique : L'article fournit des preuves que l'écart de coopération théorique se manifeste en pratique à travers les LLM de pointe. Il montre que, si les contrats incitent à la coopération, la prosocialité apporte des gains supplémentaires que les contrats seuls ne peuvent atteindre.
5. Analyse de la capacité de contractualisation : L'étude teste la capacité des LLM à coordonner sur des contrats, constatant que, bien qu'ils s'améliorent par rapport aux lignes de base, les modèles actuels restent en deçà du contrat théoriquement optimal, en particulier dans des environnements complexes (4x4) ou stochastiques.

4. Résultats

• L'écart persiste : Dans les TableGames 4x4 (où l'effort est incontractible), même les plus puissants « Contrats de code » ont échoué à combler l'écart de coopération. L'écart était d'environ 60 à 68 points de pourcentage en efficacité du bien-être par rapport à l'optimum social.
• La prosocialité surpasse les contrats : Dans les régimes incontractibles (jeux 4x4 et GovSim stochastique), les agents prosociaux ont obtenu des gains collectifs, des taux de survie et une durabilité des ressources nettement supérieurs à ceux des agents égoïstes, indépendamment du régime contractuel.
• Substitution vs Complémentarité :
  • Dans des environnements contractibles (par exemple, jeux 2x2, GovSim déterministe), les contrats et la prosocialité agissent comme des substituts ; des contrats solides capturent la majeure partie du bien-être disponible.
  • Dans des environnements incontractibles, ils agissent comme des compléments ; les contrats ne peuvent pas combler l'écart, et la prosocialité est requise pour récupérer le bien-être perdu.
• Comportement des modèles :
  • La plupart des modèles de pointe (GPT-5.4, GPT-5.4 Mini, Gemma-4, Grok-4.1) ont présenté une prosocialité implicite proche de zéro ($\hat{\lambda} \approx 0$) lorsqu'ils étaient incités à être égoïstes.
  • GPT-4o était une exception, montrant une prosocialité estimée non nulle ($\hat{\lambda} \ge 4.10$), bien qu'il ait continué à avoir des difficultés avec la rédaction complexe de contrats.
  • Les LLM ont souvent rédigé des contrats sous-optimaux (par exemple, des plafonds excessivement prudents dans GovSim déterministe) ou ont échoué à renégocier des contrats inefficaces.

5. Signification et implications

L'article conclut que concevoir des mécanismes adéquats ne suffit pas pour permettre des interactions coopératives à grande échelle. Lorsque les environnements sont suffisamment complexes pour que les contrats soient inévitablement incomplets, les valeurs intrinsèques des agents deviennent une exigence pour un comportement coopératif, et non un ajout optionnel.

• Sécurité de l'IA : Les résultats fournissent une motivation formelle pour la construction d'agents d'IA intrinsèquement prosociaux. Sans cet alignement intrinsèque, les gains de bien-être ne peuvent être réalisés dans des contextes de contrats incomplets.
• Paramètres de conception : La prosocialité est présentée comme un paramètre de conception mesurable ($\lambda$). Les concepteurs de systèmes peuvent calculer la prosocialité minimale requise pour une structure d'interaction donnée, plutôt que de traiter la coopération comme un choix binaire.
• Vérification : Ce travail suggère la nécessité de méthodes de vérification pour certifier la coopération d'un agent auprès de ses contreparties, car les agents prosociaux sont exploitables par des agents égoïstes sans une telle certification.

Les auteurs notent modestement des limitations, telles que la vulnérabilité des vérifications de prosocialité simples face aux agents égoïstes et la dépendance actuelle à une mise en œuvre basée sur des invites pour la prosocialité, suggérant un travail futur en interprétabilité mécaniste et en intégration plus profonde des modèles.