Solipsistic Superintelligence is Unlikely to be Cooperative

Résumé Technique : Une superintelligence solipsiste est peu susceptible d'être coopérative

Énoncé du problème
L'article identifie une déconnexion fondamentale dans le paradigme dominant de la recherche en IA, que les auteurs qualifient de « solipsiste ». Cette approche suppose que l'environnement est exogène (indépendant de l'agent), que les distributions de données sont stationnaires de l'entraînement au déploiement, et que les autres agents ne sont que des parties de l'espace d'état à prédire plutôt que des acteurs stratégiques. Les auteurs soutiennent que ce paradigme ne parvient pas à rendre compte de la non-stationnarité endogène : le phénomène où le déploiement d'un système d'IA induit des réponses adaptatives de la part des humains, des institutions et d'autres algorithmes, modifiant ainsi la distribution même sur laquelle le système a été entraîné.

Cela crée un écart entraînement-test-déploiement, où la performance historique diverge de la performance de déploiement. Dans les environnements multi-agents, l'optimisation unilatérale (maximiser un objectif de manière isolée) devient auto-subversive ; plus un agent exploite agressivement les régularités historiques, plus il incite rapidement les autres acteurs à s'adapter de manière à rendre ces régularités obsolètes. Par conséquent, une « superintelligence solipsiste » — un agent extrêmement capable de résoudre des tâches stationnaires mais construit sur ces hypothèses erronées — est peu susceptible d'être coopérative. Au lieu d'atteindre des résultats bénéfiques, de tels systèmes risquent de conduire les systèmes sociotechniques vers des équilibres dégradés (ex. : krachs boursiers, polarisation ou atrophie des compétences humaines).

Méthodologie et Cadre
L'article utilise un cadre conceptuel et théorique ancré dans la théorie des jeux, l'économie et la littérature sur la sécurité de l'IA pour critiquer les méthodologies actuelles. Il ne présente pas de nouveaux résultats expérimentaux, mais synthétise des intuitions théoriques existantes pour plaider en faveur d'un changement de paradigme.

1. Critique formelle des MDP : Les auteurs opposent le formalisme standard des processus de décision markoviens (MDP), où les dynamiques de transition $P$ et les récompenses $R$ sont fixes, à la réalité du déploiement. Ils soutiennent qu'une fois qu'une politique $\pi$ est déployée, $P$ et $R$ deviennent dépendants de la politique ($P_\pi$), transformant le problème en un jeu de Markov où les agents co-évoluent.
2. Définition des concepts clés :
   • Propriété auto-subversive : La tendance de l'optimisation unilatérale à induire des adaptations qui invalident les schémas qu'elle exploite.
   • Écart entraînement-test-déploiement : La divergence systématique entre la performance sur des données historiques exogènes ($J_{train}$) et les données endogènes générées par les réponses à la politique déployée ($J_{deploy}$).
   • Coopération : Définie non pas comme une tâche à résoudre ou une capacité à accroître, mais comme un processus de sélection d'équilibre par lequel plusieurs acteurs naviguent dans l'interdépendance pour sélectionner des équilibres bénéfiques.
3. Analyse des canaux d'adaptation : L'article catégorise les sources de non-stationnarité endogène en trois canaux :
   • Adaptation comportementale : Humains modifiant leurs stratégies (ex. : étudiants réapprenant autour de tuteurs IA).
   • Adaptation institutionnelle : Organisations et régulateurs révisant les règles et les flux de travail en réponse aux algorithmes.
   • Adaptation algorithmique : Autres systèmes d'IA se réentraînant et co-évoluant (ex. : algorithmes de tarification menant à une collusion émergente).

Contributions Clés
L'article formule trois affirmations théoriques principales et propose un nouvel agenda de recherche :

1. La thèse centrale : La coopération est une nécessité structurelle pour une coexistence bénéfique, et non un ajout optionnel. Une superintelligence solipsiste est intrinsèquement peu susceptible d'être coopérative car elle traite un monde dynamique et multi-acteurs comme un problème d'optimisation unilatéral et statique.
2. Limites épistémiques et de légitimité de la prédiction : L'article soutient que le simple fait de « modéliser » l'adaptation des autres agents est insuffisant en raison de :
   • Horizons épistémiques : L'incapacité à prédire les nouveaux équilibres générés par des interactions multi-agents ouvertes (nouveauté, réflexivité et explosion combinatoire).
   • Contraintes de légitimité : L'optimisation unilatérale contourne les procédures démocratiques et le respect des règles de droit. Même si une IA pouvait parfaitement prédire les résultats, imposer des solutions sans participation érode la légitimité nécessaire à la coordination sociale.
3. Un agenda de recherche non-solipsiste : Les auteurs proposent de passer d'une mise à l'échelle axée sur les capacités à une conception axée sur la coexistence, organisée autour de trois piliers :
   • Évaluation dynamique : Dépasser les benchmarks statiques pour des bancs d'essai où les distributions d'évaluation ($D_\pi$) dépendent de la politique $\pi$ à travers les réponses stratégiques des contreparties adaptatives.
   • Les institutions comme primitives de conception : Traiter les règles, les mécanismes et les protocoles comme des composants co-évolutifs du système (ex. : utiliser la théorie de la conception de mécanismes pour restructurer les incitations de manière dynamique) plutôt que comme des contraintes fixes.
   • Préservation de l'agence humaine : Concevoir des systèmes qui élargissent les espaces d'options humains et maintiennent les compétences cognitives humaines, plutôt que de remplacer la prise de décision humaine, afin de prévenir l'atrophie des capacités humaines nécessaires au fonctionnement à long terme du système.

Résultats et Affirmations
En tant qu'article théorique, il ne rapporte pas de résultats empiriques issus de nouvelles expériences. Ses « résultats » sont les déductions logiques tirées de la littérature existante et des principes de la théorie des jeux :

• Modes de défaillance : L'article démontre que traiter les jeux multi-acteurs comme des optimisations unilatérales mène à des problèmes d'action collective (ex. : la tragédie des communs, courses aux armements), même lorsque les agents individuels sont parfaitement alignés avec leurs spécifications.
• Risque de sélection d'équilibre : Les optimiseurs puissants peuvent faire basculer les systèmes sociaux vers de « mauvais » équilibres (ex. : polarisation, instabilité) qui sont difficiles à inverser en raison des effets de verrouillage (lock-in).
• Inadéquation de l'alignement actuel : L'article soutient que les techniques d'alignement actuelles (ex. : RLHF) agrègent souvent les préférences en un objectif unique, ce qui risque de supprimer le pluralisme des valeurs et de ne pas traiter la dynamique structurelle de l'interaction.

Signification
L'article affirme que la contrainte limitante de l'IA passe de la capacité (résoudre des tâches) à la coexistence (naviguer dans l'interdépendance). Il conteste le pari implicite de la méthodologie dominante selon lequel l'augmentation de la capacité produira naturellement des résultats coopératifs. Les auteurs soutiennent que sans un paradigme non-solipsiste qui traite l'interdépendance comme un principe de conception central, le déploiement de l'IA avancée risque de produire des défaillances systémiques qui sont auto-subversives et illégitimes. La portée de ce travail réside dans le recadrage de la sécurité de l'IA, non plus seulement comme un problème de prévention d'objectifs mal alignés, mais comme un problème de conception de systèmes capables de participer aux processus de sélection d'équilibre d'un monde dynamique composé de multiples acteurs.