Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

Résumé technique : « Sommes-nous condamnés à une course à l'IA ? Pourquoi l'intérêt propre pourrait pousser les pays vers un moratoire sur la superintelligence »

Énoncé du problème
La vision prédominante dans le discours entourant la superintelligence artificielle (SIA) est qu'un moratoire mondial sur son développement est irréalisable en raison d'incitations stratégiques. Les critiques soutiennent que même si la retenue mutuelle est collectivement optimale, les États individuels possèdent une stratégie dominante consistant à faire défection et à poursuivre la course à la suprématie géopolitique. Cette dynamique de « course au bas » suggère que la peur de prendre du retard (le « paiement du naïf ») l'emporte sur le risque partagé d'une perte catastrophique de contrôle, rendant un moratoire contraire à l'intérêt propre d'un État. Ce document remet en question cette hypothèse, interrogeant la possibilité qu'un moratoire puisse jamais être une stratégie rationnelle et motivée par l'intérêt propre pour les superpuissances géopolitiques.

Méthodologie
Les auteurs emploient un cadre formel de théorie des jeux pour modéliser l'interaction stratégique entre deux superpuissances géopolitiques (un « Leader » et un « Retardataire »). Le modèle opérationnalise la décision soit de « Courir » (poursuivre le développement avec des mesures de sécurité standard) soit de « Faire une pause » (imposer un moratoire pour maximiser la sécurité).

Le modèle est défini par quatre variables clés :

1. Écart de capacités ($\Delta$) : L'avantage relatif qu'un joueur détient dans le développement de la SIA, agrégeant des facteurs tels que la puissance de calcul et les progrès de la recherche.
2. Avantage du gagnant ($W$) : La valeur de l'avantage du premier arrivé, variant de 0 (coopératif) à 1 (le gagnant prend tout), capturant la subordination géopolitique du perdant.
3. Coût d'une SIA incontrôlée ($C$) : La désutilité découlant d'une perte de contrôle, normalisée par rapport au bénéfice d'une victoire sûre (normalisée à 1). Crucialement, le modèle permet $C > 1$, reflétant des scénarios où l'effondrement civilisationnel l'emporte sur tout gain stratégique.
4. Incertitude technologique ($\sigma$) : L'incertitude épistémique concernant la possibilité et l'échéancier du développement de la SIA.

Le choix de politique est binaire : Pause ($s=1$, sécurité maximale) ou Course ($s=0,85$, représentant un risque catastrophique de 15 % basé sur des enquêtes auprès d'experts). L'analyse identifie les équilibres de Nash en cartographiant le « Coût catastrophique » ($C$) contre l'« Écart de capacités » ($\Delta$) pour déterminer dans quelles conditions une pause devient la meilleure réponse rationnelle pour un État.

Contributions clés

1. Formalisation du moratoire comme stratégie d'intérêt propre : Contrairement aux modèles précédents qui traitent souvent la course comme un dilemme du prisonnier où la défection est dominante, ce document démontre que, sous certaines conditions paramétriques, un moratoire n'est pas seulement un idéal coopératif mais une stratégie rationnelle motivée par l'intérêt propre.
2. Identification de quatre mondes stratégiques : En variant le coût de la catastrophe par rapport à l'écart de capacités et à l'avantage du gagnant, les auteurs délimitent quatre environnements stratégiques distincts :
   • Harmonie sûre : Les deux États trouvent rationnel de faire une pause car le coût de la catastrophe est si élevé que la course n'offre aucun gain marginal.
   • Préemption : Le résultat stable unique est une course. La peur de l'avantage du premier arrivé de l'adversaire l'emporte sur la peur de la catastrophe, particulièrement lorsque les États sont proches de la parité.
   • Confiance : Un jeu de coordination où les deux préfèrent une pause mutuelle mais craignent d'être exploités si l'adversaire court.
   • Subversion : Un monde asymétrique où le Leader choisit rationnellement de faire une pause (en raison d'une forte probabilité de victoire et de la peur de la catastrophe), tandis que le Retardataire court pour combler l'écart.
3. Quantification des seuils : Le modèle quantifie les « seuils de coût » spécifiques où l'espace stratégique bascule de la course à la pause. Il montre que lorsque le coût perçu de la perte de contrôle ($C$) augmente suffisamment par rapport à l'avantage du gagnant ($W$) et à l'incertitude ($\sigma$), la stratégie rationnelle se déplace vers un moratoire.

Résultats
L'analyse révèle que la faisabilité d'un moratoire n'est pas statique mais dépend de l'interaction des variables :

• Rôle du coût catastrophique : Lorsque le coût perçu d'une SIA incontrôlée dépasse les avantages attendus de la suprématie géopolitique, un moratoire stable devient un choix d'intérêt propre.
• Impact de l'incertitude : Une incertitude technologique modérée ($\sigma$) élargit l'espace stratégique pour un moratoire. Lorsque les États sont incertains de la possibilité de gagner la course, l'incitation à couper les coins ronds diminue, rendant une pause plus rationnelle.
• Impact de l'avantage du gagnant : Une réduction de l'avantage du gagnant ($W$) abaisse le seuil du coût de la perte de contrôle requis pour rendre un moratoire rationnel.
• Trajectoire empirique : Le document présente des preuves empiriques suggérant que la perception mondiale du risque de SIA est en hausse. Citant des déclarations d'experts (par exemple, la Lettre ouverte de 2023, la Déclaration de Bletchley), des sondages d'opinion publique (par exemple, Reuters/Ipsos) et la création d'Instituts de sécurité de l'IA, les auteurs soutiennent que le coût perçu de la perte de contrôle ($C$) augmente. Ce changement suggère que les conditions requises pour qu'un moratoire soit dans l'intérêt propre d'un État deviennent plus plausibles dans le paysage géopolitique actuel.

Signification et affirmations
Le document affirme renverser l'hypothèse selon laquelle un moratoire est intrinsèquement contraire à l'intérêt propre d'un État. Il soutient que la « course » n'est pas un résultat inévitable du comportement rationnel des États, mais un résultat contingent de valeurs paramétriques spécifiques — notamment un faible coût perçu de la catastrophe par rapport aux avantages de la suprématie.

Les auteurs concluent modestement que, bien que la réalité géopolitique actuelle soit encore dominée par des dynamiques compétitives, l'espace stratégique pour un moratoire stable et rationnel s'étend. Ils postulent que, à mesure que le consensus scientifique sur les problèmes de contrôle s'accroît et que la gravité perçue des résultats catastrophiques augmente, les conditions dans lesquelles un moratoire devient la stratégie dominante pour des États motivés par l'intérêt propre sont « plus proches qu'on ne le suppose généralement ». Le document ne prétend pas qu'un moratoire est garanti, mais plutôt qu'il est une option viable et rationnelle dans des conditions évolutives, remettant en cause la vision fataliste selon laquelle une course à l'IA est inévitable.