Instrumental convergence and power-seeking

Résumé technique : Convergence instrumentale et recherche de pouvoir

Énoncé du problème
L'article traite de l'argument selon lequel l'intelligence artificielle (IA) pose un risque existentiel pour l'humanité parce que les agents artificiels seraient enclin à la « recherche de pouvoir » (power-seeking). Cet argument repose sur la Thèse de la Convergence Instrumentale (TCI), qui postule qu'une grande variété d'agents ayant des objectifs finaux divers convergera vers la poursuite du pouvoir (par exemple, l'acquisition de ressources, l'autopréservation) car le pouvoir est instrumentellement utile pour atteindre presque n'importe quel objectif.

L'auteur, David Thorstad, identifie une lacune critique dans la littérature : alors que la TCI est souvent utilisée pour justifier les craintes d'une IA catastrophique, la thèse est généralement formulée sous une forme faible (le fait que le pouvoir aide à atteindre des objectifs) plutôt que sous la forme forte requise pour fonder des arguments de risque existentiel. L'article cherche à déterminer si les défenses informelles et formelles de la TCI parviennent à établir la Poursuite d'Objectifs Catastrophiques — l'affirmation selon laquelle les agents sont susceptibles de rechercher le pouvoir à un degré qui entraîne un dépouillement permanent et existentiellement catastrophique de l'humanité.

Méthodologie
L'article emploie une méthodologie conceptuelle et analytique, disséquant la structure logique de « l'argument de la recherche de pouvoir » et évaluant la force de ses prémisses. L'analyse se déroule en trois étapes :

1. Décomposition logique : L'auteur distingue la Réalisation d'Objectifs (le pouvoir aide à atteindre des objectifs) de la Poursuite d'Objectifs (les agents vont réellement rechercher le pouvoir). Il soutient en outre que même la Poursuite d'Objectifs est insuffisante ; l'argument nécessite la Poursuite d'Objectifs Catastrophiques (les agents poursuivent le pouvoir à un degré catastrophique).
2. Évaluation de l'argument informel : La section 3 analyse « l'argument du désalignement », une défense informelle majeure de la recherche de pouvoir. Cet argument suggère que la spécification incorrecte des récompenses et la généralisation erronée des objectifs mèneront les agents à poursuivre des objectifs catastrophiques. L'auteur teste cela par rapport aux capacités actuelles de l'IA, spécifiquement les modèles de langage de grande taille (LLM), afin d'évaluer la probabilité d'un « sous-pondération catastrophique » ou d'un « envahissement rapide » des valeurs humaines.
3. Évaluation des théorèmes formels : Les sections 4 et 5 examinent de manière critique le Modèle de Markov Orbital (Turner et al., 2021), un cadre formel destiné à prouver que les agents chercheront le pouvoir (spécifiquement la préservation des options et l'évitement de l'arrêt/shutdown) sous « la plupart » des fonctions de récompense. L'auteur analyse les définitions du pouvoir dans le modèle, son recours aux permutations d'états (involutions), et son extrapolation des propriétés mathématiques vers des résultats catastrophiques réels.

Contributions clés et résultats

• Distinction des affirmations : L'article clarifie que la Thèse de la Convergence Instrumentale (TCI) standard établit que le pouvoir est conforme à la réalisation d'objectifs, mais cela n'implique pas logiquement que les agents rechercheront le pouvoir, ni qu'ils le feront à un degré catastrophique. L'auteur soutient que la « Poursuite d'Objectifs Catastrophiques » est une affirmation nettement plus forte qui nécessite une justification distincte et robuste.
• Critique de l'argument du désalignement : L'auteur soutient que les arguments informels basés sur la spécification incorrecte des récompenses (ex: l'exemple de « guérir le cancer ») et la généralisation erronée des objectifs ne parviennent pas à établir la Poursuite d'Objectifs Catastrophiques.
  • Preuve : En citant les interactions avec des modèles comme GPT-4o, l'auteur démontre que même face à des objectifs mal spécifiés (ex: « guérir le cancer le plus vite possible »), les modèles avancés actuels font preuve d'un raisonnement moral qui rejette les moyens catastrophiques (ex: infecter les humains avec des tumeurs).
  • Résultat : Le degré de désalignement requis pour produire une catastrophe existentielle (ex: accorder une telle valeur à l'atteinte de l'objectif qu'elle l'emporte sur tout dépouillement humain) n'est pas soutenu par les preuves actuelles de généralisation erronée des objectifs, qui survient généralement dans des environnements simples et de type « jouet ».
• Critique des théorèmes de recherche de pouvoir (Modèle de Markov Orbital) : L'auteur identifie trois défis fondamentaux posés par les preuves formelles de Turner et al. (2021) :
  1. Déplacement de prémisse : Les théorèmes prouvent que les agents éviteront l'arrêt pour préserver leurs options (Shutdown Avoidance). Cependant, ils ne prouvent pas que les agents chercheront le dépouillement de l'humanité (Poursuite d'Objectifs Catastrophiques). Éviter l'arrêt est une condition nécessaire à la recherche de pouvoir, mais cela n'implique pas que l'agent cherchera le pouvoir aux dépens de l'humanité. L'agent pourrait chercher le pouvoir pour le bénéfice de l'humanité.
  2. Durabilité de la menace : L'auteur introduit le « Problème de Dreamland », un contre-exemple où un état d'« arrêt » est remplacé par un réseau large et entièrement connecté d'états inoffensifs. Les théorèmes prédisent que les agents entreront dans ce réseau pour préserver leurs options. Cela suggère que la menace n'est pas robuste ; si les concepteurs peuvent structurer l'environnement pour offrir une préservation d'options « inoffensive », le risque existentiel disparaît. Cela mine la revendication selon laquelle la menace est inévitable.
  3. Inertie motivationnelle de l'involution : Les théorèmes reposent sur le comptage des « involutions » (permutations) des fonctions de récompense pour montrer que « la plupart » des fonctions mènent à la recherche de pouvoir. L'auteur soutient que cela est « motivationnellement inerte ». Le fait qu'un agent pourrait avoir une fonction de valeur menant au désastre (et que la plupart des permutations le font) ne signifie pas que l'agent réel, entraîné dans un environnement spécifique avec apprentissage de valeurs, est susceptible de se comporter ainsi. La probabilité mathématique des permutations ne se traduit pas en probabilité psychologique du comportement d'un agent spécifique.

Signification et revendications
L'article affirme que les principaux arguments en faveur du risque existentiel de l'IA rechercheuse de pouvoir — tant informels (désalignement) que formels (Théorèmes de Markov Orbitaux) — échouent à établir la prémisse nécessaire de la Poursuite d'Objectifs Catastrophiques.

L'auteur conclut que :

• L'argument de la recherche de pouvoir repose sur une version forte de la convergence instrumentale qui n'a pas été prouvée.
• Les défenses actuelles reposent sur des hypothèses concernant l'architecture des agents, l'apprentissage des valeurs et les environnements d'entraînement qui ne sont pas encore étayées.
• Par conséquent, l'urgence des interventions politiques et la priorité morale accordée au longtermisme (qui dépend souvent de la certitude du risque existentiel de l'IA) nécessitent des arguments fondamentaux plus solides que ceux existants actuellement.

L'article ne prétend pas que le risque lié à l'IA est inexistant, mais plutôt que l'argument spécifique de la « recherche de pouvoir », tel qu'il est actuellement formulé et défendu, est insuffisant pour fonder la thèse selon laquelle l'IA dépouilera inévitablement l'humanité. Il appelle à des hypothèses plus substantielles concernant les motivations des agents et la dynamique d'apprentissage pour renforcer l'argument.