The Undecidability of Artificial General Intelligence (AGI) Alignment

L'idée principale : Vous ne pouvez pas prouver qu'un robot est sûr

Imaginez que vous construisez un robot super intelligent (une AGI) capable d'apprendre n'importe quoi et de résoudre n'importe quel problème. Votre objectif est d'écrire un « manuel de sécurité » qui prouve, à 100 % du temps, que ce robot ne fera jamais de mal à personne ou ne deviendra pas incontrôlable.

Cet article soutient qu'il est mathématiquement impossible d'écrire un tel manuel de sécurité parfait.

L'auteur ne dit pas que le robot va devenir incontrôlable. L'argument est que vous ne pourrez jamais prouver qu'il ne le deviendra pas. Ce n'est pas un problème de mauvaise ingénierie ou d'ordinateurs lents ; c'est une loi fondamentale de la logique, comme la gravité. Peu importe l'intelligence de votre robot, ou l'argent que vous dépensez pour le tester, vous ne pouvez pas créer un « certificat de sécurité » universel qui fonctionne pour toutes les situations possibles.

---

Les trois murs infranchissables

L'article explique qu'il existe trois manières de tenter de prouver qu'un robot est sûr, et l'auteur démontre que les trois se heurtent à un « mur » où la logique s'effondre.

1. Le Mur de l'Infini (Le problème du « Tout »)

L'idée : Vous essayez de tester le robot dans toutes les situations possibles, pour toujours.
L'analogie : Imaginez essayer de vérifier chaque phrase qu'une personne pourrait jamais dire pour s'assurer qu'elle ne ment jamais.
Le problème : Parce que le robot est assez intelligent pour réfléchir sur lui-même (comme un humain), il peut créer des boucles et des énigmes complexes. L'article utilise le théorème de Rice et l'incomplétude de Gödel pour montrer que si un système est assez intelligent pour faire des mathématiques générales, il y aura toujours un comportement « sûr » qui semble dangereux, ou un comportement « dangereux » qui semble sûr, et vous ne pourrez jamais écrire une règle pour faire la distinction. C'est comme essayer d'attraper une ombre avec un filet ; plus vous essayez de la définir, plus elle s'échappe.

2. Le Mur du Fini (Le problème du « Matériel »)

L'idée : « D'accord, arrêtons de penser à l'infini. Le monde réel est fini. Le robot a une batterie, un processeur et une quantité limitée de mémoire. Si nous vérifions simplement chaque chose qu'il peut faire sur ce matériel spécifique, nous pouvons prouver qu'il est sûr, n'est-ce pas ? »
L'analogie : Imaginez un échiquier. Il est fini (64 cases). Vous pourriez, en théorie, calculer chaque mouvement possible.
Le Problème : L'article introduit le Mur de Trakhtenbrot. Il stipule que si vous pouvez vérifier un échiquier spécifique, vous ne pouvez pas écrire une règle unique qui garantisse la sécurité pour chaque configuration informatique possible dans l'univers.
Si vous essayez de créer une « Règle de Sécurité Universelle » qui fonctionne pour n'importe quel ordinateur fini (quelle que soit sa taille, sa puce), les mathématiques disent que la règle elle-même devient impossible à calculer. C'est comme essayer d'écrire un manuel d'instructions unique qui fonctionnerait pour toutes les voitures jamais construites ; le manuel devrait être infiniment long et complexe, le rendant impossible à lire ou à vérifier.

3. Le Mur de la Complexité (Le problème des « Échecs »)

L'idée : « Et si nous vérifiions simplement un ordinateur spécifique, un moment spécifique et un ensemble de règles spécifiques ? Ne pouvons-nous pas simplement utiliser la force brute ? »
L'analogie : Pensez à une partie d'échecs. Nous savons que le jeu est fini. Nous savons qu'il y a un « coup parfait » pour chaque situation. Mais le nombre de parties possibles est si immense (plus que le nombre d'atomes dans l'univers) que même si vous aviez un ordinateur de la taille de l'univers, il faudrait plus de temps que la durée de vie de l'univers pour calculer le coup parfait.
Le Problème : L'article soutient que vérifier un robot intelligent est comparable à cela. Même si le robot est piégé dans une petite boîte finie, le nombre de façons dont il peut se comporter est si complexe que les vérifier tous est intraitable. Ce n'est pas « impossible » en théorie, mais c'est impossible en pratique. Cela nécessite plus de puissance de calcul que ce qui existe dans l'univers.

---

Le « Trilemme » : Vous ne pouvez avoir que deux des trois

L'article conclut par un « Trilemme ». Imaginez que vous voulez trois choses de votre système de sécurité :

1. La Correction (Soundness) : Il ne donne jamais un signal « Sûr » erroné (il ne se trompe jamais quand il dit « Allez-y »).
2. La Complétude (Completeness) : Il ne manque jamais un danger (il détecte absolument tout ce qui est mauvais).
3. La Tractabilité (Tractability) : Il vous donne la réponse rapidement (en un temps raisonnable).

Le Verdict de l'article : Vous pouvez en avoir deux, mais jamais les trois.

• Si vous voulez qu'il soit Rapide et Jamais Erroné, vous devez accepter qu'il manquera certains dangers (il est incomplet).
• Si vous voulez qu'il soit Jamais Erroné et qu'il Détecte Tout, il faudra un temps infini pour obtenir une réponse (il est intraitable).
• Si vous voulez qu'il soit Rapide et qu'il Détecte Tout, il va parfois mentir et dire qu'un robot dangereux est sûr (il est non fiable/unsound).

Ce que cela signifie pour les ingénieurs

L'article affirme que les ingénieurs actuels font déjà la seule chose qu'ils peuvent faire : sacrifier la Complétude.

Pour garder les robots en sécurité, nous les rendons délibérément « plus bêtes » ou « plus aveugles ». Nous le faisons par :

• Le Blindage (Shielding) : Mettre le robot dans une cage où il ne peut parler qu'un langage simple (pour qu'il ne puisse pas poser de questions complexes et dangereuses).
• Le Code Porteur de Preuve (Proof-Carrying Code) : Forcer le robot à présenter une preuve mathématique avant d'agir (ce qui signifie qu'il ne peut rien faire de complexe qu'il ne puisse prouver instantanément).
• Les Horizons Courts (Short Horizons) : Dire au robot : « Ne pense qu'à 5 secondes dans le futur », afin qu'il ne puisse pas planifier des ruses à long terme.

La conclusion finale

Le message principal de l'article est un peu désolant : la barrière fondamentale de la sécurité de l'IA n'est pas que nous ne pouvons pas construire un robot sûr ; c'est que nous ne pourrons jamais mathématiquement prouver qu'il est sûr.

La « sécurité » que nous avons aujourd'hui est une illusion temporaire créée en restreignant la liberté du robot. Nous forçons le robot à opérer dans une boîte minuscule et simple pour pouvoir le vérifier. Mais dès que nous laissons le robot être véritablement « Général » (assez intelligent pour tout faire), les mathématiques disent que nous perdons la capacité de le vérifier. Nous échangeons le plein potentiel du robot contre notre tranquillité d'esprit.