Value Under Ignorance in Universal Artificial Intelligence

Cet article généralise l'agent d'apprentissage par renforcement AIXI en proposant d'interpréter la perte de sememesure comme une ignorance totale via des distributions de probabilité imprécises et des intégrales de Choquet, tout en établissant les limites de cette approche pour caractériser les utilités attendues les plus générales.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot ultra-intelligent comment vivre dans un monde complexe. C'est le défi central de ce papier, écrit par Cole Wyeth et Marcus Hutter.

Pour comprendre leur idée, détachons-nous un instant des mathématiques complexes et utilisons quelques images simples.

1. Le Robot et la Carte Incomplète

Imaginez un explorateur (notre robot, appelé AIXI) qui se promène dans une forêt inconnue. Il a une carte, mais cette carte est un peu bizarre : elle ne couvre pas tout le monde. Parfois, la carte s'arrête brusquement.

Dans le monde de l'intelligence artificielle classique, on dit souvent : "Si la carte s'arrête, c'est que l'explorateur est mort." C'est ce qu'on appelle la "chance de mort". Si le robot pense qu'il y a un risque de mourir, il va essayer de maximiser ses récompenses (comme ramasser des pommes) avant que cela n'arrive.

Mais les auteurs se demandent : Et si la carte ne s'arrêtait pas parce que le robot est mort, mais simplement parce que nous ignorons ce qui se passe après ?

2. Le Problème de l'Ignorance

Prenons une analogie avec un jeu de devinettes.

• L'interprétation classique (La mort) : Vous jouez à un jeu où vous gagnez des points. Si vous ne pouvez plus jouer, c'est que vous êtes éliminé. Vous devez donc jouer pour gagner le plus de points possible avant d'être éliminé.
• L'interprétation des auteurs (L'ignorance) : Imaginez que vous ne savez pas si le jeu continue ou non. Vous avez une "zone d'ombre". Au lieu de dire "Je suis mort", vous dites : "Je ne sais pas ce qui se passe dans cette zone d'ombre. Je ne peux pas faire de suppositions."

C'est ici qu'intervient le concept clé du papier : l'ignorance totale. Au lieu de forcer le robot à croire qu'il va mourir (ce qui le rendrait trop prudent ou suicidaire), les auteurs proposent de dire : "Nous ne savons pas. Donc, nous devons prendre une décision qui est bonne même dans le pire des cas possibles de cette ignorance."

3. La Solution : Le "Choix du Pessimiste" (Intégrale de Choquet)

Pour gérer cette ignorance sans paniquer, les auteurs utilisent un outil mathématique appelé l'intégrale de Choquet.

Faisons une analogie avec un avocat très prudent :

• Si vous avez un dossier avec des preuves solides, vous êtes optimiste.
• Mais si vous avez un dossier avec des trous (de l'ignorance), un avocat très prudent va dire : "Supposons que le pire scénario possible se réalise dans les zones où nous n'avons pas de preuves."

C'est ce que fait le robot avec la nouvelle méthode. Au lieu de calculer une moyenne (comme on le fait habituellement en disant "il y a 50% de chances que ça marche"), il regarde le pire des cas dans les zones d'ombre.

• Si la zone d'ombre pourrait signifier "mort", le robot se comporte prudemment.
• Mais la magie de cette méthode, c'est qu'elle permet aussi de définir des objectifs plus complexes que de simples "points de récompense".

4. Pourquoi est-ce important ?

Dans le monde réel, nous ne voulons pas seulement que les robots ramassent des pommes (récompenses). Nous voulons qu'ils aient des objectifs (comme "être utile", "ne pas nuire", "apprendre").

• Avant : Les robots étaient comme des enfants gâtés qui ne pensaient qu'à la récompense immédiate.
• Maintenant : Grâce à cette nouvelle méthode, on peut dire au robot : "Voici une règle complexe sur ce qui est 'bien' ou 'mal' dans l'histoire de tes actions."

Le papier montre que même si on ne sait pas tout (ignorance), on peut quand même trouver la meilleure stratégie pour atteindre ces objectifs complexes, à condition d'accepter de regarder le pire des cas dans les zones inconnues.

En résumé

Ce papier propose de changer la façon dont nous pensons à l'intelligence artificielle face à l'inconnu :

1. Arrêtons de dire "c'est la mort" quand on ne sait pas ce qui va arriver.
2. Disons plutôt "c'est de l'ignorance totale".
3. Utilisons une stratégie de "prudence extrême" (l'intégrale de Choquet) pour prendre des décisions qui fonctionnent bien, même si l'inconnu se révèle être le pire scénario possible.

C'est une façon plus souple et plus sûre de programmer des intelligences artificielles qui doivent naviguer dans un monde où tout n'est pas prévisible, sans les rendre suicidaires ou trop conservateurs.

Résumé technique

1. Problématique

L'article aborde les limitations de l'agent d'apprentissage par renforcement universel AIXI (Hutter, 2000). Bien que AIXI soit une description élégante de l'intelligence générale, il est intrinsèquement conçu pour maximiser la somme des récompenses (un signal scalaire externe). Cela pose plusieurs problèmes :

• Limitation des objectifs : AIXI ne modélise pas naturellement des agents décisionnels avec des fonctions d'utilité arbitraires, ce qui est crucial pour l'alignement de l'IA et la modélisation de cognitions complexes.
• Ambiguïté des mesures semi-probabilistes : Dans le cadre de l'IA universelle, les agents utilisent des distributions de croyance basées sur des semi-mesures (des fonctions qui ne sont pas nécessairement additives, car la somme des probabilités peut être inférieure à 1).
• Interprétation de la perte de semi-mesure : La différence entre la masse de probabilité d'un préfixe d'histoire et la somme de ses extensions (la « perte de semi-mesure ») est souvent interprétée comme une chance de mort (transition vers un état absorbant à récompense nulle). Cette interprétation force l'agent à attribuer une utilité aux histoires finies, ce qui introduit des biais de pessimisme (max-min) et des problèmes de calculabilité.

L'objectif du papier est de généraliser AIXI à une classe plus large de fonctions d'utilité continue et de proposer une interprétation mathématique rigoureuse de la « perte de semi-mesure » qui ne repose pas nécessairement sur la mort de l'agent.

2. Méthodologie

Les auteurs développent un cadre théorique combinant la théorie de la mesure, les semi-mesures et la théorie des probabilités imprécises.

• Extension des Semi-mesures : Ils formalisent la transition des « pré-semi-mesures » (définies sur les cylindres d'histoires finies) vers de véritables semi-mesures sur l'espace de Cantor (histoires infinies). En utilisant le théorème d'extension de Carathéodory, ils montrent qu'une pré-semi-mesure $\nu_0$ définit une mesure de probabilité unique $P$ sur un espace étendu $\Omega' = A^* \cup A^\infty$ (incluant les séquences finies et infinies).
• Interprétation de la Perte : La perte de semi-mesure $L_\nu(x)$ est interprétée non pas comme une mort, mais comme une ignorance totale. Cela permet de voir la distribution de croyance non pas comme une probabilité unique, mais comme un ensemble de croyances (Credal Set), noté $\text{Core}(\nu)$, contenant toutes les mesures de probabilité compatibles avec la semi-mesure.
• Intégration de Choquet : Pour calculer l'utilité attendue dans ce cadre d'ignorance (probabilités imprécises), les auteurs utilisent l'intégrale de Choquet. Contrairement à l'espérance mathématique classique, l'intégrale de Choquet par rapport à une semi-mesure correspond au minimum de l'espérance sur l'ensemble de croyances $\text{Core}(\nu)$. Cela équivaut à une règle de décision max-min (pessimiste).
• Fonctions d'Utilité Continues : Ils définissent des agents basés sur des fonctions d'utilité $u$ continues sur l'espace des histoires (finies et infinies), généralisant ainsi la somme de récompenses discountées.

3. Contributions Clés

1. Généralisation d'AIXI : Introduction d'une version d'AIXI capable d'optimiser n'importe quelle fonction d'utilité continue, dépassant le paradigme de la récompense scalaire.
2. Théorie de l'Extension : Démonstration rigoureuse de l'extension des pré-semi-mesures en semi-mesures via une mesure de probabilité sous-jacente sur un espace incluant les séquences finies.
3. Équivalence Intégrale de Choquet : Preuve que la fonction de valeur récursive standard d'AIXI (somme de récompenses) est un cas particulier de l'intégrale de Choquet par rapport à la distribution d'histoires.
4. Analyse de la Calculabilité : Investigation des niveaux de calculabilité (dans la hiérarchie arithmétique) des nouvelles fonctions de valeur.
5. Interprétation de l'Ignorance : Proposition de traiter la perte de semi-mesure comme une ignorance (ensemble de croyances) plutôt que comme une mort, ce qui modifie la sémantique de l'agent.

4. Résultats Principaux

• Existence d'une Politique Optimale : Sous l'hypothèse d'une fonction d'utilité continue et d'une distribution universelle, il existe une politique optimale $\pi^*$. Cela découle de la compacité de l'espace de Cantor et de la continuité de la fonction d'utilité.
• Niveau de Calculabilité :
  • Si la fonction d'utilité $u$ est semi-calculable inférieurement (l.s.c.) et continue, alors la fonction de valeur $V^{\pi}_{\nu, u}$ est également semi-calculable inférieurement.
  • Ce résultat est légèrement meilleur que pour l'utilité attendue classique dans certains cas, car l'intégrale de Choquet préserve mieux les propriétés de semi-calculabilité face aux défauts des semi-mesures.
  • Cependant, les auteurs notent que l'interprétation « mort » (où la valeur d'une histoire finie est la somme des récompenses reçues) peut rendre la fonction de valeur non semi-calculable si les récompenses peuvent être négatives, car cela brise la continuité nécessaire.
• Récupération du Cas Standard : La fonction de valeur récursive classique d'AIXI est récupérée comme un cas particulier de l'intégrale de Choquet lorsque l'on considère la perte de semi-mesure comme une transition vers un état de récompense nulle (mort).
• Limites de l'Interprétation Mort : L'interprétation littérale de la mort force l'agent à être extrêmement pessimiste (max-min). L'approche par les probabilités imprécises (Choquet) offre une alternative mathématiquement plus robuste, bien qu'elle introduise toujours un biais de pessimisme inhérent à l'approche min-max.

5. Signification et Implications

• Pour l'Alignement de l'IA : Ce travail ouvre la voie à la conception d'agents dont les objectifs ne sont pas limités à la maximisation d'une récompense externe, mais peuvent inclure des objectifs complexes et modulaires spécifiés par l'utilisateur.
• Théorie de la Décision : Il fournit un cadre formel pour la prise de décision sous ignorance profonde (modélisée par des semi-mesures) en reliant la théorie de l'IA universelle à la théorie des probabilités imprécises (ensembles de croyances).
• Sémantique de la Terminaison : L'article remet en question l'interprétation standard de la « mort » de l'agent dans les modèles d'IA universelle. En traitant la perte de probabilité comme de l'ignorance plutôt que comme une fin de vie, les auteurs suggèrent que les agents pourraient adopter des comportements moins suicidaires et plus nuancés face à l'incertitude.
• Calculabilité : Les résultats sur la semi-calculabilité sont cruciaux pour comprendre les limites théoriques de l'implémentation pratique de tels agents universels et pour développer des approximations algorithmiques (comme AIXI$_{tl}$).

En résumé, Wyeth et Hutter proposent une refonte mathématique de la valeur attendue en IA universelle, remplaçant l'espérance classique par l'intégrale de Choquet pour gérer l'ignorance inhérente aux modèles de semi-mesure, tout en élargissant considérablement le spectre des objectifs que ces agents peuvent poursuivre.