Résumé technique : Les modèles de monde imparfaits sont exploitables

Énoncé du problème

En apprentissage par renforcement (RL), la planification efficace dans le monde réel nécessite souvent d'approximer des dynamiques complexes via des modèles de monde imparfaits. Bien que des approximations bien choisies puissent rendre des problèmes insolubles, des approximations mal choisies peuvent compromettre la sécurité. Ce mode de défaillance, connu sous le nom d'exploitation de modèle, se produit lorsqu'un agent entraîné à maximiser la récompense espérée sous un modèle de transition imparfait découvre une politique qui fonctionne bien en simulation mais mal dans la réalité.

La question centrale abordée est de savoir si l'exploitation de modèle peut être évitée. Alors que des travaux antérieurs sur le piratage de récompense (Skalse et al., 2022) ont établi les conditions dans lesquelles les erreurs de spécification de récompense peuvent être évitées, il est incertain si des résultats analogues s'appliquent aux erreurs de modèle de transition. La littérature existante repose souvent sur des mesures cardinales de la qualité du modèle (par exemple, les bornes d'erreur de prédiction), mais les auteurs soutiennent que pour une planification sûre, une sécurité ordinale est requise : un modèle est sûr uniquement s'il préserve l'ordre relatif des politiques induit par l'environnement réel. Plus précisément, si le modèle réel préfère la politique $\pi$ à $\pi'$, une approximation sûre ne doit pas préférer $\pi'$ à $\pi$.

Méthodologie et cadre théorique

Définitions

L'article formalise l'exploitation de modèle comme une relation binaire entre deux modèles de transition, $T$ et $T'$. Une paire est exploitable par rapport à un ensemble de politiques $\Pi$ s'il existe des politiques $\pi, \pi' \in \Pi$ telles que :
$$J_T(\pi) > J_T(\pi') \quad \text{et} \quad J_{T'}(\pi') > J_{T'}(\pi)$$
où $J_T$ désigne la fonction de valeur sous le modèle de transition $T$. Cela est défini comme une inversion de valeur. Les auteurs distinguent cela du piratage de récompense, où l'inversion se produit entre deux fonctions de récompense $R$ et $R'$ sous un modèle de transition fixe.

Obstacles théoriques clés

Les auteurs démontrent que les techniques utilisées pour caractériser le piratage de récompense ne se transfèrent pas directement à l'exploitation de modèle en raison de différences géométriques fondamentales :

1. Linéarité vs Non-linéarité : La fonction de valeur $J(\pi) = \langle R, F^\pi_T \rangle$ est linéaire par rapport à la fonction de récompense $R$ mais non linéaire par rapport au modèle de transition $T$ (spécifiquement, par rapport à la fonction de masse de probabilité). Par conséquent, la machinerie d'algèbre linéaire utilisée dans l'analyse du piratage de récompense est insuffisante pour les modèles de transition.
2. Contraintes de domaine : Les fonctions de récompense résident dans un espace euclidien fermé sous la négation et le mise à l'échelle, tandis que les modèles de transition résident sur un produit compact de simplexes, manquant d'une structure d'espace vectoriel.

Théorie unifiée via la rationalité de la fonction de valeur

Pour surmonter ces obstacles, les auteurs développent une théorie unifiée basée sur la rationalité de la fonction de valeur dans l'espace des politiques. Pour les MDP finis, $J(\pi)$ est une fonction rationnelle des paramètres de politique $\pi$ et est réelle-analytique à l'intérieur de l'espace des politiques ($\Pi^+$).

En utilisant cette propriété, les auteurs dérivent deux lemmes géométriques concernant les gradients des fonctions de valeur ($\nabla J_1$ et $\nabla J_2$) :

• Inversion locale (Lemme 1) : S'il existe une direction dans l'espace des politiques où une fonction de valeur augmente tandis que l'autre diminue, une inversion de valeur (exploitation) existe.
• Équivalence globale (Lemme 2) : Si les gradients de deux fonctions de valeur non triviales sont positivement proportionnels partout sur un sous-ensemble ouvert, les fonctions sont équivalentes (aucune inversion n'existe).

Contributions et résultats clés

1. Inévitabilité de l'exploitation sur les grands ensembles de politiques

L'article établit que pour tout ensemble de politiques contenant un sous-ensemble ouvert (par exemple, l'ensemble de toutes les politiques stationnaires, les politiques sous-optimales à $\epsilon$, ou les politiques déterministes à $\delta$), l'exploitation de modèle est inévitable pour toute paire de modèles de transition non triviaux et non équivalents.

• Théorème 1 : Si un ensemble de politiques contient un sous-ensemble ouvert, toute paire non triviale et non équivalente de fonctions de valeur admet une inversion de valeur.
• Corollaire 1 : Par conséquent, chaque paire non triviale et non équivalente de modèles de transition est exploitable sur de tels ensembles de politiques.
  Ce résultat contraste avec la « possibilité » d'éviter le piratage de récompense dans des ensembles finis, montrant que la dépendance non linéaire de la valeur par rapport aux modèles de transition rend l'inevitabilité de l'exploitation impossible dans les classes de politiques riches.

2. Distinction par rapport au piratage de récompense dans les ensembles finis

Alors que le piratage de récompense peut être évité sur des ensembles de politiques finis (sous certaines conditions de régularité), les auteurs montrent que l'inevitabilité de l'exploitation ne peut être garantie pour les ensembles de politiques finis de la même manière.

• Contre-exemple 2 : Même lorsque les conditions de régularité pour le piratage de récompense sont remplies (comptes de visites non colinéaires), il existe des tâches et des ensembles de politiques finis où chaque paire de modèles de transition non équivalents est exploitable. Les auteurs émettent l'hypothèse qu'aucune condition nécessaire et suffisante simple n'existe pour l'inevitabilité de l'exploitation dans les ensembles finis en raison de la géométrie complexe induite par le modèle de transition non linéaire.

3. Réduction et non-réduction

• Proposition 3 : Chaque instance d'exploitation de modèle peut être réduite à une instance de piratage de récompense. Si $(T, T')$ est exploitable, il existe une fonction de récompense $R'$ telle que $(R, R')$ soit piratable.
• Contre-exemple 1 : La réciproque ne tient pas. Le piratage de récompense n'implique pas nécessairement l'exploitation de modèle, car les perturbations dans les modèles de transition peuvent ne pas altérer l'ordre relatif des politiques sous des récompenses fixes.

4. Notion relâchée : $\epsilon$-exploitabilité et horizons sûrs

Reconnaissant que l'inevitabilité stricte est souvent inatteignable, les auteurs introduisent l'$\epsilon$-exploitabilité, qui autorise de petites inversions de valeur. Ils dérivent un horizon sûr ($H$) dans lequel l'inevitabilité à $\epsilon$ est garantie.

• Théorème 2 : Pour une tolérance donnée $\epsilon$ et une distance de variation totale $\delta$ entre les modèles, il existe une borne serrée sur l'horizon effectif $1/(1-\gamma)$. Si l'horizon est plus court que $H(\epsilon, \delta)$, les modèles sont $\epsilon$-inevitables.
• Corollaire 4 (Heuristique de racine carrée) : Une borne plus lâche mais intuitive suggère que l'horizon sûr évolue approximativement comme $\sqrt{\epsilon/\delta}$. Cela formalise l'intuition selon laquelle les erreurs de modèle s'accumulent sur l'horizon de planification ; à mesure que la précision du modèle ($\delta$) diminue, l'horizon de planification sûr doit se raccourcir pour éviter des inversions catastrophiques.

Importance et affirmations

L'article prétend fournir la première notion ordinale de sécurité pour les modèles de monde, déplaçant le focus de la précision de prédiction cardinale vers la préservation de l'ordre des politiques. Sa signification principale réside dans :

1. La formalisation des limites de la planification sûre : Il prouve que dans des classes de politiques suffisamment riches, le recours à des modèles de monde imparfaits conduit inévitablement à l'exploitation, indépendamment de l'algorithme d'apprentissage spécifique utilisé.
2. L'unification du piratage et de l'exploitation : Il établit un pont formel entre le piratage de récompense et l'exploitation de modèle, montrant qu'ils partagent une racine géométrique commune (l'inversion de valeur) tout en mettant en évidence les défis mathématiques distincts posés par les modèles de transition.
3. Des bornes pratiques : En introduisant l'$\epsilon$-exploitabilité, l'article offre un cadre pratique pour quantifier la sécurité. Il fournit une expression sous forme fermée pour l'horizon de planification maximal qu'un niveau donné d'erreur de modèle peut supporter, offrant une base théorique pour une planification conservatrice en RL basé sur des modèles.

Les auteurs concluent que si une sécurité parfaite (inevitabilité) est inatteignable dans des paramètres généraux, les horizons sûrs dérivés peuvent guider le développement de méthodes de synthèse de politiques plus sûres et fournir des métriques pour quantifier la qualité des politiques synthétisées par rapport aux objectifs de sécurité.