Résumé Technique : AETDICE : Cadre Unifié et Optimisation Hors Ligne pour l'Apprentissage par Renforcement Multi-Objectif Non Linéaire

1. Énoncé du Problème

L'apprentissage par renforcement multi-objectif (MORL) vise à optimiser des décisions séquentielles sous plusieurs objectifs, souvent concurrents. Si la scalarisation linéaire (sommes pondérées) réduit le MORL au RL mono-objectif standard, la scalarisation non linéaire est essentielle pour capturer des préférences complexes telles que l'aversion au risque, l'équité ou les rendements décroissants.

Historiquement, le MORL non linéaire a été divisé en deux paradigmes distincts basés sur l'ordre de la scalarisation et de l'espérance :

1. Retour Espéré Scalarisé (SER - Scalarized Expected Return) : Applique la non-linéarité au vecteur de retour espéré ($u(\mathbb{E}[R])$). Cela nécessite une optimisation au niveau global car la contribution marginale d'une action dépend du retour espéré global de la politique, ce qui nécessite souvent des politiques stochastiques.
2. Espérance du Retour Scalarisé (ESR - Expected Scalarized Return) : Applique la non-linéarité à chaque retour de trajectoire ($\mathbb{E}[u(R)]$). Cela crée un problème non markovien où l'action optimale dépend de l'historique des récompenses accumulées, nécessissant une augmentation de l'état pour restaurer la propriété de Markov.

La Lacune : Les méthodes existantes de RL hors ligne (offline RL) ont traité la scalarisation linéaire et les objectifs de type SER. Cependant, l'ESR reste non traité dans le contexte hors ligne. La non-linéarité au niveau de la trajectoire rend les actions optimales dépendantes des récompenses accumulées, et l'apprentissage de telles politiques conditionnées par la récompense à partir de jeux de données statiques n'a pas été exploré. De plus, aucune méthode existante ne traite les objectifs combinant à la fois des non-linéarités au niveau de la trajectoire et au niveau de l'espérance, ni ne gère les compromis spécifiques induits par de telles combinaisons.

2. Méthodologie

Le Cadre AET

Les auteurs proposent le cadre AET (Aggregation–Expectation–Transformation) pour unifier les objectifs de MORL non linéaires. AET décompose le processus de scalarisation en trois composantes :

1. Transformation (F) : Une transformation au niveau de la trajectoire $F: \mathbb{R}^m \to \mathbb{R}^n$ qui mappe le vecteur de retour vers $n$ dimensions d'utilité (par exemple, pour capturer les rendements décroissants via $\log$ ou l'efficacité via Cobb-Douglas).
2. Espérance (E) : L'espérance sur les trajectoires.
3. Agrégation (G) : Une agrégation au niveau de l'espérance $G: \mathbb{R}^n \to \mathbb{R}$ (généralement concave) qui combine les utilités espérées.

L'objectif AET est défini par :
$$J_{AET}(\pi; F, G) = G(\mathbb{E}_{\tau \sim \pi}[F(R(\tau))])$$

Ce cadre englobe le MORL linéaire, le SER-MORL et le ESR-MORL comme cas particuliers, tout en permettant une classe plus riche d'objectifs (AET-MORL) combinant une $F$ et une $G$ non linéaires.

Algorithme AETDICE

Pour optimiser les objectifs AET hors ligne, les auteurs proposent AETDICE (Optimisation AET hors ligne via l'Estimation de la Correction de Distribution). La méthode traite les deux sources de non-linéarité séparément :

1. Gestion de la Transformation Non Linéaire $F$ (MOMDP Augmenté) :
Pour gérer la non-linéarité de la trajectoire de $F$, les auteurs construisent un MOMDP à horizon fini augmenté $\tilde{M} = (\tilde{S}, A, \tilde{P}, H, \tilde{p}_0, \tilde{r})$.

• Augmentation de l'État : L'état est augmenté du vecteur de récompense accumulée : $\tilde{s}_t = (s_t, R^{acc}_t, t)$. Cela restaure la propriété de Markov pour les objectifs ESR.
• Récompense Transformée : Une nouvelle fonction de récompense est définie pour capturer la contribution incrémentale de chaque action à l'utilité de la trajectoire $F$ :
  $$\tilde{r}(\tilde{s}_t, a_t) = F(R^{acc}_t + r(s_t, a_t)) - F(R^{acc}_t)$$
  Cela crée une somme télescopique où $\sum \tilde{r} = F(R(\tau))$. Cette transformation réduit l'ESR-MORL à un RL mono-objectif standard dans l'espace augmenté, et l'AET-MORL au SER-MORL dans l'espace augmenté.

2. Gestion de l'Agrégation Non Linéaire $G$ (Optimisation Convexe via DICE) :
Une fois $F$ absorbée dans la récompense, le problème devient la maximisation d'une fonction concave $G$ sur les utilités espérées dans l'espace augmenté. Les auteurs étendent le cadre de l'Estimation de la Correction de Distribution (DICE) :

• Distribution de Visitation : L'objectif est reformulé comme une optimisation convexe sur la distribution de visitation $d_t(\tilde{s}, a)$ dans l'espace augmenté.
• Variable d'Écart (Slack Variable) : Une variable d'écart $k$ est introduite pour découpler l'espérance de l'agrégation concave $G$, permettant une estimation par échantillonnage sans biais.
• Régularisation : Une pénalité de divergence $\phi$ est ajoutée pour corriger le décalage de distribution entre la politique apprise et le jeu de données hors ligne.
• Formulation Duale : Le problème primal est converti en un problème dual soluble via la descente de gradient stochastique sur des réseaux de neurones représentant les multiplicateurs de Lagrange ($\nu$) et la variable d'écart ($\mu$). La politique optimale est extraite via un apprentissage comportemental pondéré (weighted behavior cloning) utilisant les ratios de visitation appris.

3. Principales Contributions

1. Cadre Unifié (AET) : L'article introduit AET, un cadre principled qui unifie SER et ESR et définit une nouvelle classe d'objectifs (AET-MORL) combinant des non-linéarités au niveau de la trajectoire et de l'espérance.
2. Première Optimisation ESR Hors Ligne : En définissant une récompense transformée dans un espace d'état augmenté, les auteurs fournissent la première méthode pour optimiser les objectifs ESR à partir de jeux de données statiques, réduisant le problème au RL hors ligne standard.
3. Algorithme AETDICE : Les auteurs proposent AETDICE, un algorithme hors ligne basé sur l'échantillonnage qui gère à la fois la non-linéarité de $F$ (via l'augmentation) et la non-linéarité de $G$ (via la correction de distribution de type DICE).
4. Validation Empirique : Le cadre est validé à travers divers objectifs, incluant le MORL équitable (Fair MORL, interpolant entre ESR et SER via l'équité $\alpha$) et les utilités convexes, ainsi que les utilités non-convexes de type Cobb-Douglas avec des contraintes de sécurité.

4. Résultats Expérimentaux

Les expériences ont été menées sur les environnements Fair-Taxi, MO-PointMaze et D4MORL (MO-Ant, MO-Walker2d, MO-HalfCheetah).

• Fair MORL (Fair-Taxi & PointMaze) : AETDICE a optimisé avec succès les objectifs ESR, SER et le Retour Scalarisé Équilibré (BSR - Balanced Scalarized Return).
  • Différences Comportementales : Les politiques optimales pour ESR produisent des retours équilibrés au sein de chaque trajectoire (comportement non markovien dépendant de l'historique). Les politiques optimales pour SER produisent des mélanges stochastiques de trajectoires spécialisées (markoviennes, équilibrant uniquement en espérance). Les politiques BSR interpolent de manière fluide entre ces comportements.
  • Performance : AETDICE a atteint des scores élevés sur leurs objectifs respectifs, surpassant les bases de comparaison comme FairDICE (limité au SER) et ESR-IQL (limité à l'ESR).
• Objectifs AET Généraux (D4MORL) :
  • $F$ Convexe : La méthode a optimisé avec succès les objectifs privilégiant les dimensions de haute performance (F convexe) tout en maintenant l'équilibre via une G concave, résultant en des mélanges stochastiques de comportements spécialisés.
  • $F$ Non-Convexe (Cobb-Douglas) : AETDICE a optimisé les compromis d'efficacité (ex: vitesse vs énergie). Crucialement, en ajoutant une utilité de sécurité via une agrégation concave, la méthode a empêché l'effondrement de l'agent (un mode d'échec de l'optimisation d'efficacité pure) tout en maintenant une efficacité élevée.
• Ablation : L'étude sur le coefficient de régularisation $\beta$ a montré que des valeurs plus petites sont nécessaires pour que le MORL non linéaire permette le décalage de distribution nécessaire, tout en restant stable et efficace.

5. Signification et Revendications

L'article affirme qu'AETDICE résout des barrières de longue date dans le MORL hors ligne en unifiant des stratégies d'optimisation auparavant fragmentées.

• Unification : Il comble le fossé entre SER et ESR, fournissant un cadre unique pour le MORL non linéaire général.
• Nouveauté : C'est la première méthode traitant l'optimisation ESR hors ligne et la classe plus large d'objectifs AET.
• Aperçu Comportemental : Le cadre révèle des comportements de politique distincts (stratégies non markoviennes, mélanges stochastiques) émanant de l'interaction entre les non-linéarités au niveau de la trajectoire et de l'espérance, que les méthodes existantes ne parviennent pas à capturer ou à traiter.
• Praticité : En permettant l'optimisation hors ligne d'objectifs complexes d'équité et d'efficacité, la méthode soutient la prise de décision dans le monde réel où les politiques doivent équilibrer des critères concurrents tant au sein des épisodes qu'entre eux.

Les auteurs notent des limites concernant la scalabilité de l'espace d'état augmenté à mesure que le nombre d'objectifs augmente, ainsi que les exigences strictes de couverture de données inhérentes au RL hors ligne avec décalage de distribution. Cependant, ils affirment qu'AETDICE fait progresser significativement le domaine en rendant une classe plus large d'objectifs non linéaires traitable dans le cadre hors ligne.