Résumé Technique : Une Unique Politique Profonde Conditionnée par les Préférences pour l'Apprentissage d'Ensembles de Couverture de Pareto

Énoncé du Problème

L'Apprentissage par Renforcement Multi-Objectifs (MORL) vise à optimiser plusieurs signaux de récompense, souvent concurrents. L'objet central en MORL n'est pas une politique optimale unique, mais un ensemble de compromis optimaux au sens de Pareto (le front de Pareto). Une direction prééminente implique l'apprentissage conditionné par les préférences, où un modèle profond unique génère des politiques diversifiées basées sur un vecteur de préférence $\omega$ spécifié par l'utilisateur.

Cependant, les approches existantes font face à une « tension linéaire-non linéaire » :

1. Scalarisation Linéaire : Les méthodes ciblant l'Ensemble de Couverture Convexe (CCS) reposent souvent sur des sommes pondérées linéaires. Bien que mathématiquement élégantes, elles ne peuvent récupérer que les solutions sommets du front de Pareto. Pour une préférence fixe, le vecteur d'objectif optimal peut ne pas être unique (par exemple, une face entière de support), conduisant à des cibles ambiguës et à des commutations de politiques discontinues lorsque les préférences changent. De plus, elles peinent à fournir une couverture dense des compromis non-sommets.
2. Scalarisation Non Linéaire : Les approches ciblant l'Ensemble de Couverture de Pareto (PCS) peuvent atteindre des solutions non-sommets mais nécessitent souvent des formulations de problèmes complexes, une régularisation forte ou des heuristiques qui peuvent s'écarter du vrai front de Pareto. De plus, l'unicité et la continuité de l'application de la préférence vers la solution restent floues sous des scalarisations non linéaires générales, rendant le « balayage des préférences » stable difficile.

Cet article aborde le défi d'apprendre une politique profonde unique offrant une couverture dense, stable et continue du front de Pareto sous scalarisation non linéaire, spécifiquement dans le contexte des Processus de Décision Markoviens Multi-Objectifs (MOMDP) tabulaires avant de s'étendre aux paramètres profonds.

Méthodologie

1. Fondement Théorique : Scalarisation Tchebycheff Lisse (STCH)

Les auteurs adoptent la fonction d'utilité Tchebycheff Lisse (STCH) comme utilité monotone pour la scalarisation. Contrairement à la norme Tchebycheff non lisse, STCH utilise une approximation log-sum-exp contrôlée par un paramètre de lissage $\tau$.

• Unicité et Optimalité : Pour un MOMDP à facteur d'actualisation avec un espace d'états/actions fini, l'ensemble d'objectifs atteignable $\mathcal{J}$ est un polytope convexe. Les auteurs prouvent que pour tout vecteur de préférence strictement positif $\omega$, le vecteur d'objectif optimal induit par STCH, $J_\omega$, est unique et Pareto-optimal.
• Continuité Lipschitzienne : Crucial, ils prouvent que l'application $\omega \mapsto J_\omega$ est Lipschitzienne sur l'intérieur du simplexe de préférence. Cette garantie théorique assure que de petits changements dans la préférence entraînent de petits changements stables dans l'objectif cible, justifiant l'utilisation du balayage des préférences pour une couverture dense du front de Pareto.

2. Algorithme : Itération de Politique par Descente Miroir Concave (CMDPI)

Pour résoudre le problème de scalarisation non linéaire résultant sans modifier la fonction objectif, les auteurs formulent l'optimisation sur les mesures d'occupation ($\mu$).

• Formulation par Descente Miroir : Ils dérivent un algorithme de descente miroir dans l'espace des mesures d'occupation en utilisant l'entropie conditionnelle négative comme fonction génératrice de distance. Cela produit un taux de convergence de $O(1/k)$ pour la sous-optimalité de l'objectif.
• Interprétation par Itération de Politique : En exploitant la correspondance entre la divergence de Bregman dans l'espace des mesures d'occupation et la divergence KL dans l'espace des politiques, la mise à jour est montrée comme équivalente à la résolution d'un MOMDP régularisé par KL où la politique précédente agit comme référence.
  • Évaluation Bellman Douce : L'étape d'évaluation de la politique résout un point fixe de Bellman doux.
  • Amélioration Multiplicative de la Politique : L'étape d'amélioration de la politique met à jour la politique via un repondérage exponentiel (poids multiplicatifs) basé sur les valeurs Q douces.
• Continuité en Nombre Fini d'Étapes : Une contribution théorique clé est la preuve que, dans le cadre tabulaire, la politique $\pi_k$ à n'importe quelle itération finie $k$ reste continue par rapport à la préférence $\omega$, à condition que l'initialisation soit continue et ait un support complet. Cela contraste avec les approches antérieures à réseau unique qui supposent souvent une telle régularité sans vérification.

3. Implémentation Profonde : PCSAC

Les auteurs instancient la mise à jour CMDPI dans un algorithme Acteur-Critique profond, sans modèle et avec modèle, nommé PCSAC (Pareto Coverage Soft Actor-Critic).

• Architecture : Le critique $Q_\phi(s, a, \omega)$ sort un vecteur de dimension $m$, et l'acteur $\pi_\theta(s, \omega)$ sort une distribution sur les actions.
• Entraînement : L'algorithme utilise une optimisation hors politique similaire au Soft Actor-Critic (SAC). Le critique minimise le résidu de Bellman au carré pour la cible vectorielle. L'acteur est mis à jour en minimisant la divergence KL vers une distribution cible proportionnelle à $\pi_k \exp(Q/\alpha)$, implémentant efficacement l'étape de descente miroir.
• Estimation du Point d'Utopie : Puisque le point d'utopie $I$ (nécessaire pour STCH) est inconnu dans les paramètres profonds, les auteurs proposent une procédure d'estimation en ligne utilisant des moyennes mobiles exponentielles des percentiles de récompense.

Contributions Clés

1. Garanties Théoriques pour STCH : Établissement que sous scalarisation STCH dans les MOMDP tabulaires, le vecteur d'objectif optimal est unique et Pareto-optimal, et que l'application préférence-solution est Lipschitzienne. Cela fournit une base rationnelle pour une couverture dense du front de Pareto via le balayage des préférences.
2. Algorithme CMDPI : Dérivation d'un algorithme de descente miroir convergent à $O(1/k)$ dans l'espace des mesures d'occupation qui résout le problème de scalarisation non linéaire sans modification de l'objectif.
3. Équivalence Itération de Politique & Continuité : Réécriture de la mise à jour sous une forme d'itération de politique équivalente, fournissant une motivation théorique pour l'apprentissage profond conditionné par les préférences, incluant la preuve de la continuité en $\omega$ aux itérations finies.
4. Performance Empirique : Démonstration que les méthodes proposées atteignent une qualité d'approximation du front de Pareto supérieure (mesurée par l'Hypervolume) et des performances d'utilité attendue comparées aux récentes lignes de base (LS, CAPQL, PreCo, C-MORL) sur des tâches de contrôle discrètes et continues.

Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes sur huit tâches MO-Gymnasium à actions discrètes et huit à actions continues.

• Planification Tabulaire : Dans un MOMDP jouet contrôlé, CMDPI a récupéré des solutions Pareto-optimales avec une couverture significativement plus uniforme et dense comparée à la scalarisation linéaire (qui ne touche que les sommets) et CAPQL (qui montrait une couverture biaisée).
• Tâches à Actions Discrètes : Sur huit benchmarks MO-Gymnasium, CMDPI a obtenu le meilleur rang moyen pour l'Hypervolume (HV) et la Métrique d'Utilité Attendue (EUM). PCSAC a également surpassé la scalarisation linéaire et CAPQL en HV.
• Tâches à Actions Continues : Sur huit tâches MuJoCo, la variante avec modèle PCSAC-MB a obtenu le meilleur rang moyen sur HV et EUM, surpassant les lignes de base de scalarisation linéaire (CAPQL-MB) et d'autres méthodes MORL de l'état de l'art. La variante sans modèle PCSAC-MF a également montré de fortes performances, particulièrement en HV.
• Robustesse : Les analyses de sensibilité ont indiqué que les méthodes sont robustes aux variations dans l'estimation du point d'utopie et aux paramètres de température/lissage.

Signification et Revendications

L'article prétend combler le fossé entre la stabilité théorique de la scalarisation linéaire et les capacités de couverture des méthodes non linéaires. En prouvant l'unicité et la continuité Lipschitzienne de la solution induite par STCH, les auteurs fournissent une fondation rigoureuse pour utiliser un réseau profond unique afin de couvrir le front de Pareto de manière dense et stable.

La signification réside dans :

• Couverture Dense Principée : Aller au-delà du balayage des préférences heuristique vers une méthode avec des garanties théoriques de stabilité et de densité de couverture.
• Clarté Algorithmique : Fournir un lien clair entre la descente miroir, les MOMDP régularisés par KL et le MORL non linéaire, offrant une nouvelle perspective sur l'itération de politique.
• Efficacité Pratique : Démontrer que ces insights théoriques se traduisent par des performances de l'état de l'art dans les domaines de contrôle discret et continu, en particulier en efficacité d'échantillonnage pour les paramètres basés sur un modèle.

Les auteurs notent modestement que leur analyse théorique est actuellement limitée au cadre tabulaire et que l'extension de ces garanties à l'approximation de fonctions reste une direction ouverte pour les travaux futurs. Ils reconnaissent également que l'analyse repose sur des utilités lisses et strictement concaves, laissant le comportement sous d'autres classes d'utilité inexploré.