Résumé Technique : Alignement Objectif-Comportement : Diagnostics pour le MORL

Énoncé du Problème

La prise de décision dans le monde réel nécessite souvent l'optimisation simultanée de plusieurs objectifs concurrents. Dans l'apprentissage par renforcement multi-objectif (MORL), l'approche standard consiste à générer un ensemble de politiques Pareto optimales (l'Ensemble de Pareto, PS) et leurs vecteurs de valeurs correspondants (le Front de Pareto, PF). Bien que cela expose les compromis entre les objectifs, les méthodes de diagnostic actuelles reposent exclusivement sur ces valeurs d'objectifs.

Le problème central identifié est le Désalignement Objectif-Comportement : des politiques qui sont proches dans l'espace des objectifs (c'est-à-dire qui ont des rendements attendus similaires) peuvent présenter des trajectoires comportementales radicalement différentes. Les méthodes de scalarisation, qui combinent les récompenses en un signal unique, sont connues pour être fragiles ; de faibles changements de poids peuvent induire des changements comportementaux drastiques. Cependant, même au sein d'un front de Pareto généré, des politiques voisines peuvent suivre des trajectoires distinctes (par exemple, se déplacer strictement vers la gauche ou strictement vers la droite) qui produisent des vecteurs de rendement identiques ou quasi identiques. Se fier uniquement au PF pour la sélection de politiques risque de négliger des variations comportementales critiques, pouvant conduire au déploiement de politiques qui satisfont les critères numériques mais présentent des modèles d'exécution indésirables ou dangereux en pratique.

Méthodologie

Les auteurs proposent un flux de travail de diagnostic exploratoire modulaire conçu pour faire émerger les variations comportementales le long du front de Pareto que les valeurs d'objectifs seules ne révèlnt pas. Le flux de travail se compose de trois étapes principales :

1. Entraînement MORL et Extraction de Trajectoires

Un agent MORL est entraîné pour obtenir un ensemble diversifié de politiques représentant le PS et le PF. Le cadre est agnostique à l'algorithme MORL spécifique utilisé ; dans les expériences, les auteurs utilisent un MORL basé sur la décomposition (MORL/D), une approche évolutionnaire maintenant une population de politiques entraînées avec des vecteurs de poids distincts. Pour chaque politique, un ensemble de trajectoires (rollouts) est extrait aux côtés de leurs rendements vectoriels.

2. Agrégation via l'Encodage du Comportement

Les trajectoires extraites sont traitées pour générer des représentations comportementales compactes et significatives.

• Encodeur : Le flux de travail utilise un encodeur de trajectoire appris (basé sur Mone et al., 2026) entraîné via une fonction de perte contrastive composite. Celle-ci inclut des composantes pour les trajectoires complètes ($L_{CLS}$), les segments de trajectoire ($L_{SEG}$), et les paires de segments ($L_{PAIR}$), ainsi qu'un régularisateur Deep InfoMax ($L_{DIM}$).
• Plongement (Embedding) : L'encodeur projette les séquences état-action dans un espace latent. Pour garantir une géométrie bien structurée, un régulariseur de variance-covariance est appliqué pour éviter les plongements dégénérés.
• Agrégation : Plusieurs plongements de trajectoire pour une seule politique sont agrégés (via la moyenne) pour produire un vecteur de comportement unique $z(\pi)$, définissant la variété (manifold) comportementale $Z$.

3. Analyse de l'Alignement Objectif-Comportement

Le flux de travail compare la géométrie de l'espace des objectifs (PF) contre l'espace du comportement ($Z$) en utilisant trois outils de diagnostic :

• Fiabilité et Continuité : Adaptés de l'analyse de projection non linéaire, ces métriques quantifient la préservation du voisinage.
  • Fiabilité (Trustworthiness, $T$) : Mesure si les voisins dans le PF restent des voisins dans $Z$.
  • Continuité ($C$) : Mesure si les voisins dans $Z$ restent des voisins dans le PF.
  • Des valeurs faibles indiquent un décalage structurel où la proximité des objectifs ne parvient pas à prédire la similitude comportementale.
• Graphiques de Dispersion de Lipschitz : Inspirés de l'analyse de paysage d'optimisation, ces graphiques visualisent la relation entre les distances dans l'espace des objectifs (axe $x$) et l'espace comportemental (axe $y$) pour des politiques consécutives ordonnées le long du front.
  • Région Critique (Haut-Gauche) : Points où les politiques sont proches dans l'espace des objectifs mais éloignées dans l'espace comportemental. Ces points signalent des paires nécessitant une inspection manuelle.
  • Trous (Bas-Droite) : Points où les différences d'objectifs sont importantes par rapport aux différences comportementales.
• Test Qualitatif "À l'Œil Nu" : Le flux de travail rend les rollouts de politique visibles pour permettre aux observateurs humains de vérifier directement si les écarts quantitatifs correspondent à des différences de comportement perceptibles.

Contributions Clés

1. Identification d'un Écart Structurel : Le papier définit formellement le Désalignement Objectif-Comportement (Définition 1) comme une propriété géométrique où la mise en correspondance entre le front de Pareto et l'espace comportemental échoue à préserver les voisinages. Il souligne que ce fossé est une propriété structurelle des ensembles de politiques MORL souvent négligée par la recherche actuelle.
2. Flux de Travail de Diagnostic Modulaire : Les auteurs introduisent un cadre évolutif pour construire des représentations de l'espace comportemental et comparer sa structure locale au front de Pareto. La conception accepte des encodeurs, des schémas d'agrégation et des métriques alternatifs.
3. Diagnostics Quantitatifs et Visuels : Le papier propose des métriques spécifiques (Fiabilité, Continuité) et des outils visuels (graphiques de dispersion de Lipschitz) pour signaler les paires de politiques où la proximité dans l'espace des objectifs est un résumé médiocre de la diversité comportementale.

Résultats

L'approche a été validée sur des environnements de grille simples et des benchmarks de contrôle continu :

• Deep Sea Treasure (DST) :

  • Left–Right DST : Dans cette variante, des politiques voisines sur le PF présentaient des trajectoires distinctes vers la gauche ou la droite. Le flux de travail a détecté avec succès ce désalignement, produisant une Fiabilité faible (0,51) et une Continuité faible (0,47). Les graphiques de dispersion de Lipschitz ont clairement identifié la "région critique" où les politiques sont proches dans l'espace des objectifs mais éloignées dans l'espace comportemental.
  • Smooth DST : Dans cette variante, les espaces d'objectifs et de comportement étaient alignés. Les métriques étaient proches de 1,0, et les graphiques de dispersion montraient des distances cohérentes, confirmant la capacité de la méthode à distinguer les scénarios alignés et désalignés.
  • Validation de l'Encodeur : Les plongements de transformeurs appris ont produit un regroupement comportemental cohérent avec les plongements conçus manuellement, validant la capacité de l'encodeur à capturer des motifs comportementaux pertinents sans annotations externes.

• Environnements MuJoCo (MO-HalfCheetah et MO-Hopper) :

  • Les métriques globales indiquaient un fort alignement (Fiabilité/Continuité > 0,94) en moyenne, suggérant que pour ces tâches spécifiques, le PF prédit généralement bien le comportement.
  • Cependant, les graphiques de dispersion ont révélé des divergences locales. Dans MO-Hopper, des paires de politiques spécifiques (ex: 50 vs 51) situées dans la région critique présentaient des différences comportementales visibles (ex: une embardée vs une posture droite) malgré des rendements d'objectifs similaires. Dans MO-HalfCheetah, les différences étaient plus subtiles, corrélées à des distances plus petites dans l'espace comportemental.
  • Les résultats démontrent que la méthode reste efficace à mesure que la complexité du problème augmente, capable de faire émerger des paires de politiques spécifiques pour inspection, même dans des domaines continus à haute dimension.

Signification et Revendications

Le papier positionne ce travail comme un outil de diagnostic plutôt que comme une solution au problème de spécification de la récompense. Les auteurs déclarent explicitement que leur flux de travail ne détermine pas si les objectifs de récompense spécifiés sont adéquats pour le déploiement ou si les différences de comportement observées sont nuisibles ; de tels jugements nécessitent des informations externes sur les préférences des parties prenantes.

Au lieu de cela, la signification de ce travail réside dans :

• Signalement Automatisé : Fournir un moyen évolutif d'identifier les paires de politiques qui justifient une inspection manuelle, complétant les résumés numériques typiquement présentés aux décideurs.
• Transparence : Offrir une base plus transparente pour la sélection de politiques en révélant les "angles morts" où les métriques d'objectifs masquent les risques comportementaux.
• Benchmarking d'Algorithmes : Introduire une nouvelle dimension pour évaluer les algorithmes MORL basée sur la stabilité comportementale et la prédictibilité des fronts qu'ils génèrent, au-delà des mesures standard de convergence et de diversité comme l'hypervolume.
• Insights pour le RL à Objectif Unique : La méthodologie des graphiques de dispersion peut également identifier les fonctions de récompense dans le RL à objectif unique qui sont sujettes à l'instabilité, où des changements marginaux dans la structure de la récompense déclenchent des changements comportementaux disproportionnés.

Les auteurs concluent que, bien que le flux de travail représente une étape significative vers la compréhension de la relation objectif-comportement, il est modulaire et repose sur des heuristiques spécifiques (telles que l'ordonnancement des politiques) qui pourraient nécessiter des affinements pour des espaces d'objectifs à plus haute dimension.