Résumé Technique : Attention Tchebycheff Adaptative et Lisse pour l'Optimisation de Politiques Multi-Objectifs

Énoncé du Problème

L'apprentissage par renforcement profond (RL) dans les domaines robotiques nécessite souvent d'équilibrer plusieurs objectifs contradictoires (par exemple, vitesse contre sécurité, couverture de recherche contre furtivité). Alors que le RL standard repose sur des récompenses scalaires, l'apprentissage par renforcement multi-objectifs (MORL) traite des scénarios où l'environnement renvoie un vecteur de récompenses. L'objectif est de trouver des politiques situées sur le front de Pareto, où aucun objectif ne peut être amélioré sans dégrader un autre.

Les approches existantes font face à un compromis fondamental entre stabilité de l'optimisation et précision géométrique :

1. Scalarisation Linéaire (LS) : Combine les objectifs via une somme pondérée. Bien que stable, elle est théoriquement incapable de retrouver des solutions dans les régions non convexes du front de Pareto, conduisant à des politiques sous-optimales dans des environnements dynamiques complexes.
2. Scalarisation Tchebycheff (TCH) : Peut théoriquement retrouver toutes les solutions optimales au sens de Pareto, quelle que soit la convexité, en minimisant l'écart pondéré maximal par rapport à un point idéal « utopique ». Cependant, l'opérateur max non différentiable provoque une instabilité des gradients et des mises à jour éparses dans le RL profond.
3. Tchebycheff Lisse (STCH) : Remplace l'opérateur max par une approximation Log-Sum-Exp contrôlée par un paramètre de lissage $\mu$. Bien que cela permette le flux de gradients, cela introduit un goulot d'étranglement critique :
   • Petit $\mu$ : S'approche de la fonction TCH réelle mais provoque une famine de gradients, où seul l'objectif dominant reçoit des mises à jour, entraînant un oubli catastrophique des autres objectifs.
   • Grand $\mu$ : Assure des gradients lisses mais ramène la méthode à une scalarisation linéaire, perdant la capacité de naviguer dans les régions non convexes.
   • Réglage Statique : Un $\mu$ fixe est difficile à régler car le « jeu de données » RL (l'expérience de l'agent) est non stationnaire ; l'échelle des avantages et la proximité du point utopique évoluent au fur et à mesure que la politique progresse.

Méthodologie : PASTA

Les auteurs proposent PASTA (Policy-optimization via Adaptive Smooth Tchebycheff Attention), un cadre qui module dynamiquement la courbure du paysage d'optimisation pour résoudre la tension entre stabilité et précision.

1. Tchebycheff Lisse Adaptatif (ASTCH)

Au cœur de PASTA se trouve la scalarisation ASTCH, qui ajuste dynamiquement le paramètre de lissage $\mu$ en fonction des interférences de gradients en temps réel.

• Contrôleur Piloté par les Conflits : Le système surveille le Ratio de Conflit ($\kappa$), défini comme la fraction de paires de gradients d'objectifs échantillonnés présentant des produits scalaires négatifs (indiquant une interférence destructrice).
• Adaptation Élastique :
  • Recuit : À mesure que l'entraînement progresse et que les conflits sont résolus, $\mu$ décroît vers une valeur précise et faible pour affiner la scalarisation, permettant à l'agent de converger vers des solutions de Pareto non convexes.
  • Freinage Dynamique : Si le ratio de conflit dépasse un seuil (indiquant une optimisation instable), le contrôleur augmente temporairement $\mu$. Cela « freine » le processus, revenant à une approximation plus lisse et plus linéaire pour stabiliser la mise à jour de la politique et prévenir la famine de gradients.
  • Lissage Inertiel : Une Moyenne Mobile Exponentielle (EMA) est appliquée à $\mu$ pour éviter les oscillations rapides qui pourraient violer les hypothèses de distribution stationnaire des algorithmes on-policy.

2. Critique Branché Aligné sur l'Attention

Pour s'assurer que la fonction de valeur apprend les priorités correctes, PASTA introduit une architecture de Critique Branché avec un extracteur de caractéristiques partagé et des têtes de valeur indépendantes pour chaque objectif.

• Mécanisme d'Attention STCH : Le gradient de la fonction STCH induit naturellement un poids normalisé et positif ($\delta$) sur les objectifs. Les objectifs avec de plus grands écarts par rapport au point utopique reçoivent une attention exponentiellement plus élevée.
• Taux de Maintien ($\rho$) : Pour contrer la famine de gradients dans les régimes à faible $\mu$, un taux de maintien est introduit. Les poids d'attention effectifs sont un mélange de l'attention dérivée de STCH et d'une distribution uniforme, garantissant que chaque objectif reçoit un budget de gradient minimum.
• Alignement de la Perte : La perte du critique est pondérée par ces coefficients d'attention, assurant que la capacité d'estimation de la valeur est allouée aux objectifs agissant actuellement comme goulots d'étranglement.

3. Projection de Gradients Consciente des Conflits

Pour atténuer davantage les interférences destructrices, PASTA intègre une variante de la Projection des Gradients en Conflit (PCGrad).

• Au lieu de scalariser les avantages immédiatement, l'algorithme maintient un vecteur d'avantages.
• Les gradients de politique pour les objectifs individuels sont calculés séparément.
• Si un conflit est détecté entre deux gradients d'objectifs, l'un est projeté sur le plan normal de l'autre. Cela permet à l'agent de respecter les contraintes individuelles de région de confiance tout en naviguant dans les conflits géométriques inhérents aux fronts de Pareto non convexes.

Contributions Clés

1. Cadre ASTCH : Une méthode de scalarisation novatrice qui ajuste dynamiquement le paramètre de lissage $\mu$ en fonction d'une estimation en ligne du conflit de gradients inter-objectifs, éliminant le besoin de réglage manuel et prévenant la famine de gradients.
2. Algorithme PASTA : Une méthode de gradient de politique on-policy qui intègre ASTCH, un contrôleur piloté par les conflits et des critiques alignés sur l'attention. Elle prend explicitement en compte la non-stationnarité des points utopiques et des estimations de valeur en MORL.
3. Validation Empirique : Évaluation approfondie sur des tâches réelles et simulées exigeantes, démontrant la découverte robuste de politiques optimales au sens de Pareto dans des régions non convexes inaccessibles aux bases linéaires et instables pour les méthodes non linéaires statiques.

Résultats Expérimentaux

Les auteurs ont évalué PASTA sur trois domaines distincts :

1. Recherche Visuelle Furtive (Monde Réel & Simulation) :

   • Tâche : Un robot terrestre doit rechercher des objets tout en minimisant l'exposition (furtivité) et en maximisant la vitesse d'exploration.
   • Résultats : PASTA a atteint un Volume Hypervolume (HV) de 0,291, soit une amélioration de 45,5 % par rapport à la meilleure base statique (STCH avec $\mu=10,0$). Il a atteint un taux de victoire de 100 % sur divers vecteurs de préférences, surperformant significativement les bases Linéaire, Tchebycheff et STCH à paramètres fixes.
   • Déploiement Réel : Validé sur un UGV Clearpath Jackal dans des environnements extérieurs avec un terrain accidenté et des obstacles, équilibrant avec succès la recherche, la furtivité et la sécurité.

2. Benchmarks Multi-Objectifs MuJoCo :

   • Tâches : Tâches de contrôle continu (HalfCheetah, Humanoid, Ant, Walker2D) avec des objectifs contradictoires.
   • Résultats : PASTA a constamment atteint un Volume Hypervolume plus élevé et une meilleure couverture du front de Pareto par rapport aux bases dans tous les environnements, démontrant une efficacité d'échantillonnage et une robustesse supérieures.

3. Navigation de Quadrotor (Crazyflie) :

   • Tâches : « Frogger » (navigation dans des obstacles dynamiques) et « Formation » (maintien d'une formation triangulaire tout en évitant les obstacles).
   • Résultats : PASTA a surpassé les bases tant en HV qu'en taux de réussite des tâches. Dans les vols réels, l'agent a atteint un taux de réussite des tâches de 91,2 % (52/57 objectifs) sans crash, démontrant l'applicabilité de la méthode aux plateformes aériennes avec des obstacles dynamiques stochastiques.

Signification et Revendications

L'article revendique que PASTA fournit une solution robuste à la tension de longue date entre stabilité de l'optimisation et précision géométrique dans le MORL sans modèle. En traitant l'interférence de gradients comme un signal de rétroaction, la méthode crée un paysage d'optimisation « élastique » :

• Elle recuit vers une scalarisation précise et non convexe lorsque les objectifs s'alignent, permettant la découverte de solutions dans les régions concaves du front de Pareto.
• Elle freine élastiquement vers des approximations stables et lisses lorsque des conflits de gradients destructeurs émergent, prévenant l'oubli catastrophique et l'effondrement de l'entraînement.

Les auteurs soulignent que cette approche permet aux robots de résoudre de manière autonome des exigences complexes et contradictoires dans des scénarios réels non structurés, sans le réglage extensif des hyperparamètres requis par les méthodes de scalarisation statique. Le travail est présenté comme une étape vers un apprentissage multi-objectif fiable et spécifique aux préférences pour la robotique, bien que les auteurs notent des limitations concernant l'interdépendance des hyperparamètres (ratio de conflit vs taux de maintien) et l'accent mis sur des politiques spécifiques aux préférences plutôt que conditionnées par les préférences.