Résumé Technique : NFTR – De la moyenne de modes prouvable à la sélection de sous-buts géodésiques dans l'apprentissage par renforcement hors ligne conditionné par un but

1. Énoncé du Problème

L'article traite des limitations critiques de l'Apprentissage par Q Implicite Hiérarchique (HIQL), une méthode d'état de l'art pour l'apprentissage par renforcement hors ligne conditionné par un but (GCRL). HIQL décompose l'atteinte d'un but en une sélection de sous-buts de haut niveau et une exécution d'actions de bas niveau. Les auteurs identifient deux modes de défaillance couplés dans la formulation actuelle de HIQL :

1. Biais Optimiste : HIQL sélectionne les sous-buts uniquement sur la base des avantages de la fonction de valeur ($A_{env}$). Dans les environnements stochastiques, les trajectoires qui atteignent les buts via des transitions aléatoires « chanceuses » (ex: bruit favorable ou téléporteurs) sont traitées de la même manière que celles atteignant les buts via des chemins répétables et fiables. Cela gonfle les poids de la Régression Pondérée par l'Avantage (AWR) pour des sous-buts hors trajectoire et peu fiables.
2. Effondrement de Mode : HIQL emploie une politique gaussienne unimodale pour la sélection de sous-buts de haut niveau. Lorsque la distribution des sous-buts optimaux est multimodale (ex: couloirs bifurqués ou multiples sites d'atterrissage valides pour des téléporteurs), la politique gaussienne s'effondre vers une moyenne unique. Cette moyenne se situe souvent dans une combinaison convexe de modes valides, atterrissant dans des régions inaccessibles (ex: à l'intérieur de murs ou d'obstacles) plutôt que sur des chemins valides.

La question centrale posée est de savoir si des sous-buts peuvent être appris pour être simultanément de haute valeur, de manière fiable atteignables et fidèles aux structures de chemins multimodales.

2. Méthodologie : NFTR

Les auteurs proposent NFTR (Normalizing Flows subgoal policies with Triangle-slack Reweighting), qui introduit deux innovations complémentaires pour résoudre les échecs susmentionnés.

2.1 Politique de Haut Niveau par Flux Normalisant

Pour traiter l'effondrement de mode, NFTR remplace la politique gaussienne unimodale de HIQL par un Flux Normalisant Conditionnel (NF).

• Justification Théorique : Les auteurs prouvent (Théorème 3.1) que sous l'objectif AWR, la moyenne gaussienne optimale est une combinaison convexe des centres modaux biaisés par l'AWR. Si ces centres sont séparés par des régions inaccessibles, la moyenne gaussienne place inévitablement une masse de probabilité sur ces régions invalides.
• Classe Générative Minimale : L'article soutient que les NF conditionnels sont la classe générative minimale satisfaisant trois exigences pour la sélection de sous-buts basée sur l'AWR :
  1. Multimodalité : Capable de modéliser des distributions de mélange dépendant de l'état avec un nombre variable de modes.
  2. Densité Exacte : Nécessaire car le poids exponentiel de l'AWR amplifie tout biais de densité.
  3. Échantillonnage en un Seul Passage : Requis pour une interrogation efficace de haut niveau.
     Contrairement aux modèles de diffusion ou au flow matching, les NF satisfont ces trois contraintes.

2.2 Répondre par l'Écart de Triangle (Triangle-Slack Reweighting - RWDR)

Pour traiter le biais optimiste, NFTR introduit un signal de cohérence géométrique appelé Écart de Triangle (Triangle-Slack) pour repondérer l'objectif AWR.

• Quasimétrique de Distance : Une fonction de distance apprise $d_\theta$ est entraînée (en utilisant une architecture MRN) pour satisfaire l'inégalité triangulaire au niveau architectural, indépendamment de la convergence de l'entraînement.
• Définition de l'Écart (Slack) : Pour un sous-but $w$ entre un état $s$ et un but $g$, l'écart de triangle est défini par :
  $$\Delta(s, w, g) = \max(0, d_\theta(s, w) + d_\theta(w, g) - d_\theta(s, g))$$
• Mécanisme :
  • Si $w$ se trouve sur une géodésique (chemin optimal), $\Delta \approx 0$.
  • Si $w$ est un sous-but « chanceux » atteint via un détour ou une valeur aberrante stochastique, la somme des distances excède la distance directe, résultant en $\Delta > 0$.
• Objectif RWDR : Le poids AWR est corrigé multiplicativement par l'écart :
  $$w(s, w, g) = \exp(\alpha_H A_{env}(s, w, g) - \kappa \Delta(s, w, g))$$
  Cela réduit le poids des sous-buts présentant une forte incohérence géométrique (écart élevé), filtrant ainsi efficacement les transitions chanceuses même si elles présentent des avantages de valeur élevés.

2.3 Garanties Théoriques

L'article fournit une décomposition théorique de la sous-optimalité de l'objectif NFTR (Théorème 3.7), montrant qu'elle se compose de :

1. Erreur de Valeur : Erreur standard d'estimation de la valeur IQL.
2. Erreur d'Échantillonnage : Terme standard $O(1/\sqrt{n})$.
3. Régularisation Géométrique : Un terme de biais résiduel borné par l'écart de triangle. Crucialement, ce terme s'annule sur les géodésiques et reste une borne supérieure conservatrice sous une dynamique stochastique.

De plus, la Proposition 3.8 établit que l'objectif RWDR préserve la propriété d'amélioration monotone au niveau de la population de l'AWR, garantissant que l'optimum de la distribution (in-distribution) est amélioré.

3. Contributions Clés

1. Caractérisation Prouvable de la Moyenne de Modes : La première caractérisation en forme close de l'effondrement de mode de HIQL, prouvant que les politiques gaussiennes unimodales placent inévitablement de la masse dans des régions inaccessibles face à des distributions de sous-buts multimodales.
2. Filtrage par Composabilité Géométrique : L'introduction de l'écart de triangle comme un a priori structurel pour le repondérage de l'AWR. Cela agit comme un proxy mécaniste pour filtrer les transitions non fiables sans nécessiter une estimation précise de la distance.
3. Intégration Méthodologique : NFTR est la première méthode hiérarchique de GCRL hors ligne qui couple la modélisation de sous-buts multimodaux (via les NF) avec le filtrage de composabilité géométrique (via l'écart de triangle).
4. Décomposition Théorique : Une décomposition de la sous-optimalité en trois termes pour la méthode combinée, démontrant que la régularisation géométrique contrôle la sélection des sous-buts tout en préservant les garanties d'amélioration monotone de l'AWR.

4. Résultats Expérimentaux

Les auteurs évaluent NFTR sur OGBench, en se concentrant sur des tâches stochastiques, de couture (stitching) et de manipulation où les limitations de HIQL sont les plus marquées.

• Tâches Stochastiques et de Téléportation : NFTR surpasse significativement HIQL et les autres bases (SAW, OTA, QRL) sur des tâches comme pointmaze-teleport-navigate et antmaze-teleport-stitch. Par exemple, sur pointmaze-teleport-navigate, NFTR atteint 53,8 % de succès contre 18 % pour HIQL.
• Tâches de Couture (Stitching) : Sur les tâches de couture moyenne, NFTR capture des clusters de sous-buts déconnectés que les politiques gaussiennes moyennent, atteignant 98,0 % de succès contre 74 % pour HIQL.
• Manipulation : Dans les tâches de manipulation bruitées (cube-single-noisy), NFTR améliore les taux de succès de 41 % (HIQL) à 67,4 %, démontrant une robustesse au bruit d'observation.
• Études d'Ablation :
  • NF vs Gaussienne : Remplacer la gaussienne par un NF seul (B1) produit des gains substantiels, confirmant la nécessité de la modélisation multimodale.
  • Nécessité de RWDR : Supprimer la pénalité d'écart de triangle (A1) dégrade les performances sur les tâches de couture, validant le besoin de filtrage géométrique.
  • Entraînement de la Distance : Étonnamment, l'utilisation d'un réseau de distance non entraîné (A2) donne des performances comparables à un réseau entraîné. Cela suggère que la garantie architecturale de l'inégalité triangulaire est le principal moteur du succès, plutôt que l'estimation précise de la distance.

5. Signification et Revendications

L'article affirme que NFTR fournit une approche prouvablement stable de la sélection de sous-buts hors ligne qui évite l'effondrement gaussien et le biais optimiste inhérents aux méthodes hiérarchiques précédentes.

• Insight Mécaniste : Le travail démontre que la cohérence géométrique (inégalité triangulaire) peut servir de filtre robuste pour l'invalidité stochastique, agissant comme une borne supérieure conservatrice sur les violations de composabilité.
• Scalabilité : La méthode reste efficace même lorsque le réseau de distance n'est pas entraîné, soulignant l'importance des a priori structurels sur l'apprentissage métrique précis dans ce contexte.
• Limitations : Les auteurs notent modestement que pour les tâches à long horizon (ex: antmaze-giant-stitch) ou la locomotion riche en contacts à haut degré de liberté, le goulot d'étranglement se déplace vers l'abstraction temporelle ou la réalisabilité physique, domaines où d'autres méthodes (comme OTA) peuvent encore dominer. De plus, la garantie d'amélioration monotone est une déclaration au niveau de la population et ne se transfère pas strictement à la descente de gradient stochastique (SGD) sur des paramétrisations non convexes, bien que l'entraînement empirique reste stable.

En résumé, NFTR fait progresser le domaine en traitant rigoureusement les échecs structurels des politiques gaussiennes dans l'apprentissage hors ligne et en introduisant un schéma de repondérage géométrique qui filtre la « chance » stochastique sans sacrifier les garanties théoriques de la régression pondérée par l'avantage.