Résumé Technique : ISEP – Expansion Implicite du Support pour l'Apprentissage par Renforcement Hors Ligne

1. Énoncé du Problème

L'apprentissage par renforcement (RL) hors ligne vise à apprendre des politiques efficaces à partir de jeux de données statiques sans interaction en ligne, une capacité cruciale pour des domaines à haut risque comme la robotique et la santé. Un défi fondamental dans ce contexte est la tension entre le conservatisme (rester dans le support du jeu de données pour garantir une estimation valide de la valeur) et l'optimisme (généraliser au-delà des données sous-optimales pour découvrir des comportements améliorés).

Les méthodes existantes résolvent généralement cette tension en imposant des contraintes de support strictes : limiter les mises à jour aux transitions intra-échantillon, restreindre les actions au support de la politique de comportement, ou pénaliser les valeurs de critique surestimées. Bien que ces contraintes assurent la sécurité, elles suppriment souvent les comportements à haute récompense faiblement représentés dans le jeu de données. Ce « biais de densité » empêche la découverte de politiques optimales, en particulier lorsque la trajectoire optimale manque de densité de données suffisante. De plus, l'interpolation déterministe standard entre des données conservatrices et des propositions optimistes conduit souvent à un effondrement de mode, où la politique moyenne des actions valides distinctes en une action de faible valeur, invalide et située hors de la variété des données.

2. Méthodologie

Les auteurs proposent ISEP (Expansion Implicite du Support via optimisation de politique stochastique), un cadre conçu pour extrapoler en toute sécurité au-delà des jeux de données statiques. ISEP fonctionne grâce à trois innovations couplées :

2.1 Estimation de Valeur Interpolée (Expansion Implicite du Support)

Au lieu de traiter la distribution du jeu de données comme une frontière rigide, ISEP étend implicitement le support valide de la fonction de valeur pour englober des actions à haute valeur qui sont valides mais faiblement représentées. Cela est réalisé via une fonction objectif hybride pour le réseau de valeur $V_\psi$ :

$$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$$

• Terme 1 : Ancrage des estimations de valeur sur les transitions réelles en utilisant une perte d'expectile asymétrique (approche IQL standard).
• Terme 2 : Pilotage de l'expansion en interrogeant la fonction Q avec des actions échantillonnées à partir de la politique actuelle $\hat{a} \sim \pi_\phi$.
• Paramètre $p$ : Un scalaire contrôlable régissant l'équilibre entre sécurité (dans la distribution) et exploration (générée par la politique). Ce mécanisme « densifie » les régions à haute récompense, créant un chemin navigable pour l'amélioration de la politique.

2.2 Sélection Stochastique d'Actions

Pour répondre à la nature multimodale de l'objectif résultant, ISEP emploie une stratégie de Sélection Stochastique d'Actions. L'interpolation déterministe standard (moyenne des gradients) force la politique vers la moyenne arithmétique d'une action conservatrice et d'une action optimiste, conduisant souvent à une action de faible valeur « hors variété ».

ISEP évite cela en alternant stochastiquement entre les cibles à chaque étape de mise à jour en utilisant une porte de Bernoulli $B \sim \text{Bernoulli}(p)$ :

$$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$$

Cela garantit que la politique est poussée vers des modes valides distincts (soit l'échantillon de données conservateur, soit la proposition optimiste) plutôt que de s'effondrer dans une vallée de faible valeur entre eux.

2.3 Instantiation : ISEP-FM

Étant donné que la stratégie stochastique nécessite une politique capable de représenter des distributions complexes et multimodales, les auteurs instancient le cadre en utilisant l'Appariement de Flux Conditionnel (CFM) avec Guidage Sans Classificateur (CFG).

• Le modèle de flux est conditionné par un token d'optimalité $o \in \{\emptyset, 1\}$.
• À l'inférence, les actions sont générées en intégrant le champ de vitesse avec une échelle de guidage $w$, permettant un contrôle dynamique entre la distribution de comportement de base et la condition d'optimalité à haute valeur.

3. Garanties Théoriques

L'article fournit une analyse théorique démontrant que ISEP garantit une erreur de valeur bornée. Sous les hypothèses de tailles d'échantillons finies (Écart d'Expectile) et de sous-optimalité du jeu de données, les auteurs prouvent que si le paramètre d'interpolation $p$ satisfait une borne spécifique dérivée des caractéristiques du jeu de données :

$$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$$

Alors, avec une probabilité d'au moins $\eta$ (gouvernée par la qualité du jeu de données), la fonction de valeur apprise $\hat{V}(s)$ reste majorée par la valeur d'état optimale $V^*(s)$. Cela établit $p$ comme un mécanisme de sécurité rigoureux qui empêche une divergence catastrophique tout en permettant une extrapolation contrôlée.

4. Résultats Expérimentaux

Les auteurs ont évalué ISEP et sa variante à appariement de flux (ISEP-FM) sur le benchmark D4RL, couvrant la locomotion Gym-MuJoCo, la manipulation de main robotique Adroit, et la manipulation séquentielle d'objets Kitchen.

• Performance : ISEP-FM a obtenu des résultats de l'état de l'art sur plusieurs environnements. Par exemple, sur hopper-med-rep, il a obtenu un score normalisé de 104,5, surpassant de solides références comme QIPO (101,2) et IDQL (82,4). Sur halfcheetah-med, il a obtenu 59,9, dépassant le précédent meilleur score de 54,1.
• Études d'ablation :
  • Paramètre $p$ : Des valeurs modérées ($p \in \{0,3, 0,5\}$) ont systématiquement produit les scores les plus élevés. Des valeurs agressives ($p \geq 0,9$) ont conduit à une divergence catastrophique, confirmant la nécessité d'une approche « intermédiaire ».
  • Stochastique vs Déterministe : Le remplacement de la sélection stochastique par une interpolation déterministe a entraîné des baisses de performance significatives, validant que la moyenne naïve échoue dans des paysages d'actions non convexes.
  • Expansion du Support : Les visualisations (t-SNE) ont confirmé que ISEP étend avec succès le support des actions vers des régions à haute récompense et faiblement denses que les méthodes strictement intra-distribution (comme IQL avec $p=0$) ne parviennent pas à atteindre en raison du biais de densité.

5. Importance et Revendications

L'article revendique que ISEP adresse la limitation critique des méthodes de RL hors ligne qui traitent les distributions de jeux de données comme des frontières rigides. En étendant implicitement le support d'action faisable via une fonction de valeur interpolée entre des données intra-distribution et des échantillons de politique, ISEP « densifie » les régions à haute récompense sans nécessiter de contraintes explicites ou de pipelines complexes à deux étapes.

L'importance de ce travail réside dans sa capacité à :

1. Combler le fossé entre sécurité et optimisme, permettant aux agents de découvrir des actions supérieures dans des régions faiblement représentées de l'espace état-action.
2. Prévenir l'effondrement de mode dans des paysages non convexes grâce à une stratégie novatrice de sélection stochastique d'actions, essentielle pour l'apprentissage de politiques multimodales.
3. Fournir des garanties de sécurité théoriques, montrant que les estimations de valeur restent bornées même lors de l'exploration d'actions hors distribution, à condition que le paramètre d'interpolation soit ajusté selon la qualité du jeu de données.

Les auteurs concluent que la combinaison de l'expansion du support avec l'expressivité des modèles génératifs modernes (Appariement de Flux) permet aux agents de RL hors ligne de découvrir efficacement des comportements supérieurs sans sacrifier la sécurité.