Résumé Technique : ConTraIRL – Abstractions Contrastives Factorisées pour l'IRL Transférable

1. Énoncé du Problème

L'Apprentissage par Renforcement Inverse (IRL - Inverse Reinforcement Learning) vise à récupérer la fonction de récompense sous-jacente au comportement de l'expert, permettant aux agents d'apprendre des compétences complexes sans conception manuelle de la récompense. Un défi critique dans ce domaine est la généralisation compositionnelle : la capacité de transférer une récompense apprise vers des environnements cibles où le contexte est un appariement inédit de la dynamique environnementale ($d$) et des objectifs de tâche ($g$) précédemment observés.

Les méthodes d'IRL standard modélisent généralement la récompense comme une fonction monolithique de l'état. Cette approche enchevêtre les caractéristiques dépendantes de la dynamique et celles dépendantes de l'objectif. Par conséquent, lorsqu'un agent est déployé dans un contexte cible où $d$ et $g$ sont individuellement familiers, mais que leur combinaison spécifique $(d_{tar}, g_{tar})$ n'a jamais été observée pendant l'entraînement, la récompense apprise est interrogée sous un contexte hors distribution. Cela conduit à une généralisation peu fiable et à une récupération de récompense médiocre.

L'article traite ce problème en étudiant un cadre où :

• Les données d'entraînement consistent en plusieurs environnements où chaque facteur ($d$ et $g$) apparaît dans plusieurs contextes.
• Un sous-ensemble d'appariements de facteurs est mis de côté comme contextes cibles.
• Dans les contextes cibles, seul un sous-ensemble fixe d'états d'une seule trajectoire d'expert est disponible (supervision à partir de peu d'exemples/few-shot), plutôt que des démonstrations complètes.

2. Méthodologie : ConTraIRL

Les auteurs proposent ConTraIRL (Contrastive Abstractions for Transferable IRL), un cadre conçu pour permettre le transfert de récompense compositionnel en apprenant des représentations latentes découplées de la dynamique et des objectifs.

2.1 Abstractions Contrastives Factorisées

Le cœur du cadre est une architecture à double encodeur qui projette les observations dans deux espaces latents distincts :

1. Espace de la Dynamique ($Z_d$) : Une représentation latente invariante par rapport à l'objectif $g$.
2. Espace de l'Objectif ($Z_g$) : Une représentation latente invariante par rapport à la dynamique $d$.

Cette factorisation garantit que la récompense récupérée n'encode pas de corrélations fallacieuses induites par la distribution conjointe d'entraînement. Pour y parvenir, les auteurs imposent l'Orthogonalité Factorielle :

• $z_d = \Phi_d(s, d)$ doit être invariant par rapport à $g$.
• $z_g = \Phi_g(s, g)$ doit être invariant par rapport à $d$.

2.2 Alignement de la Phase Temporelle

Les auteurs soutiennent que la seule factorisation est insuffisante pour les tâches de contrôle séquentiel, car les états le long d'une trajectoire représentent différentes étapes d'exécution. ConTraIRL introduit l'Alignement de la Phase Temporelle, exigeant que les états correspondant à des progrès relatifs similaires au sein d'un comportement soient proches des coordonnées latentes à travers les trajectoires.

• Les états ayant la même dynamique et une phase similaire restent proches dans $Z_d$, quel que soit l'objectif.
• Les états ayant le même objectif et une phase similaire restent proches dans $Z_g$, quelle que soit la dynamique.
• La phase $\psi(s)$ est définie comme le pas de temps normalisé $t/T$.

2.3 Récupération de la Récompense via la Similitude Latente

La fonction de récompense récupérée $R(s, d, g)$ est définie comme la similitude moyenne entre la représentation latente de l'état actuel et les abstractions d'expert conditionnées par la phase :
$$R(s, d, g) = \frac{1}{2} \left( \text{sim}(\Phi_d(s, d), \bar{z}_d(\psi(s))) + \text{sim}(\Phi_g(s, g), \bar{z}_g(\psi(s))) \right)$$
Ici, $\bar{z}_d(\cdot)$ et $\bar{z}_g(\cdot)$ sont les centroïdes des états d'expert groupés par leur phase temporelle relative. Cette formulation convertit un appariement hors distribution en une recombinaison in-distribution des facteurs.

2.4 Objectifs d'Entraînement

Le cadre utilise un double objectif contrastif :

1. Apprentissage de la Structure de l'Expert ($L_E$) : Une perte contrastive basée sur une marge appliquée aux paires d'experts pour structurer les variétés latentes. Les paires partageant le même facteur et une phase similaire sont traitées comme des positifs ; les autres comme des négatifs. Cela façonne les variétés de l'expert indépendamment de l'apprenant.
2. Calibration Contraste Expert-Apprenant ($L_L$) : Un objectif de contraste de bruit qui calibre la récompense en distinguant les états de l'expert ($x_E$) des états de l'apprenant ($x_L$). Cela minimise efficacement la divergence de Jensen-Shannon entre les occupations d'états de l'expert et de l'apprenant.

L'objectif total est $L_{total} = L_E - L_L$.

2.5 Détails d'Implémentation

• Encodeur Modulé par le Contexte : Au lieu d'une simple concaténation, le cadre utilise une couche d'entrée de type hyperréseau où le descripteur de contexte ($d$ ou $g$) génère des matrices de poids et des vecteurs de biais spécifiques pour transformer l'état. Cela influence dynamiquement l'extraction de caractages, encourageant l'isolation de la structure pertinente au facteur dès le début du réseau.
• Tampon d'Abstraction de l'Expert : Un tampon maintient les centroïdes de l'expert conditionnés par la phase, qui sont rafraîchis après chaque mise à jour de l'encodeur pour assurer la cohérence avec l'évolution de la variété latente.

3. Principales Contributions

• Représentation Factorisée : La proposition d'une architecture à double encodeur qui sépare explicitement les dynamiques et les objectifs en espaces latents orthogonaux, empêchant l'enchevêtrement des caractéristiques qui affecte les modèles d'IRL monolithiques.
• Alignement de la Phase Temporelle : L'intégration de la phase temporelle relative dans le critère d'alignement latent, fournissant un guidage dense pour la récupération de la récompense dans les tâches séquentielles plutôt que de compter sur une simple correspondance d'états.
• Transfert Compositionnel avec Supervision Few-Shot : Un cadre capable de récupérer des récompenses pour des appariements dynamiques-objectifs inédits en utilisant seulement un sous-ensemble partiel d'états d'expert de l'environnement cible.
• Apprentissage de la Structure de l'Expert : Un objectif explicite pour façonner les variétés de l'expert indépendamment de la distribution de l'apprenant, fournissant une référence stationnaire pour la récupération de la récompense.

4. Résultats Expérimentaux

Les auteurs ont évalué ConTraIRL sur quatre benchmarks de contrôle continu MuJoCo (Ant, HalfCheetah, Walker, Swimmer) avec des variations compositionnelles dans la dynamique et les objectifs.

• Performance sur les Appariements Inédits : ConTraIRL surpasse systématiquement les bases (TraIRL, C-AIRL et SFM) dans les contextes cibles. Par exemple, sur l'environnement Ant, ConTraIRL a atteint un retour normalisé de 0,93 ± 0,02, contre 0,88 pour SFM et 0,57 pour TraIRL.
• Robustesse à la Raretur de Données : Dans les études d'ablation où le nombre d'états d'expert cibles était réduit (de 20 % à 5 %), les méthodes de base ont subi des chutes de performance catastrophiques (par exemple, TraIRL est tombé à 0,05), tandis que ConTraIRL maintenait une performance nettement plus élevée (0,27 à 5 % d'états), démontant un transfert "few-shot" efficace.
• Analyse d'Ablation :
  • Supprimer la factorisation ("w/o F") a provoqué une chute sévère de la performance, confirmant la nécessité des représentations désentrelacées.
  • Supprimer l'alignement de la phase temporelle ("w/o TA") a réduit la performance, indiquant que l'alignement de la phase fournit un guidage dense essentiel au-delà de la simple factorisation.
• Robustesse au Bruit d'Étiquetage : ConTraIRL a démontré une plus grande robustesse au bruit des étiquettes de facteurs par rapport aux bases, grâce à son recours à des contraintes de similitude relative plutôt qu'à une prédiction supervisée directe.
• Visualisation de l'Espace Latent : Les visualisations UMAP ont confirmé que les abstractions apprises séparaient avec succès les échantillons par leur facteur correspondant (dynamique ou objectif) tout en restant invariantes par rapport à l'autre, et que la phase temporelle était préservée comme un gradient lisse au sein des clusters.

5. Signification et Revendications

L'article affirme que ConTraIRL répond à une limitation fondamentale du transfert IRL : l'incapacité de généraliser à des combinaisons inédites de facteurs environnementaux connus. En factorisant le contexte en composantes orthogonales de dynamique et d'objectif et en les alignant temporellement, le cadre permet une généralisation compositionnelle.

Les auteurs soulignent que leur approche permet une récupération de récompense fiable dans des environnements cibles où l'appariement spécifique dynamique-objectif était absent lors de l'entraînement, à condition que les facteurs individuels aient été observés. La récompense apprise montre qu'elle suit de près la performance réelle de la tâche, servant de proxy fiable pour l'optimisation de la politique même lorsque les récompenses réelles sont indisponibles.

Le travail est modestement délimité au transfert compositionnel à travers des facteurs contextuels connus avec une supervision cible limitée. Les auteurs notent explicitement que la formulation actuelle suppose l'accès aux étiquettes de facteurs et à des phases temporelles comparables, et identifient l'extension de l'approche à des contextes avec des facteurs latents, des comportements de longueur variable et un transfert totalement "zero-shot" comme des directions importantes pour les travaux futurs.