Résumé Technique : Comprendre l'Échec Multimodal dans la Clonage Comportemental par Morceaux d'Actions

Énoncé du Problème

Le clonage comportemental (BC) fait face à un défi fondamental lorsque la distribution conditionnelle d'actions de l'expert est multimodale : pour une seule observation, plusieurs actions valides distinctes peuvent exister (par exemple, différentes solutions de cinématique inverse ou trajectoires de navigation autour d'obstacles). Les approches BC standard utilisant des têtes unimodales (par exemple, une perte L2 ou une seule distribution gaussienne) échouent en régressant vers la moyenne conditionnelle, produisant souvent des actions situées dans les intervalles entre les modes valides et qui sont physiquement irréalisables.

Pour y remédier, les méthodes contemporaines emploient le morcellement d'actions (action-chunking, c'est-à-dire la prédiction de séquences d'actions plutôt que de pas uniques) et des paramétrisations multimodales. Ces méthodes se divisent généralement en deux catégories :

1. Politiques à Variables Latentes : Introduction d'une variable latente non observée $Z$ (par exemple, les CVAE) pour encoder l'ambiguïté des actions.
2. Politiques Génératives dans l'Espace des Actions : Modélisation directe de la distribution d'actions à l'aide de flux ou de modèles de diffusion, sans code latent intermédiaire explicite.

Malgré leur succès empirique, les mécanismes théoriques régissant pourquoi ces politiques réussissent ou échouent à préserver la multimodalité restent obscurs. Plus précisément, il est inconnu quelles grandeurs au niveau de l'entraînement contrôlent la préservation des modes distincts.

Méthodologie et Cadre Théorique

Les auteurs formalisent la multimodalité comme une propriété où le support de la distribution d'actions de l'expert $p_D(\cdot|s)$ est contenu dans $K(s)$ ensembles de modes $C_k(s)$ bien séparés. Ils analysent comment deux familles principales de politiques échouent à préserver ces modes sous des contraintes spécifiques.

1. Politiques à Variables Latentes (CVAE)

L'étude examine le rôle de la régularisation posterior–prior (généralement un terme de divergence KL ponctuelle, $\beta D(q_\phi \| p_\psi)$) dans les Autoencodeurs Variationnels Conditionnels.

• Exigence d'Information : Pour récupérer un mode démontré spécifique $M$ à partir d'une observation $S$, la variable latente $Z$ doit encoder des informations conditionnées par l'action. Les auteurs dérivent une borne inférieure sur l'information mutuelle conditionnelle $I(A; Z | S)$ requise pour préserver l'identité du mode.
• Le Mécanisme d'Effondrement : Ils démontrent que lorsque la force de régularisation $\beta$ augmente, l'objectif variationnel pénalise la divergence entre le posterior et le prior. Cela force le posterior à s'effondrer vers le prior, éliminant ainsi l'information conditionnée par l'action nécessaire pour distinguer les modes.
• Résultat Clé : Il existe une condition nécessaire $\beta < C/b_0$ pour obtenir un certificat de multimodalité non trivial. Une régularisation excessive conduit à un « effondrement de mode », où la politique devient unimodale indépendamment de la complexité réelle des données.

2. Politiques Génératives dans l'Espace des Actions

L'étude analyse des échantillonneurs déterministes $G_{\theta,s}(u)$ qui mappent un bruit de base $u$ (par exemple, gaussien) vers des morceaux d'actions.

• Contrainte Géométrique : La capacité à représenter plusieurs modes séparés dépend de la constante de Lipschitz ($L_{\theta,s}$) de la carte de transport.
• Le Compromis de Lissage : Les auteurs démontrent qu'une carte avec une petite constante de Lipschitz ne peut pas attribuer une masse de probabilité substantielle à de nombreux modes bien séparés simultanément. Pour couvrir $K$ modes séparés, le générateur doit soit :
  1. Présenter des transitions abruptes (grande constante de Lipschitz) dans l'espace de base.
  2. Utiliser des « régions de pont » dans l'espace des actions où la carte transitionne entre les modes, passant souvent par des trajectoires invalides (hors support).
• Résultat Clé : Les techniques de régularisation qui imposent un lissage (petites constantes de Lipschitz) contraignent intrinsèrement la capacité du modèle à représenter des distributions multimodales, forçant un compromis entre stabilité et couverture des modes.

Contributions Clés

1. Définition Formelle de la Multimodalité : L'article fournit une définition rigoureuse du clonage comportemental multimodal basée sur des ensembles de modes séparés et des fonctions d'assignation de modes.
2. Identification des Mécanismes d'Échec :
   • Pour les politiques latentes : Identification de la force de régularisation KL ponctuelle comme facteur critique causant l'effondrement de mode en supprimant l'information latente conditionnée par l'action.
   • Pour les politiques dans l'espace des actions : Identification de la constante de Lipschitz de la carte de base vers l'action comme goulot d'étranglement géométrique limitant le nombre de modes représentables.
3. Bornes Théoriques :
   • Dérivation d'une borne inférieure sur l'information mutuelle ($I(A; Z | S)$) requise pour la récupération de mode, liée à l'entropie de mode corrigée par Fano.
   • Dérivation d'une borne supérieure sur le nombre de modes représentables pour les générateurs Lipschitziens, montrant qu'il évolue avec le rapport entre la constante de Lipschitz et la distance de séparation des modes.
4. Validation Empirique : Validation de ces mécanismes sur des tâches de navigation 2D synthétiques (avec étiquettes de modes vérité terrain) et des benchmarks de simulation robotique standard (Push-T, UR3 BlockPush, Kitchen).

Résultats Expérimentaux

Les expériences soutiennent les prédictions théoriques :

• Politiques Latentes : L'augmentation du poids KL $\beta$ dans les CVAE provoque une chute brutale de l'information mutuelle $I(A; Z | S)$ et un effondrement correspondant de la couverture des modes. Bien que l'appariement agrégé (par exemple, MMD-CWAE) puisse préserver l'information des modes du posterior, le succès du déploiement dépend fortement de la question de savoir si le prior couvre les régions latentes décodées vers des actions valides.
• Politiques dans l'Espace des Actions : Les modèles génératifs (Flux/Diffusion) couvrent avec succès les modes mais présentent un compromis. Sur des tâches à haute cardinalité ($K=16$), ils paient le coût de la multimodalité en générant une forte fraction de trajectoires « pont » (chemins invalides entre les modes) plutôt que des transitions abruptes.
• Performance sur les Benchmarks :
  • Sur des tâches presque unimodales (UR3 BlockPush), le BC déterministe surpasse les méthodes génératives.
  • Sur des tâches hautement multimodales (Kitchen, Push-T Image), les méthodes génératives surpassent les bases déterministes.
  • Les priors appris et l'appariement agrégé améliorent les performances par rapport aux CVAE KL ponctuels standards, mais uniquement si le prior s'aligne avec les régions latentes valides du décodeur.
  • Les méthodes de transport dans l'espace des actions sont environ 6 fois plus lentes à l'inférence que les méthodes basées sur des variables latentes.

Importance et Revendications

L'article prétend combler une lacune critique dans la compréhension de pourquoi l'apprentissage par imitation multimodal échoue, allant au-delà des comparaisons empiriques axées sur les tâches pour fournir des critères théoriques de préservation des modes.

• Implication Pratique pour les CVAE : Les auteurs soulignent que le choix par défaut de $\beta=10$ dans des travaux importants (par exemple, ACT) est théoriquement susceptible de produire des politiques unimodales, suggérant que les praticiens doivent ajuster soigneusement la régularisation pour équilibrer l'alignement avec le besoin d'information sur les modes.
• Implication Pratique pour les Modèles Génératifs : L'analyse suggère qu'imposer un lissage excessif dans les modèles de diffusion ou de flux (via la régularisation) peut involontairement forcer un effondrement de mode, car le modèle ne peut pas étirer l'espace latent suffisamment pour couvrir des modes séparés sans violer les contraintes de lissage.
• Portée Modeste : Les auteurs reconnaissent que leurs résultats décrivent des limitations structurelles indépendantes de l'entraînement et des conditions nécessaires. Ils ne garantissent pas que l'entraînement trouvera un optimiseur satisfaisant ces conditions, ni ne fournissent une règle universelle pour sélectionner $\beta$ sans estimer l'ambiguïté spécifique à la tâche. Ils soulignent que la « meilleure » classe de politique dépend de la structure d'ambiguïté spécifique des données, et non simplement de l'expressivité du modèle.

En résumé, ce travail établit que la préservation de la multimodalité dans le clonage comportemental est régie par des contraintes explicites et quantifiables : la force de la régularisation dans les modèles latents et la régularité géométrique de la carte de transport dans les modèles génératifs.