Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets

1. Problématique

L'apprentissage par imitation (Imitation Learning - IL) en robotique repose sur des ensembles de données constitués de trajectoires à long horizon, de longueurs variables et multimodales (états, actions, observations visuelles haute dimension comme les vidéos RGB).

• Le défi : Il est difficile de quantifier la diversité de ces données de manière rigoureuse. Les métriques de distance ponctuelle classiques échouent car elles ne respectent pas la structure temporelle et géométrique sous-jacente des trajectoires.
• Le besoin : Il existe un manque de mesure de diversité "sans modèle" (model-free), rapide et capable de traiter des trajectoires de longueurs variables sans nécessiter l'entraînement d'un modèle de politique (policy) ou l'accès à des rollouts (simulations) coûteux.
• L'objectif : Établir un lien entre la diversité du jeu de données de démonstration et la performance de généralisation de la politique robotique, et proposer une méthode d'élagage (curation) basée sur cette diversité.

2. Méthodologie

L'approche proposée repose sur l'utilisation de la transformée de signature et du noyau de signature (Signature Kernel) pour définir des métriques d'entropie et de diversité.

A. Représentation des données (Demos to Paths)

Chaque démonstration est convertie en une trajectoire (chemin) dans un espace vectoriel :

1. Les observations visuelles (images RGB) sont encodées via un réseau ViT (Vision Transformer) ou réduites en représentations basse dimension (nuages de points).
2. Ces vecteurs sont concaténés avec les états et les actions du robot à chaque pas de temps.
3. Le résultat est une trajectoire multivariée $X_i(t)$ représentant la démonstration $i$.

B. La Transformée de Signature et le Noyau

La transformée de signature est une série infinie d'intégrales itérées qui capture la structure géométrique et temporelle d'un chemin. Elle est invariante par reparamétrisation (la vitesse de l'exécution n'affecte pas la signature).

• Noyau de Signature ($k_{sig}$) : Il définit une mesure de similarité entre deux trajectoires basée sur leurs signatures, respectant ainsi la structure globale plutôt que la distance point-à-point.
• Pour des raisons de calcul, on utilise une version tronquée (niveau $L$) ou une approximation par des caractéristiques de Fourier aléatoires (Random Fourier Features).

C. Métriques d'Entropie et de Diversité

Les auteurs étendent les concepts d'entropie de Shannon et de von Neumann au domaine des noyaux :

1. Matrice de Gram : On construit la matrice $K_{sig}$ normalisée où chaque entrée $K_{ij}$ est la similarité entre les démonstrations $i$ et $j$.
2. Entropie Signature :
   • Entropie de Shannon Signature : $H_{shannon} = -\sum \lambda_i \ln \lambda_i$, où $\lambda_i$ sont les valeurs propres de la matrice $K_{sig}/n$.
   • Entropie de von Neumann Signature : $H_{von Neumann} = -\text{Tr}(\frac{K_{sig}}{n} \ln \frac{K_{sig}}{n})$.
   • Résultat théorique : Les auteurs démontrent que ces deux entropies sont égales dans ce contexte.
3. Volume (Déterminant) : Le déterminant de la matrice de Gram ($\det(K_{sig})$) mesure le volume engendré par les démonstrations dans l'espace des caractéristiques. Un volume plus grand indique une meilleure couverture de l'espace d'états/actions.

D. Algorithme de Curation : FAKTUAL

FAKTUAL (FAst trajectory Kernel enTropy cUration for imitation Learning) est un algorithme de sélection de sous-ensemble :

• Objectif : Sélectionner un sous-ensemble de taille $m$ qui maximise l'entropie (ou le déterminant) du noyau de signature.
• Stratégie :
  1. Sélectionner un sous-ensemble maximisant l'entropie (favorise l'uniformité et la couverture).
  2. Compléter avec un sous-ensemble maximisant le déterminant (favorise les points extrêmes et la diversité globale).
• Avantages :
  • Sans modèle (Model-free) : Ne nécessite pas de connaître la politique d'apprentissage ni de l'entraîner.
  • Efficace : Négligeable surcharge computationnelle par rapport à l'entraînement de la politique.
  • Indépendant des rollouts : Ne nécessite pas de simulations coûteuses.

3. Contributions Clés

1. Nouvelle Métrique de Diversité : Introduction d'une mesure d'entropie basée sur le noyau de signature, applicable directement aux jeux de données de robotique multimodaux et de longueurs variables.
2. Algorithme FAKTUAL : Une méthode de curation de données rapide et sans modèle qui sélectionne les démonstrations les plus informatives pour maximiser la diversité.
3. Corrélation Performance-Diversité : Preuve empirique que l'entropie du jeu de données de démonstration est fortement corrélée au taux de réussite de la politique entraînée.
4. Évaluation Rigoureuse : Tests sur des benchmarks simulés (RoboMimic, MetaWorld) et quatre tâches de manipulation en monde réel.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de simulation (Can, Square, Transport, Door Open, etc.) et sur un bras robotique réel (SO-ARM101).

• Performance vs Sélection Aléatoire :
  • FAKTUAL surpasse systématiquement la sélection aléatoire, en particulier lorsque le budget de démonstrations est limité.
  • Sur des tâches simples (ex: "Can"), la diversité permet d'atteindre des taux de réussite élevés avec très peu de démonstrations.
  • Sur des tâches complexes, la diversité devient cruciale une fois un certain seuil de données atteint.
• Comparaison avec l'État de l'Art :
  • FAKTUAL est compétitif par rapport à des méthodes basées sur des modèles auxiliaires (comme Cupid, Demo-SCORE, DemInf) qui nécessitent un entraînement coûteux ou des rollouts.
  • Bien que les méthodes basées sur la qualité (filtrage des échecs) puissent parfois surpasser FAKTUAL sur des données brutes de mauvaise qualité, FAKTUAL excelle dans les scénarios où la qualité est déjà élevée mais la redondance est forte.
• Corrélation Entropie-Succès : Une forte corrélation positive (coefficient de Pearson $r \approx 0.74 - 1.00$) a été observée entre l'entropie du sous-ensemble sélectionné et le taux de réussite final.
• Efficacité Computationnelle : FAKTUAL est significativement plus rapide et moins coûteux en ressources que les méthodes nécessitant l'entraînement de modèles auxiliaires.

5. Signification et Limites

Signification :
Ce travail fournit un outil pratique et théoriquement fondé pour comprendre et améliorer la diversité des jeux de données en robotique. Il démontre que la diversité, mesurée par l'entropie du noyau de signature, est un signal fiable pour la curation de données, permettant d'entraîner des politiques plus robustes avec moins de données.

Limites :

• Qualité des données : FAKTUAL optimise la diversité mais ne garantit pas la qualité (il pourrait sélectionner des trajectoires réussies mais sous-optimales ou des échecs si ceux-ci sont diversifiés). Il est donc recommandé de l'utiliser en complément de méthodes de filtrage de qualité.
• Hypothèse de modèle : L'approche suppose que le modèle d'apprentissage (ex: BC, Diffusion) est suffisamment puissant pour apprendre de la diversité. Si le modèle est trop faible, une diversité excessive peut nuire à la performance.
• Sensibilité aux hyperparamètres : Le choix du niveau de troncature de la signature et du paramètre de mélange $p$ dépend de la nature spécifique du jeu de données.

En conclusion, l'article propose une avancée majeure pour l'ingénierie des données en robotique, offrant une méthode "sans modèle" pour transformer de grands ensembles de données redondants en ensembles d'apprentissage denses, diversifiés et performants.