Résumé Technique : FrameSkip : Apprendre à partir de moins de frames mais plus informatives dans l'entraînement des VLA

Énoncé du Problème

Les politiques Vision-Language-Action (VLA) sont généralement entraînées sur des trajectoires de démonstration robotique denses, collectées via téléopération. Une convention prédominante dans ce domaine suppose que chaque frame enregistrée fournit une supervision également utile, conduisant à un échantillonnage uniforme de tous les pas de temps durant l'entraînement.

Les auteurs soutiennent que cette approche crée un déséquilibre temporel de la supervision. Les trajectoires robotiques contiennent souvent de longs segments à faible variation (par exemple, l'approche d'un objet, un transport stable) qui dominent le flux d'entraînement, tandis que les transitions critiques pour la manipulation (par exemple, l'alignement, le contact, la préhension, le relâchement) apparaissent de manière éparsse. Par conséquent, sous un budget d'optimisation fixe, les transitions rares mais critiques pour la prise de décision sont diluées par des observations abondantes mais faiblement informatives. Cela conduit à des politiques qui s'adaptent bien aux mouvements fluides mais restent fragiles aux stades d'interaction critiques et épars.

Méthodologie : FRAMESKIP

L'article introduit FRAMESKIP, un cadre de sélection de frames au niveau des données conçu pour réallouer la supervision temporelle vers les frames de haute importance, sans modifier l'architecture du VLA, la tête d'action, la fonction de perte ou la procédure d'inférence.

1. Estimation de l'Importance des Frames

FRAMESKIP attribue un score d'importance à chaque frame basé sur quatre indices de trajectoire légers, normalisés au sein de chaque trajectoire :

• Importance de la Variation d'Action (AVI) : Mesure la dynamique locale de l'action, incluant la différence par rapport à l'action précédente et la variation à court terme dans les étapes futures. Un AVI élevé indique des changements brusques de mouvement ou des événements de contact.
• Cohérence Visuelle-Action (VAC) : Capture les transitions ancrées visuellement en comparant l'ampleur des changements de caractéristiques visuelles (extraites via DINOv2) par rapport aux changements d'action. Cela identifie les stades où l'environnement change significativement en raison de l'action du robot.
• Importance de la Progression de la Tâche (TPI) : Encode une priorité structurelle concernant l'endroit où se produisent les stades critiques. Elle utilise un Modèle de Mélange Gaussien (GMM) adaptatif au jeu de données, ajusté sur les centres de stades critiques annotés, ou une priorité gaussienne générique centrée au milieu de la trajectoire si les annotations sont indisponibles.
• Préservation de la Transition de la Pince : Un facteur multiplicatif qui augmente les scores pour les frames impliquant des changements absolus dans les états de la pince ou de l'effecteur terminal, garantissant que les stades liés au contact ne sont pas élagués.

Le score final est une combinaison pondérée : $I(t) = \alpha \cdot \text{AVI} + \beta \cdot \text{VAC} + \gamma \cdot \text{TPI}$.

2. Élagage Conscient du Ratio

Étant donné un ratio de rétention cible $r$ (par exemple, conserver 20 % des frames), FRAMESKIP construit un sous-ensemble d'indices de pas de temps.

• Il calcule un seuil basé sur le quantile $(1-r)$ des scores d'importance.
• Il impose des contraintes pratiques : conserver les premières/dernières frames, les frames de transition de pince et les frames avec les changements d'action du décile supérieur.
• Si la règle du quantile s'écarte du nombre cible, des frames sont ajoutées ou supprimées en fonction de l'importance décroissante.
• Des contraintes de cohérence temporelle sont appliquées pour empêcher des écarts excessivement grands entre les frames conservées.

3. Intégration à l'Entraînement

FRAMESKIP opère comme une intervention au niveau du dataloader :

• Échauffement : Le modèle est entraîné pendant une période initiale ($N_{warm}$) sur le jeu de données complet (frames entières, $r=1.0$) pour établir un ancrage visuel-action stable.
• Échantillonnage Élagué : Après l'échauffement, la majorité des mini-lots sont tirés de la vue compressée ($r < 1.0$).
• Ancrage : Pour éviter le surapprentissage aux transitions éparses, une petite fraction des mini-lots (par exemple, 1 sur 5) est tirée de la vue complète pour rafraîchir le contexte global de la trajectoire.
• Remappage des Indices : Le système mappe les pas de temps demandés aux indices conservés les plus proches dans la trajectoire mise en cache, laissant la structure du jeu de données sous-jacent et l'architecture du modèle inchangés.

Contributions Clés

1. Identification du Déséquilibre Temporel : L'article identifie le déséquilibre temporel de la supervision comme un problème pratique et sous-exploré dans l'entraînement des VLA, arguant que toutes les frames ne sont pas également informatives.
2. Cadre FRAMESKIP : Un cadre au niveau des données, agnostique de l'architecture, qui sélectionne les frames informatives en utilisant des indices légers (AVI, VAC, TPI) et la préservation de la pince, opérant uniquement au sein du dataloader.
3. Étude Empirique Systématique : Une évaluation complète de la rétention de frames guidée par l'importance, incluant des ablations sur les ratios de rétention, les métriques d'importance et les calendriers d'échauffement, démontrant que les gains proviennent de la réallocation de la supervision plutôt que d'une simple réduction de données.

Résultats Expérimentaux

Les auteurs ont évalué FRAMESKIP sur trois benchmarks de simulation : RoboCasa-GR1 (manipulation bimanuelle), SimplerEnv (généralisation WidowX) et LIBERO (manipulation mono-bras Franka).

• Gains de Performance : Sur les trois benchmarks, FRAMESKIP a amélioré le taux de réussite moyen macro de 66,50 % (entraînement sur frames complètes) à 76,15 %.
• Efficacité : Dans le paramétrage principal, la méthode a conservé seulement 20 % des frames uniques par trajectoire tout en obtenant ces gains.
• Insights des Ablations :
  • Ratio de Rétention : La performance a culminé à des niveaux de compression modérés (par exemple, 50 % ou 20-30 %), surpassant à la fois l'entraînement sur frames complètes et l'élagage agressif (10 %).
  • Métriques : La combinaison complète de AVI, VAC et TPI a surpassé les variantes utilisant uniquement une sélection aléatoire ou des métriques uniques (par exemple, AVI seul), confirmant le caractère complémentaire des indices.
  • Échauffement : Un court échauffement sur frames complètes (par exemple, 5 000 étapes) a suffi pour stabiliser l'apprentissage avant de passer aux vues élaguées.

Signification et Revendications

L'article revendique que FRAMESKIP démontre que l'allocation de la supervision au niveau des frames est un levier pratique pour améliorer l'entraînement des VLA. En redéfinissant l'élagage des frames non pas simplement comme une réduction de données mais comme un mécanisme pour rééquilibrer l'entraînement vers des moments fragiles et critiques, la méthode atteint des taux de réussite plus élevés avec des vues de trajectoire significativement compressées.

Les auteurs soulignent que FRAMESKIP est complémentaire aux efforts d'extension existants (architecture du modèle, représentation de l'action, mélanges de données). Il offre un moyen direct d'étudier l'importance des frames comme principe d'entraînement sans nécessiter de changements architecturaux ni de modèles auxiliaires pour la prédiction de la qualité. L'objectif ultime déclaré est de faire de « l'importance des frames un objet de première classe dans l'apprentissage multimodal incarné ».