💻 computer science

ATHENA: Accelerated Multi-Task Heterogeneous Influence Functions for Robot Data Curation

Le papier propose ATHENA, un cadre de fonction d'influence évolutif qui accélère la curation de données pour les modèles Vision-Langage-Action multitâches de l'ordre du milliard de paramètres en exploitant les structures de Kronecker et les approximations de rang r afin d'obtenir des accélérations significatives tout en égalant les performances avec l'ensemble des données grâce à nettement moins de démonstrations.

Auteurs originaux : Tao Xu, Jiaxin Wang, Runhao Zhang, Jiayi Guan, Xianchao Zeng, Weixi Song, Xinyu Zhou, Zhetao Chen, Guang Chen, Yong-Lu Li

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tao Xu, Jiaxin Wang, Runhao Zhang, Jiayi Guan, Xianchao Zeng, Weixi Song, Xinyu Zhou, Zhetao Chen, Guang Chen, Yong-Lu Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super-intelligent à effectuer une centaine de tâches différentes, comme empiler des bols, ramasser des fruits ou tamponner des enveloppes. Vous disposez d'une immense bibliothèque de vidéos de démonstration montrant des humains accomplir ces tâches.

Le problème ? La bibliothèque est gigantesque, et toutes les vidéos ne sont pas utiles. Certaines montrent des mouvements parfaits, tandis que d'autres montrent des erreurs maladroites ou des actions non pertinentes. Si vous injectez simplement toutes les vidéos dans le robot, il s'embrouille, perd du temps et peut même apprendre de mauvaises habitudes. Mais si vous essayez de choisir les "meilleures" vidéos en les regardant toutes manuellement, cela prendrait une éternité.

C'est là qu'intervient ATHENA. Considérez ATHENA comme un bibliothécaire super intelligent et ultra-rapide qui vous aide à constituer la bibliothèque d'entraînement parfaite pour votre robot.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Trop de données, trop lent

Par le passé, essayer de déterminer quelle vidéo spécifique aidait le plus le robot revenait à essayer de compter chaque grain de sable sur une plage pour trouver celui qui permettrait de faire le meilleur château de sable.

L'Échelle : Les cerveaux de robots modernes (appelés modèles VLA) sont massifs, avec des milliards de « neurones » (paramètres).
Le Goulot d'étranglement : Les méthodes traditionnelles nécessitaient de réentraîner le cerveau du robot encore et encore, en retirant une vidéo à la fois pour voir si le robot s'améliorait ou régressait. Avec des milliards de paramètres, c'est informatiquement impossible — cela prendrait des milliers d'années.
Le Désordre Multitâche : Si vous avez 50 tâches différentes, une approche simple consistant à "choisir la meilleure vidéo" choisit souvent des vidéos qui sont excellentes pour une tâche (comme empiler des bols) mais inutiles ou même nuisibles pour les autres. C'est comme embaucher un chef qui est excellent pour faire des sushis mais terrible pour la pâtisserie, et essayer de lui apprendre les deux en même temps.

2. La Solution : Les deux super-pouvoirs d'ATHENA

ATHENA résout ces problèmes grâce à deux astuces principales :

Astuce A : Le "Raccourci" (Calcul Accéléré)

Au lieu de calculer l'impact de chaque vidéo en effectuant les calculs lourds sur l'ensemble du cerveau de milliards de paramètres, ATHENA utilise un raccourci mathématique ingénieux.

L'Analogie : Imaginez que vous essayiez de mesurer le poids d'un navire géant. Une méthode normale nécessiterait de peser chaque planche de bois individuellement. ATHENA, cependant, réalise que le navire est construit selon un motif spécifique et répétitif (comme une pile de briques identiques). Au lieu de peser chaque planche, elle pèse quelques briques représentatives et utilise une formule pour connaître instantanément le poids total.
Le Résultat : Ce raccourci rend le calcul 313 fois plus rapide. Ce qui demandait des semaines de temps de calcul informatique ne prend plus que quelques heures.

Astuce B : Le "Juge Équilibré" (Interaction Multitâche)

Une fois qu'ATHENA peut calculer les scores rapidement, elle doit décider quelles vidéos conserver.

L'Analogie : Imaginez un concours de talents avec 50 catégories différentes (chant, danse, jonglage, etc.). Un mauvais juge pourrait ne choisir que les meilleurs chanteurs parce qu'ils ont les voix les plus fortes, laissant de côté les jongleurs. ATHENA agit comme un producteur équitable. Elle pose deux questions pour chaque vidéo :
1. "À quel point cette vidéo aide-t-elle la tâche spécifique à laquelle elle appartient ?" (Influence Locale)
2. "À quel point cette vidéo aide-t-elle les 49 autres tâches ?" (Influence Globale)
Le Résultat : Elle crée une bibliothèque équilibrée où le robot apprend un peu de tout, garantissant qu'il ne devienne pas un maître d'une seule chose et un raté pour tout le reste.

3. Les Résultats : Moins de données, de meilleures performances

Les chercheurs ont testé ATHENA de deux manières :

Dans la Simulation (Le Jeu Vidéo) : Ils ont utilisé un simulateur de robot avec 50 tâches différentes et 2 500 heures de données vidéo.
- L'Affirmation : ATHENA a été capable d'entraîner le robot en utilisant seulement 50 % des données (la moitié des vidéos) et a obtenu les mêmes résultats (ou de meilleurs) qu'un entraînement avec 100 % des données.
- La Métaphore : C'est comme un étudiant qui ne lit que la moitié du manuel mais obtient une meilleure note qu'un étudiant qui a lu tout le livre, parce qu'il a étudié les bonnes pages.
Sur de vrais robots (Le Monde Physique) : Ils l'ont testé sur six tâches réelles (comme ramasser des fruits ou essuyer un tableau) avec de vrais bras robotiques.
- L'Affirmation : En utilisant seulement 66,7 % des données, ATHENA a permis aux vrais robots de réussir plus souvent que s'ils avaient utilisé la totalité des données ou s'ils avaient essayé d'entraîner chaque tâche séparément.
- La Métaphore : C'est comme un entraîneur qui supprime les exercices répétitifs et ennuyeux d'un camp d'entraînement, ne laissant que les exercices à fort impact, ce qui permet à l'équipe de mieux performer lors du vrai match.

Résumé

ATHENA est un outil qui aide les développeurs de robots à ne plus gaspiller de temps et d'argent avec de mauvaises données. En utilisant des raccourcis mathématiques pour accélérer le processus et un système de "juge équitable" pour équilibrer les différentes tâches, elle permet aux robots d'apprendre plus vite et mieux avec un ensemble de démonstrations plus restreint et de meilleure qualité.

L'idée clé : Vous n'avez pas besoin de plus de données pour rendre un robot plus intelligent ; vous avez besoin de meilleures données, et ATHENA est l'outil qui les trouve.

Résumé Technique : ATHENA

Énoncé du Problème

Dans le domaine de l'apprentissage par imitation robotique, les modèles Vision-Langage-Action (VLA) ont démontré un potentiel significatif lorsqu'ils sont entraînés sur des démonstrations à grande échelle. Cependant, la performance de ces modèles dépend de manière critique de la qualité des données plutôt que de leur simple volume. Le passage à l'échelle naïf des données de démonstration pour l'ajustement fin (fine-tuning) entraîne souvent des coûts prohibitifs tout en n'apportant que des gains de performance limités, voire une dégradation.

Le défi central abordé par ce travail est la sélection efficace de sous-ensembles de démonstrations de haute qualité pour des modèles VLA multitâches à milliards de paramètres. Les méthodes existantes de valorisation des données se heurtent à deux barrières principales lorsqu'elles sont appliquées à cette échelle :

Scalabilité Computationnelle : Les méthodes traditionnelles de fonctions d'influence nécessitent le calcul du gradient par échantillon ($O(DP)$) et l'inversion d'une matrice Hessienne dense ( $O(NP^2 + P^3)$ ), où $D$ est le nombre de paramètres, $P$ est la dimension de projection et $N$ est le nombre d'échantillons. Ces coûts sont intraitables pour des modèles de plusieurs milliards de paramètres.
Déséquilibre Multitâche : L'extension naïve de l'attribution d'influence mono-tâche aux contextes multitâches entraîne souvent une sélection gourmande qui favorise les tâches présentant des signaux de gradient plus forts, ce qui conduit à une sélection de données déséquilibrée parmi les plus de 50 tâches entraînées conjointement.

Méthodologie : Le Cadre ATHENA

Les auteurs proposent ATHENA (Accelerated Multi-Task Heterogeneous Influence Functions), un cadre conçu pour porter le calcul des fonctions d'influence à l'échelle des modèles VLA à milliards de paramètres tout en assurant une sélection multitâche équilibrée.

1. Estimation d'Influence Accélérée

ATHENA traite les goulots d'étranglement computationnels grâce à deux innovations techniques clés :

Featurisation de Gradient par Compression de Kronecker : Au lieu de matérialiser les gradients complets des paramètres ($O(DP)$), ATHENA exploite la structure de Kronecker des gradients des couches linéaires. En projetant séparément les facteurs d'activation ( $x$ ) et d'erreur rétropropagée ( $\delta$ ) avant de former le produit extérieur, le cadre réduit le coût de projection de $O(DP) $à$ O(\sqrt{DP})$ par couche. Cela permet d'éviter le goulot d'étranglement de la mémoire lié au stockage des gradients complets pour des modèles de milliards de paramètres.
Approximation de Troncature Aléatoire de Rang- $r$ (RTA) : Pour éviter le coût $O(NP^2 + P^3)$ de l'inversion de la matrice Hessienne projetée dense ( $G^\top G + \lambda I$ ), ATHENA approxime la matrice de gradient compressée $G$ en utilisant ses composantes spectrales aléatoires dominantes ( $G \approx U_r \Sigma_r V_r^\top$ ). Cela réduit le coût dominant dépendant des données de $O(NP^2)$ à $O(NPr) $, où$ r \ll P$.

2. Interaction d'Influence Multitâche (MII)

Pour prévenir le déséquilibre de la sélection entre tâches hétérogènes, ATHENA introduit un mécanisme d'Interaction d'Influence Multitâche. Il décompose l'influence d'une démonstration $i$ (appartenant à la tâche $c(i)$ ) en deux composantes :

Influence Locale ( $\hat{\Psi}^{c(i)}_{\pi\text{-inf}}$ ) : L'effet de la démonstration sur les déploiements d'évaluation de sa propre tâche.
Influence Inter-Tâches ( $\hat{\Psi}^{\text{all-}c(i)}_{\pi\text{-inf}}$ ) : L'effet de la démonstration sur les déploiements provenant d'autres tâches.

Le score de sélection final ( $f^{MII}_i$ ) est formulé comme le produit des utilités normalisées dérivées de ces deux composantes. Cela garantit que le sous-ensemble sélectionné préserve les exemples localement critiques tout en tenant compte des interactions inter-tâches, équilibrant ainsi le retour sur investissement (ROI) pour l'ensemble des 50 tâches.

Résultats Clés

Les auteurs ont évalué ATHENA sur le benchmark de simulation RoboTwin 2.0 (50 tâches, 9,34 heures de données) et sur six tâches de robot réel ALOHA (6,90 heures de données).

Efficacité Computationnelle : ATHENA atteint une accélération de 313,4× du calcul d'influence par rapport à une base non optimisée, réduisant le temps d'environ 8 054 heures-GPU à environ 25,7 heures-GPU pour le scénario de 50 tâches et 560k étapes.
Performance en Simulation (RoboTwin 2.0) : En utilisant seulement 50 % des démonstrations, ATHENA égale la performance de l'ajustement fin conjoint sur l'ensemble des données lors d'une évaluation en environnement propre (43,36 % contre 43,42 % de taux de réussite) et la dépasse lors d'une évaluation randomisée (17,30 % contre 15,44 %). Cela se traduit par une amélioration cumulative de 45,0 points sur 50 tâches par rapport à l'entraînement sur l'ensemble des données.
Performance sur Robot Réel : Sur six tâches de robot réel, ATHENA a atteint un taux de réussite moyen de 68,0 % en utilisant seulement 66,7 % des données. Cela a surpassé la base de référence de l'ajustement fin conjoint sur l'ensemble des données (60,0 %) et a nettement dépassé les bases de référence d'ajustement fin mono-tâche (46,7 %).
Transférabilité : Les sous-ensembles sélectionnés par ATHENA sur le modèle $\pi_0$ ont montré qu'ils améliorent substantiellement les performances du modèle $\pi_{0.5}$ , indiquant que les démonstrations à haute influence se généralisent à travers les variantes de modèles VLA.

Signification et Revendications

L'article affirme qu'ATHENA fournit une solution structurée et scalable pour la sélection de données dans l'ajustement fin de modèles VLA multitâches à milliards de paramètres. Sa signification réside dans :

Scalabilité : C'est le premier cadre de fonction d'influence capable d'opérer sur des modèles à milliards de paramètres en exploitant les structures de Kronecker et la troncature aléatoire, surmontant ainsi les coûts computationnels prohibitifs précédents.
Équilibre Multitâche : Il introduit une règle d'attribution novatrice qui équilibre la sélection de données entre diverses tâches, évitant les pièges de la sélection gourmande des méthodes précédentes.
Haut ROI : Le cadre démontre qu'une sélection de données de haute qualité peut produire des performances égales ou supérieures à l'entraînement sur l'ensemble des données tout en utilisant nettement moins de démonstrations, réduisant ainsi les coûts de calcul et de stockage associés à l'ajustement fin de politiques robotiques à grande échelle.

Les auteurs notent des limites concernant l'extension de ces méthodes à la sélection de données de pré-entraînement et le coût élevé de la collecte de déploiements de robots réels pour l'estimation de l'influence, identifiant ces points comme des axes de travaux futurs.