💻 computer science

Gen2Balance: Generative Balancing for Long-Tailed Video Action Recognition

Gen2Balance répond au défi de la reconnaissance d'actions vidéo à longue traîne en augmentant les ensembles d'entraînement déséquilibrés avec des clips générés par texte-vers-vidéo conditionnés par des profils d'action, en utilisant une stratégie d'entraînement en deux étapes pour obtenir des améliorations significatives de la précision sur les actions rares tout en démontrant une scalabilité pratique grâce à un équilibrage partiel.

Auteurs originaux : Prajwal Gatti, Simon Jenni, Fabian Caba Heilbron, Dima Damen

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Prajwal Gatti, Simon Jenni, Fabian Caba Heilbron, Dima Damen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître différentes actions humaines, comme « nager », « cuisiner » ou « danser ». Vous lui donnez une immense bibliothèque de vidéos pour l'étudier. Cependant, il y a un énorme problème : la bibliothèque est fortement déséquilibrée.

Imaginez cela comme une playlist musicale où 99 % des chansons sont d'une célèbre star de la pop, et seulement quelques chansons sont de groupes indépendants obscurs.

La « Tête » (Populaire) : Le robot voit des milliers de vidéos de « jouer au basket ». Il devient un expert en la matière.
La « Queue » (Rare) : Le robot ne voit que cinq vidéos de « couper un clavier » ou de « se balancer sur un pneu ». Il apprend à peine quoi que ce soit sur ces actions, et lorsqu'il les voit dans la vraie vie, il s'embrouille et se trompe.

C'est le problème de la longue traîne (Long-Tailed Problem). Le robot est excellent pour les choses communes, mais très mauvais pour les choses rares.

La Solution : Gen2Balance (Le « Chef IA »)

L'article présente une nouvelle méthode appelée Gen2Balance. Au lieu de simplement espérer trouver plus de vidéos rares sur Internet (ce qui est difficile car elles sont rares), les auteurs ont décidé de cuisiner de nouvelles vidéos à l'aide d'un générateur d'IA.

Voici comment ils ont procédé, décomposé en étapes simples :

1. Le Livre de Recettes Intelligent (Le Pipeline de Prompts)

Si vous dites simplement à une IA : « Fais une vidéo de "Robot qui danse" », elle pourrait être confuse. Est-ce qu'elle veut dire un humain qui danse comme un robot, ou un véritable robot métallique qui danse ? Si vous demandez simplement « couper un clavier », l'IA pourrait créer une vidéo étrange et effrayante qui ne ressemble pas à une action réelle.

Pour corriger cela, les auteurs ont construit un système de recette en trois étapes utilisant une IA intelligente (un Grand Modèle de Langage) :

Étape A : Le Profil de l'Action. Ils demandent à l'IA d'écrire une définition détaillée de l'action, incluant ce qu'elle est et ce qu'elle n'est pas (ex : « Un humain qui bouge comme un robot, pas une machine métallique »).
Étape B : Les Exemples. Ils montrent à l'IA quelques vidéos réelles de l'action pour qu'elle comprenne le contexte (ex : « Voyez cet humain ? C'est ce que nous voulons dire »).
Étape C : La Variété. Ils disent à l'IA de créer 100 versions différentes de cette vidéo : changer l'éclairage, l'arrière-plan (un parc vs une cuisine), les vêtements de la personne et l'angle de la caméra.

Le Résultat : Ils ont créé 140 000 toutes nouvelles vidéos synthétiques qui ont l'air réelles mais couvrent les actions rares qui manquaient au robot.

2. L'Entraînement en Deux Étapes (Le Plan d'Étude)

On ne peut pas simplement injecter ces nouvelles vidéos truquées dans le cerveau du robot en espérant que tout se passe bien. Le robot pourrait être confus parce que les vidéos truquées sont légèrement différentes de la réalité (comme un dessin animé par rapport à une photo).

Ils ont donc utilisé un plan d'étude en deux étapes :

Étape 1 : L'Étude « Équilibrée ». Le robot étudie la nouvelle bibliothèque équilibrée (Vidéos Réelles + Vidéos Générées). Comme il y a maintenant de nombreux exemples de « raretés », le robot apprend à les reconnaître. Cependant, on dit au robot de prêter une attention particulière aux vidéos réelles pour décider de l'importance de chaque catégorie.
Étape 2 : Le « Test de Réalité ». Le robot retourne étudier uniquement les vidéos réelles pendant un court instant. C'est comme une révision finale avant un examen. Cela aide le robot à oublier les « bizarreries » du faux et à remettre sa mémoire sur les bons rails concernant l'apparence du monde réel.

Les Résultats : Est-ce que ça a fonctionné ?

Les auteurs ont testé leur méthode sur des ensembles de données vidéo standards (UCF-101 et Kinetics) qu'ils ont artificiellement rendus « à longue traîne » pour simuler le problème.

La Grande Victoire : Gen2Balance a battu toutes les méthodes précédentes. Sur l'ensemble de données Kinetics, il a amélioré la précision de 7 % par rapport aux meilleures méthodes existantes. Sur l'ensemble UCF, il a progressé de 5 %.
Les Actions Rares : Pour les actions les plus difficiles et les plus rares (comme « couper un clavier »), l'amélioration a été massive : 31,9 % de mieux qu'avant.
Efficacité des Coûts : Ils ont découvert qu'il n'est pas nécessaire de tout générer pour obtenir de bons résultats. S'ils n'ont généré que suffisamment de vidéos pour combler 27 % des données manquantes, ils ont tout de même obtenu 79 % de la performance totale. Cela signifie que la méthode est pratique et ne nécessite pas une puissance de calcul infinie.

Pourquoi cela compte (selon l'article)

L'article soutient que, tandis que d'autres méthodes tentent d'« étirer » les quelques vidéos rares qu'elles possèdent (ce qui n'ajoute pas de nouvelles informations), Gen2Balance crée de nouvelles informations. Il comble les lacunes dans les connaissances du robot en inventant des exemples diversifiés et réalistes d'actions rares, permettant au robot de enfin apprendre ce qui lui manquait.

En bref : Gen2Balance est comme donner à un étudiant un manuel qui a été réécrit pour inclure des centaines de problèmes d'entraînement pour les sujets où il était faible, suivi d'une révision rapide du manuel original pour s'assurer qu'il ne s'est pas trompé à cause des nouveaux exemples.

Résumé Technique : Gen2Balance

Énoncé du Problème

La reconnaissance d'actions vidéo à longue traîne demeure un défi fondamental où les distributions de classes sont fortement asymétriques, avec quelques classes « tête » qui dominent le jeu de données et de nombreuses classes « queue » ou à « peu d'exemples » (few-shot) possédant des échantillons rares. Bien que l'apprentissage à longue traîne ait progressé dans la reconnaissance d'images, la reconnaissance vidéo accuse un retard significatif. Les approches existantes, telles que le rééchantillonnage, le repondérage et l'augmentation dans l'espace des caractéristiques, échouent souvent à combler l'écart de performance entre les benchmarks équilibrés et ceux à longue traîne. Par exemple, sur le jeu de données UCF-101, la précision chute de 92 % dans les configurations équilibrées à 64 % sous un déséquilibre à longue traîne. De plus, les modèles actuels de génération de vidéos sont confrontés à des défis concernant la dynamique temporelle, la plausibilité physique et la permanence des objets, ceissant la question de savoir si les vidéos synthétiques peuvent être suffisamment diverses et fidèles aux classes d'actions pour aider la reconnaissance.

Méthodologie : Gen2Balance

Les auteurs proposent Gen2Balance, un cadre qui traite la reconnaissance vidéo à longue traîne en augmentant le jeu d'entraînement avec des vidéos synthétiques générées via un modèle de texte-vers-vidéo. La méthode se compose de deux composants principaux : un pipeline de remplissage génératif et une stratégie d'entraînement en deux étapes.

1. Pipeline de Remplissage Génératif

Pour synthétiser des vidéos diverses et fidèles aux classes pour les classes sous-représentées, les auteurs emploient un pipeline structuré utilisant un Grand Modèle de Langage (LLM) multimodal et un générateur de texte-vers-vidéo (WAN 2.1). Le pipeline traite l'ambiguïté sémantique et le manque de diversité via quatre étapes :

Diversification des Prompts Textuels : Le LLM génère des prompts variant selon neuf axes (ex: environnement, cadrage de la caméra, démographie de l'acteur, éclairage, contexte social) pour assurer une diversité visuelle.
Profils d'Action : Pour résoudre les ambiguïtés sémantiques (ex: « Robot Dancing » se référant à un style de danse humaine plutôt qu'à un robot mécanique), le LLM génère un « Profil d'Action » contenant une définition, des contraintes positives (caractéristiques visuelles clés) et des contraintes négatives (mécompréhensions communes).
Exemplaires en Contexte : Pour ancrer davantage le profil d'action dans la sémantique correcte, le LLM est doté d'un ensemble de quelques exemples (few-shot) de vidéos réelles d'entraînement comme exemplaires en contexte. Crucialement, ces exemplaires informent la génération du profil mais pas directement les prompts finaux, préservant ainsi la diversité des prompts.
Génération de Vidéo : Les prompts diversifiés, conditionnés par les profils d'action ancrés, sont injectés dans le générateur de texte-vers-vidéo pour produire des clips synthétiques.

2. Stratégie d'Entraînement en Deux Étapes

L'entraînement direct sur un mélange de données réelles et synthétiques introduit des risques de surapprentissage des artefacts synthétiques et de décalage de domaine (domain shift). Pour atténuer cela, Gen2Balance emploie un processus d'entraînement en deux étapes :

Étape 1 (Apprentissage à partir des Données Augmentées) : Le modèle est entraîné sur le jeu de données combiné ( $D_{train} \cup D_{gen}$ ) en utilisant une perte de Softmax Équilibrée (Balanced Softmax - BSCE). Crucialement, les marges de perte sont calculées sur les fréquences des données réelles ( $N_c$ ) plutôt que sur les fréquences augmentées. Cela permet au modèle de tirer parti de l'abondance des données synthétiques pour l'apprentissage des caractéristiques tout en maintenant des frontières de décision calibrées sur les véritables priors de classe.
Étape 2 (Répétition sur les Données Réelles) : Le modèle est affiné exclusivement sur le jeu d'entraînement réel d'origine ( $D_{train}$ ) en utilisant la même perte BSCE avec un taux d'apprentissage réduit. Cette étape corrige les décalages de domaine et empêche l'oubli catastrophique des représentations apprises à partir des données synthétiques.

Principales Contributions

Proposition de Cadre : Introduction de Gen2Balance, une approche d'équilibrage génératif qui convertit les jeux de données vidéo déséquilibrés en combinaisons équilibrées de clips réels et synthétiques.
Pipeline Automatique et Jeu de Données : Développement d'un pipeline automatique utilisant un LLM multimodal (Gemini 2.5 Pro) et un générateur de vidéo (WAN 2.1) pour synthétiser des vidéos fidèles aux classes. Les auteurs publient un jeu de données complémentaire de 140 000 vidéos synthétiques avec des prompts détaillés couvrant 223 classes d'action à travers UCF-LT, K100-LT et RareAct.
Analyse de la Stratégie d'Entraînement : Démonstration qu'une stratégie d'entraînement en deux étapes (augmentée puis réelle) combinée à une perte équilibrée par classe utilisant des marges dérivées des données réelles produit des résultats supérieurs par rapport à l'entraînement standard ou aux approches à étape unique.
Évaluation Complète : Évaluation extensive sur les versions à longue traîne de Kinetics-100 (K100-LT) et UCF-101 (UCF-LT), ainsi que sur les actions rares du jeu de données RareAct.

Résultats Expérimentaux

Les auteurs évaluent Gen2Balance sur des versions à longue traîne de benchmarks standards :

K100-LT : Gen2Balance améliore la précision moyenne par classe de 7,0 % par rapport au plus fort baseline de longue traîne (BSCE), atteignant une précision globale de 72,6 %. Il booste significativement la précision des classes à peu d'exemples (few-shot) de +38,8 %.
UCF-LT : La méthode améliore la précision de 5,1 % par rapport au plus fort baseline, atteignant 88,9 % au total, avec un gain de +48,0 % sur les classes few-shot.
RareAct : Sur les actions rares et compositionnelles (ex: « cut keyboard »), Gen2Balance améliore la précision de 31,9 %, démontrant son efficacité pour les actions véritablement rares.
Ablation et Mise à l'Échelle :
- Équilibrage Partiel : Atteindre 79 % des gains de performance avec seulement 27 % du coût de calcul (en fixant un seuil de remplissage partiel) souligne la scalabilité de la méthode.
- Sources de Données : Gen2Balance surpasse l'augmentation par récupération web et la génération d'images statiques, confirmant la nécessité des indices de mouvement et la supériorité du pipeline de prompting spécifique sur le simple templating.
- Robustesse : La méthode reste robuste même lorsque les classes few-shot sont statistiquement rares dans la distribution d'entraînement du générateur (réindexation par popularité web).

Signification et Revendications

L'article affirme que Gen2Balance représente une avancée significative dans la reconnaissance vidéo à longue traîne en exploitant les modèles génératifs pour synthétiser la diversité manquante plutôt que de compter sur la récupération web ou l'interpolation dans l'espace des caractéristiques. Les auteurs soulignent que :

Les modèles génératifs actuels, lorsqu'ils sont soigneusement guidés par des profils d'action ancrés, produisent des vidéos d'une qualité suffisante pour atteindre des performances de pointe dans les contextes à longue traîne.
La stratégie d'entraînement en deux étapes atténue efficacement le décalage de domaine, permettant aux modèles d'apprendre des données synthétiques sans compromettre les performances sur les données réelles.
L'approche est pratique et évolutive, car l'équilibrage partiel offre des gains substantiels pour une fraction du coût computationnel.
Le jeu de données de 140 000 vidéos synthétiques publié sert de ressource pour la recherche future sur l'équilibrage génératif pour la compréhension vidéo.

Le travail ne prétend pas résoudre tous les problèmes de la génération de vidéo (reconnaissant les défis liés à la physique et à la permanence des objets) mais soutient que, pour la tâche spécifique de la reconnaissance d'actions, le contenu généré est suffisamment diversifié et sémantiquement correct pour surmonter la rareté des données.