🤖 AI

Video Generation Models are General-Purpose Vision Learners

Cet article propose GenCeption, un modèle de perception à propagation directe construit sur une dorsale de diffusion texte-vidéo pré-entraînée, démontrant que la génération de vidéos à grande échelle constitue un paradigme de pré-entraînement supérieur pour atteindre une intelligence visuelle de pointe, efficace en termes de données et polyvalente, à travers diverses tâches de vision par ordinateur.

Auteurs originaux : Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez passé des années à construire un robot chef super intelligent. Ce chef est incroyable pour suivre des recettes afin de cuisiner un steak parfait, une omelette moelleuse ou un curry épicé. Mais voici le hic : si vous lui demandez « dis-moi la température de la cuisine » ou « compte le nombre d'œufs dans le réfrigérateur », il se contente de vous regarder fixement. C'est un maître pour faire des choses, mais pas pour comprendre le monde qu'il fabrique.

Pendant longtemps, la vision par ordinateur (le domaine consistant à apprendre aux ordinateurs à voir) a été semblable à ce chef. Nous avons construit des robots séparés et spécialisés pour chaque tâche : un robot pour mesurer la profondeur, un autre pour suivre les visages, un troisième pour trouver les contours. Ils étaient excellents dans leur travail spécifique, mais ils ne pouvaient pas communiquer entre eux ni apprendre de nouvelles astuces sans être complètement reconstruits.

Puis, une équipe de chercheurs de Google DeepMind et d'autres universités s'est posé une question folle : Et si nous prenions ce robot chef, celui qui apprend en essayant de générer des vidéos parfaites, et que nous lui demandions de devenir un détective polyvalent ?

Leur article, intitulé « Video Generation Models are General-Purpose Vision Learners », suggère que la réponse est un « oui » retentissant. Ils présentent un nouveau modèle appelé GenCeption.

Le tour de magie : de la « fabrication » à la « connaissance »

Considérez l'ancienne méthode d'entraînement des modèles de vision comme l'enseignement d'un élève en lui montrant des fiches de révision. Vous montrez une carte avec un arbre et dites « arbre », puis une carte avec une voiture et dites « voiture ». Cela fonctionne, mais c'est lent et rigide.

La nouvelle méthode, que les auteurs appellent GenCeption, est comparable à l'enseignement d'un élève en lui faisant écrire un million d'histoires différentes sur le monde. Pour écrire l'histoire d'un gorille faisant signe de la main devant une caméra, l'élève doit comprendre à quoi ressemble un gorille, comment une main bouge, comment la lumière frappe la fourrure et comment l'angle de la caméra change au fil du temps. Il doit intérioriser la physique du monde juste pour que l'histoire ait du sens.

L'article soutient que ce processus de génération de texte en vidéo est en réalité le terrain d'entraînement ultime pour la vision. En entraînant un modèle à créer des vidéos de haute qualité à partir de requêtes textuelles (comme « Un gorille s'approche en faisant signe de la main »), le modèle apprend accidentellement une immense quantité de « connaissances sur le monde » — comment l'espace 3D fonctionne, comment les objets se déplacent et comment la lumière se comporte.

Le grand changement : un modèle pour tous les gouverner

Les chercheurs ont pris un modèle de génération de vidéo massif (basé sur une technologie appelée « modèle de diffusion », qui est comme un suppresseur de bruit qui transforme lentement le statique en une image claire) et lui ont offert une cure de jouvence.

Au lieu de le laisser « rêver » lentement une vidéo image par image (ce qui prend une éternité), ils l'ont modifié pour en faire un modèle feed-forward (à propagation directe). Pensez-y de cette façon : au lieu que le modèle prenne 50 étapes pour deviner lentement la réponse, ils l'ont entraîné à regarder l'entrée et à recracher la réponse en une seule étape éclair.

Ils ont ensuite appris à ce modèle unique à tout faire, simplement en changeant la requête textuelle.

Requête : « Profondeur » → Le modèle produit une carte de profondeur (à quelle distance se trouvent les choses).
Requête : « Normale de surface » → Le modèle indique la direction vers laquelle les surfaces font face.
Requête : « Segmentation » → Le modèle délimite les objets.
Requête : « Points clés 3D » → Le modèle trouve les articulations du corps d'une personne.

C'est comme avoir un couteau suisse où l'outil dont vous avez besoin apparaît automatiquement selon votre demande, plutôt que de devoir porter séparément un couteau, un tournevis et des ciseaux dans votre poche.

Les résultats : battre les spécialistes

L'équipe a testé GenCeption sur une liste énorme de tâches, allant de la mesure de la profondeur d'une scène au suivi de la posture d'un skieur. Les résultats ont été surprenants.

Il bat les experts : Dans de nombreux cas, ce modèle « généraliste » unique a obtenu des performances égales ou même supérieures à celles des modèles spécialisés construits spécifiquement pour ces tâches. Par exemple, il a égalé ou battu des modèles comme DepthAnything3 (un expert en profondeur) et SAM3 (un expert en segmentation).
C'est un magicien des données : L'un des aspects les plus stupéfiants est la faible quantité de données dont il a eu besoin. Les auteurs ont découvert que GenCeption pouvait atteindre des performances comparables aux modèles de haut niveau comme D4RT et VGGT-Ω en utilisant 7 à 500 fois moins de données d'entraînement. C'est comme si le modèle avait si bien appris les règles du jeu grâce à son entraînement de génération de vidéo qu'il n'avait pas besoin de mémoriser chaque coup individuellement.
C'est un généraliste : Le modèle a été entraîné presque entièrement sur des données synthétiques (vidéos générées par ordinateur de êtres humains). Pourtant, lorsqu'ils lui ont montré des vidéos du monde réel d'animaux, de robots ou de personnes faisant des choses qu'il n'avait jamais vues, il fonctionnait toujours. Il pouvait même suivre les moustaches d'un chat ou segmenter des poils dans une vidéo qu'il n'avait jamais vue auparavant. Cela suggère que le modèle a appris le concept de « fourrure » ou de « poil » plutôt que de simplement mémoriser des images spécifiques.

Ce que cet article ne prétend PAS être

Il est important de savoir ce que cet article ne prétend pas. Les auteurs prennent soin de préciser que ce n'est pas une baguette magique qui résout encore tous les problèmes du monde.

Ils argumentent explicitement contre l'idée que nous devons construire une nouvelle architecture personnalisée pour chaque tâche de vision. Ils montrent que l'ancienne méthode des « modèles spécialisés » est moins efficace que cette approche unifiée.
Ils notent également que, bien que le modèle soit incroyable, il n'est pas parfait. Lorsqu'ils ont tenté de combiner toutes les tâches dans une seule session d'entraînement, le modèle s'est un peu emmêlé les pinceaux avec l'estimation des points clés 3D de l'humain (le suivi des articulations du corps). La performance a légèrement chuté par rapport à lorsqu'il était entraîné uniquement pour ce travail précis. Cela suggère que, bien que l'approche « généraliste » soit puissante, il reste encore quelques réglages à faire lorsqu'on mélange des tâches très différentes.
Ils précisent également que la capacité du modèle à gérer des vidéos réelles après avoir été entraîné sur des vidéos artificielles est un comportement émergent — un heureux accident de la méthode d'entraînement, et non quelque chose qu'ils ont explicitement programmé.

L'essentiel

L'article suggère que l'avenir de la vision par ordinateur ne consistera peut-être pas à construire des robots plus spécialisés, mais à enseigner à un super-robot capable d'« imaginer » le monde si intensément qu'il le comprend parfaitement.

En utilisant la puissance de la génération de vidéo comme outil de pré-entraînement, GenCeption montre qu'un modèle peut apprendre à voir, à mesurer et à comprendre le monde physique simplement en essayant de le créer. C'est un passage de « l'ingénierie d'une solution pour chaque problème » à la « création d'une fondation intelligente capable de les résoudre tous ».

Les auteurs suggèrent que cette voie — utiliser les modèles génératifs comme base pour la perception — pourrait être la clé pour construire une intelligence visuelle véritablement polyvalente, à l'instar de la façon dont les grands modèles de langage (LLM) ont révolutionné le texte. C'est une étape prometteuse, mais comme le note l'article, nous n'en sommes qu'aux premières étapes pour comprendre exactement comment rendre ce cerveau généraliste parfait pour chaque tâche.

Résumé Technique : GenCeption – Les modèles de génération de vidéo comme apprenants visuels à usage général

1. Énoncé du Problème

La vision par ordinateur opère actuellement dans une ère de « modèles spécialisés », où des architectures distinctes sont requises pour des tâches spécifiques (par exemple, des modèles séparés pour l'estimation de la profondeur, la segmentation ou l'estimation de pose). Cela contraste avec le Traitement du Langage Naturel (NLP), où les grands modèles de langage (LLM) ont évolué vers des modèles de fondation unifiés capables de gérer diverses tâches via une architecture unique pilotée par la prédiction du prochain jeton (next-token prediction).

L'article soutient que la vision par ordinateur manque d'un objectif de pré-entraînement universel analogue à la prédiction du prochain jeton. Les paradigmes de pré-entraînement de la vision existants (par exemple, l'apprentissage contrastif, les auto-encodeurs masqués comme MAE/VideoMAE) manquent souvent d'une compréhension spatio-temporelle intrinsèque, d'un alignement vision-langage natif, ou de la capacité à passer à l'échelle efficacement pour une intelligence à usage général. Les auteurs soutiennent que le domaine nécessite un changement de paradigme, passant d'une ingénierie spécifique aux tâches à une architecture unifiée et agnostique aux tâches, capable d'internaliser la physique 4D du monde et de suivre des instructions en langage naturel.

2. Méthodologie : GenCeption

Les auteurs introduisent GenCeption, un modèle de perception vidéo généraliste qui détourne les modèles de diffusion de génération texte-vidéo à grande échelle pour servir de base de pré-entraînement aux tâches de perception. La méthodologie repose sur trois principes fondamentaux :

A. Le pré-entraînement génératif multimodal comme apprentissage de représentation

Au lieu d'entraîner un modèle à partir de zéro pour la perception, GenCeption utilise un fond de base de diffusion texte-vidéo pré-entraîné (spécifiquement WAN 2.1). L'objectif génératif de création de séquences vidéo de haute fidélité conditionnées par du texte force le modèle à internaliser :

Des priors spatio-temporels : géométrie 3D, permanence de l'objet et lois physiques.
Un alignement vision-langage : une compréhension native des concepts visuels liés à la sémantique linguistique.

B. Architecture unifiée agnostique aux tâches

GenCeption traite les diverses tâches de vision comme un problème de mise en correspondance séquence-à-séquence unifié.

Représentation unifiée : Toutes les tâches de perception dense (profondeur, normales de surface, segmentation, pose dense, cartes de rayons de caméra) sont mappées dans un espace RGB standard à 3 canaux dans la plage $[0, 1]$ . Par exemple, les cartes de profondeur sont normalisées et mappées dans les canaux RGB ; les poses de caméra sont représentées sous forme de « Raymaps » (composantes de rotation et de translation partitionnées spatialement).
Tâches éparses (Sparse) : Pour les sorties structurées comme les points clés 2D/3D, le modèle ajoute des jetons apprenables aux latents de la vidéo. Un MLP décode ces jetons pour prédire les coordonnées par image.
Pilotage par instruction : La tâche cible spécifique est définie uniquement par un prompt textuel (par exemple, « Profondeur », « Segmentation », « Pose »), éliminant ainsi le besoin de têtes spécifiques à la tâche ou de modifications architecturales.

C. Reformulation en mode Feed-Forward

Alors que les modèles de diffusion reposent généralement sur un débruitage itératif et lent, la perception nécessite de l'efficacité. GenCeption transforme le processus de diffusion multi-étapes en un modèle feed-forward à étape unique :

L'entrée du Transformer de Diffusion (DiT) est le latent propre de la vidéo d'entrée (plutôt que des latents bruités).
Le pas de temps de conditionnement est fixé à $t=0$ (la fin du processus génératif).
Le modèle prédit la vélocité $v = \epsilon - x_0$ (basée sur les objectifs de Flux Rectifié). La sortie est négée ( $-v = x_0 - \epsilon$ ) pour s'aligner avec le latent cible, permettant une inférence directe en une seule passe.

D. Stratégie d'entraînement

Données : Le modèle est principalement entraîné sur des données synthétiques (7 500 vidéos générées à partir d'actifs RenderPeople et de capture de mouvement CMU) pour garantir la vérité terrain (ground truth) pour toutes les modalités (profondeur, normales, masques, poses). Des jeux de données réels ne sont utilisés que pour la segmentation de référence d'expression.
Fonction de perte : Une perte $L_2$ unifiée est appliquée à travers toutes les tâches dans l'espace latent (pour les tâches denses) ou l'espace de sortie (pour les tâches éparses). Les contraintes spécifiques aux tâches (comme l'invariance d'échelle pour la profondeur) sont gérées via le prétraitement des données (par exemple, la normalisation des cartes de profondeur par la médiane de la scène) plutôt que par des fonctions de perte personnalisées.

3. Contributions Clés

Changement de Paradigme : L'article propose que la génération de vidéo à grande échelle est un paradigme de pré-entraînement supérieur pour la vision par ordinateur par rapport aux méthodes d'auto-apprentissage traditionnelles (ex: V-JEPA, VideoMAE), satisfaisant les exigences d'évolution spatio-temporelle, d'alignement vision-langage et de scalabilité.
Architecture Unifiée : GenCeption démontre un modèle unique capable d'exécuter des tâches hétérogènes (denses et éparses) en utilisant un fond de base, une tête et une fonction de perte unifiés, pilotés uniquement par des prompts textuels.
Efficacité : En convertissant le processus de diffusion itératif en une seule passe feed-forward, GenCeption atteint des vitesses d'inférence en temps réel (par exemple, 13,6 FPS pour le modèle de 1,3B) sans sacrifier la précision.
Comportements Émergents : Le modèle présente des capacités de généralisation zero-shot, incluant le transfert sim-to-real et la généralisation à des catégories d'objets hors distribution (OOD) (ex: animaux et robots) malgré un entraînement exclusif sur des données humaines synthétiques.

4. Résultats Expérimentaux

Les auteurs évaluent GenCeption sur une suite diversifiée de benchmarks, comparant le modèle à des modèles spécialisés de pointe (SOTA).

Performance vs Spécialistes : GenCeption égale ou surpasse les modèles spécialisés sur plusieurs tâches :
- Estimation de la profondeur : Surpasse ou égale DepthAnything V3, D4RT et VGGT-Ω.
- Normales de surface : Surpasse NormalCrafter et Lotus-2.
- Segmentation : Obtient des résultats compétitifs en segmentation de premier plan et de référence d'expression (surpassant SAM3 dans la compréhension de phrases complexes).
- Pose 3D : Délivre une prédiction de points clés 3D plus robuste que Genmo et TRAM.
Comparaison de Pré-entraînement : Dans des conditions comparables, le fond de base de pré-entraînement génératif vidéo (WAN 2.1) surpasse significativement les autres paradigmes de pré-entraînement comme V-JEPA et VideoMAE V2.
Efficacité des Données : Le modèle atteint des performances comparables aux modèles leaders (D4RT, VGGT-Ω) en utilisant 7× à 500× moins de données d'entraînement.
Mise à l'échelle (Scaling) : Les résultats préliminaires montrent que les performances s'améliorent avec l'augmentation de la taille du modèle (de 1,3B à 14B) et du volume de données.

5. Signification et Revendications

L'article affirme que la génération de vidéo n'est pas seulement un outil de synthèse, mais un chemin fondamental vers une intelligence visuelle généraliste.

L'Hypothèse du "Modèle du Monde" : Les auteurs suggèrent que les riches priors spatio-temporels appris lors de la génération de vidéo à grande échelle constituent effectivement un « modèle du monde » qui peut être directement exploité pour la perception.
Scalabilité : En déplaçant la spécification des tâches des changements architecturaux vers la conception de formats de données (analogue à la façon dont les LLM gèrent diverses tâches via le texte), le paradigme permet une mise à l'échelle fluide vers un spectre de tâches visuelles en constante expansion.
Généralisation Émergente : La capacité d'un modèle entraîné sur des données humaines synthétiques à se généraliser aux séquences réelles et aux catégories d'objets non vus (animaux, robots) sans entraînement explicite suggère que le pré-entraînement génératif capture les régularités physiques et sémantiques fondamentales du monde.

Les auteurs concluent que cette approche ouvre la voie à une intelligence visuelle véritablement unifiée pour le monde physique, dépassant les limites des modèles de vision par ordinateur spécialisés et spécifiques aux tâches.