🤖 AI

Video Generation Models are General-Purpose Vision Learners

Este artículo propone GenCeption, un modelo de percepción de alimentación hacia adelante construido sobre una base de difusión de texto a video preentrenada, demostrando que la generación de video a gran escala sirve como un paradigma de preentrenamiento superior para lograr una inteligencia visual de vanguardia, eficiente en datos y de propósito general a través de diversas tareas de visión computacional.

Autores originales: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

Publicado 2026-07-13

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has pasado años construyendo un robot chef superinteligente. Este chef es increíble siguiendo recetas para cocinar un filete perfecto, una tortilla esponjosa o un curry picante. Pero aquí está el detalle: si le pides al chef que "me diga la temperatura de la cocina" o "cuente el número de huevos en la nevera", se queda mirando fijamente sin entender nada. Es un maestro de hacer cosas, pero no de comprender el mundo que está creando.

Durante mucho tiempo, la visión computacional (el campo de enseñar a las computadoras a ver) ha sido como ese chef. Construimos robots separados y especializados para cada trabajo: un robot para medir la profundidad, otro para rastrear rostros, un tercero para encontrar bordes. Eran excelentes en sus tareas específicas, pero no podían hablar entre sí ni aprender trucos nuevos sin ser reconstruidos por completo.

Entonces, un equipo de investigadores de Google DeepMind y otras universidades se hizo una pregunta audaz: ¿Qué pasaría si tomáramos a ese robot chef, el que aprende intentando generar videos perfectos, y le pidiéramos que se convirtiera en un detective de propósito general?

Su artículo, titulado "Video Generation Models are General-Purpose Vision Learners", sugiere que la respuesta es un rotundo "sí". Presentan un nuevo modelo llamado GenCeption.

El truco de magia: De "hacer" a "saber"

Piensa en la forma antigua de entrenar modelos de visión como enseñar a un estudiante mostrándole tarjetas de memoria (flashcards). Le muestras una tarjeta con un árbol y dices "árbol", luego una tarjeta con un coche y dices "coche". Funciona, pero es lento y rígido.

El nuevo método, que los autores llaman GenCeption, es como enseñarle a ese estudiante haciéndole escribir un millón de historias diferentes sobre el mundo. Para escribir una historia sobre un gorila saludando a la cámara, el estudiante tiene que entender cómo se ve un gorila, cómo se mueve una mano, cómo la luz incide en el pelaje y cómo cambia el ángulo de la cámara con el tiempo. Tiene que interiorizar la física del mundo solo para que la historia tenga sentido.

El artículo argumenta que este proceso de generación de texto a video es, de hecho, el campo de entrenamiento definitivo para la visión. Al entrenar a un modelo para crear videos de alta calidad a partir de prompts de texto (como "Un gorila se acerca saludando con la mano"), el modelo aprende accidentalmente una enorme cantidad de "conocimiento del mundo": cómo funciona el espacio 3D, cómo se mueven los objetos y cómo se comporta la luz.

El gran cambio: Un modelo para gobernarlos a todos

Los investigadores tomaron un modelo masivo de generación de video (basado en una tecnología llamada "modelo de difusión", que es como un eliminador de ruido que convierte lentamente la estática en una imagen clara) y le dieron un cambio de imagen.

En lugar de dejar que "soñara" lentamente un video fotograma a fotograma (lo que toma una eternidad), lo ajustaron para que fuera un modelo feed-forward. Piensa en esto como: en lugar de que el modelo tome 50 pasos para adivinar lentamente cuál es la respuesta, lo entrenaron para mirar la entrada y escupir la respuesta en un solo paso, ultrarrápido.

Luego enseñaron a este único modelo a hacer todo simplemente cambiando el prompt de texto.

Prompt: "Profundidad" → El modelo genera un mapa de profundidad (qué tan lejos están las cosas).
Prompt: "Normal de superficie" → El modelo indica la dirección hacia la que miran las superficies.
Prompt: "Segmentación" → El modelo delinea objetos.
Prompt: "Keypoints 3D" → El modelo encuentra las articulaciones del cuerpo de una persona.

Es como tener una navaja suiza donde la herramienta que necesitas aparece automáticamente según lo que pidas, en lugar de tener que llevar una navaja, un destornillador y unas tijeras separadas en tu bolsillo.

Los resultados: Venciendo a los especialistas

El equipo probó GenCeption en una enorme lista de tareas, desde medir la profundidad de una escena hasta rastrear la postura de una persona mientras esquía. Los resultados fueron sorprendentes.

Supera a los expertos: En muchos casos, este modelo "generalista" único funcionó tan bien como, o incluso mejor que, los modelos especializados construidos específicamente para esas tareas. Por ejemplo, igualó o superó a modelos como DepthAnything3 (un experto en profundidad) y SAM3 (un experto en segmentación).
Es un mago de los datos: Una de las partes más asombrosas es qué tan pocos datos necesitó. Los autores descubrieron que GenCeption podía lograr un rendimiento comparable al de modelos de primer nivel como D4RT y VGGT-Ω utilizando entre 7 y 500 veces menos datos de entrenamiento. Es como si el modelo hubiera aprendido las reglas del juego tan bien gracias a su entrenamiento de generación de video que no necesitó memorizar cada jugada.
Es un generalista: El modelo fue entrenado casi en su totalidad con datos sintéticos (videos generados por computadora de humanos). Sin embargo, cuando le mostraron videos del mundo real de animales, robots o personas haciendo cosas que nunca había visto, aun así funcionó. Incluso pudo rastrear los bigotes de un gato o segmentar el cabello en un video que nunca había visto antes. Esto sugiere que el modelo aprendió el concepto de "pelaje" o "cabello" en lugar de solo memorizar imágenes específicas.

Lo que este artículo NO dice que es

Es importante saber lo que este artículo no afirma. Los autores tienen cuidado de decir que esto no es una varita mágica que resuelve todos los problemas del mundo todavía.

Argumentan explícitamente en contra de la idea de que necesitamos construir una arquitectura nueva y personalizada para cada tarea de visión. Demuestran que la vieja forma de "modelos especializados" es menos eficiente que este enfoque unificado.
También señalan que, aunque el modelo es increíble, no es perfecto. Cuando intentaron combinar todas las tareas en una sola sesión de entrenamiento, el modelo se confundió un poco con la estimación de keypoints 3D humanos (rastreo de articulaciones corporales). El rendimiento cayó ligeramente en comparación con cuando se entrenó solo para ese trabajo específico. Esto sugiere que, si bien el enfoque "generalista" es poderoso, todavía hay detalles por pulir al mezclar tareas muy diferentes.
También aclaran que la capacidad del modelo para manejar videos del mundo real después de haber sido entrenado con videos falsos es un comportamiento emergente —un accidente feliz del método de entrenamiento, no algo que programaron explícitamente.

La conclusión

El artículo sugiere que el futuro de la visión computacional podría no tratarse de construir más robots especializados, sino de enseñar a un super-robot a "imaginar" el mundo de forma tan vívida que lo comprenda perfectamente.

Al utilizar el poder de la generación de video como una herramienta de pre-entrenamiento, GenCeption demuestra que un modelo puede aprender a ver, medir y comprender el mundo físico simplemente intentando crearlo. Es un cambio de "diseñar una solución para cada problema" a "crear una base inteligente que pueda resolverlos todos".

Los autores sugieren que este camino —usar modelos generativos como la base para la percepción— podría ser la clave para construir una inteligencia de visión de propósito general, similar a cómo los Modelos de Lenguaje Extensos (LLMs) revolucionaron el texto. Es un paso prometedor, pero como señala el artículo, todavía estamos en las primeras etapas de descubrir exactamente cómo hacer que este cerebro generalista sea perfecto para cada tarea.

Resumen Técnico: GenCeption – Modelos de Generación de Vídeo como Aprendices de Visión de Propósito General

1. Planteamiento del Problema

La visión computacional opera actualmente en una era de "modelos especializados", donde se requieren arquitecturas distintas para tareas específicas (por ejemplo, modelos separados para estimación de profundidad, segmentación o estimación de pose). Esto contrasta con el Procesamiento de Lenguaje Natural (NLP), donde los Grandes Modelos de Lenguaje (LLM) han evolucionado hacia modelos fundacionales unificados capaces de manejar diversas tareas mediante una única arquitectura impulsada por la predicción del siguiente token.

El artículo postula que la visión computacional carece de un objetivo de preentrenamiento universal análogo a la predicción del siguiente token. Los paradigmas de preentrenamiento de visión existentes (por ejemplo, aprendizaje contrastivo, autoencoders enmascarados como MAE/VideoMAE) a menudo carecen de una comprensión espacio-temporal inherente, alineación visión-lenguaje nativa o de la capacidad de escalar eficazmente hacia una inteligencia de propósito general. Los autores argumentan que el campo necesita un cambio de paradigma: de la ingeniería específica de tareas a una arquitectura unificada y agnóstica a las tareas que pueda interiorizar la física 4D del mundo y seguir instrucciones de lenguaje natural.

2. Metodología: GenCeption

Los autores presentan GenCeption, un modelo de percepción de vídeo generalista que reutiliza modelos de difusión de generación de texto a vídeo a gran escala como base de preentrenamiento para tareas de percepción. La metodología se basa en tres principios fundamentales:

A. Preentrenamiento Generativo Multimodal como Aprendizaje de Representación

En lugar de entrenar un modelo desde cero para la percepción, GenCeption utiliza un backbone de difusión de texto a vídeo preentrenado (específicamente WAN 2.1). El objetivo generativo de crear secuencias de vídeo de alta fidelidad condicionadas por texto obliga al modelo a interiorizar:

Prioris espacio-temporales: Geometría 3D, permanencia de objetos y leyes físicas.
Alineación visión-lenguaje: Una comprensión nativa de conceptos visuales vinculados a la semántica lingüística.

B. Arquitectura Unificada Agnóstica a la Tarea

GenCeption trata diversas tareas de visión como un problema unificado de mapeo secuencia-a-secuencia.

Representación Unificada: Todas las tareas de percepción densa (profundidad, normales de superficie, segmentación, pose densa, mapas de rayos de cámara) se mapean en un espacio RGB estándar de 3 canales dentro del rango $[0, 1]$ . Por ejemplo, los mapas de profundidad se normalizan y se mapean a canales RGB; las poses de cámara se representan como "Raymaps" (componentes de rotación y traslación particionados espacialmente).
Tareas Dispersas: Para salidas estructuradas como puntos clave (keypoints) 2D/3D, el modelo añade tokens aprendibles a los latentes del vídeo. Un MLP decodifica estos tokens para predecir las coordenadas por fotograma.
Dirección por Instrucciones: La tarea específica se define únicamente mediante un prompt de texto (por ejemplo, "Profundidad", "Segmentación", "Pose"), eliminando la necesidad de cabezales o modificaciones arquitectónicas específicas de la tarea.

C. Reformulación Feed-Forward

Aunque los modelos de difusión suelen depender de un proceso de eliminación de ruido iterativo y lento, la percepción requiere eficiencia. GenCeption transforma el proceso de difusión de múltiples pasos en un modelo feed-forward de un solo paso:

La entrada al Transformer de Difusión (DiT) es el latente limpio del vídeo de entrada (en lugar de latentes ruidosos).
El paso de tiempo (timestep) de condicionamiento se fija en $t=0$ (el final del proceso generativo).
El modelo predice la velocidad $v = \epsilon - x_0$ (basado en objetivos de Flujo Rectificado). La salida se niega ( $-v = x_0 - \epsilon$ ) para alinearse con el latente objetivo, lo que permite una inferencia directa de un solo paso.

D. Estrategia de Entrenamiento

Datos: El modelo se entrena principalmente con datos sintéticos (7.500 vídeos generados a partir de activos de RenderPeople y captura de movimiento de CMU) para asegurar la verdad de campo (ground truth) para todas las modalidades (profundidad, normales, máscaras, poses). Se utilizan conjuntos de datos del mundo real únicamente para la segmentación referida a la expresión.
Función de Pérdida: Se aplica una pérdida $L_2$ unificada en todas las tareas en el espacio latente (para tareas densas) o en el espacio de salida (para tareas dispersas). Las restricciones específicas de la tarea (como la invarianza de escala para la profundidad) se gestionan mediante el preprocesamiento de datos (por ejemplo, normalizando los mapas de profundidad por la mediana de la escena) en lugar de funciones de pérdida personalizadas.

3. Contribuciones Clave

Cambio de Paradigma: El artículo propone que la generación de vídeo a gran escala es un paradigma de preentrenamiento superior para la visión computacional en comparación con los métodos tradicionales de aprendizaje autosupervisado (por ejemplo, V-JEPA, VideoMAE), satisfaciendo los requisitos de evolución espacio-temporal, alineación visión-lenguaje y escalabilidad.
Arquitectura Unificada: GenCeption demuestra ser un único modelo capaz de realizar tareas heterogéneas (densas y dispersas) utilizando un backbone, un cabezal y una función de pérdida unificados, dirigidos únicamente por prompts de texto.
Eficiencia: Al convertir el proceso de difusión iterativo en un paso feed-forward único, GenCeption logra velocidades de inferencia en tiempo real (por ejemplo, 13.6 FPS para el modelo de 1.3B) sin sacrificar la precisión.
Comportamientos Emergentes: El modelo exhibe capacidades de generalización zero-shot, incluyendo transferencia sim-to-real y generalización a categorías de objetos fuera de la distribución (OOD) (por ejemplo, animales y robots) a pesar de haber sido entrenado exclusivamente con datos humanos sintéticos.

4. Resultados Experimentales

Los autores evalúan GenCeption en un conjunto diverso de benchmarks, comparándolo con modelos especializados de última generación (SOTA).

Rendimiento vs. Especialistas: GenCeption iguala o supera a los modelos especializados en múltiples tareas:
- Estimación de Profundidad: Supera o iguala a DepthAnything V3, D4RT y VGGT- $\Omega$ .
- Normales de Superficie: Supera a NormalCrafter y Lotus-2.
- Segmentación: Logra resultados competitivos en segmentación de primer plano y segmentación referida a la expresión (superando a SAM3 en la comprensión de frases complejas).
- Pose 3D: Ofrece una predicción de puntos clave 3D más fuerte que Genmo y TRAM.
Comparación de Preentrenamiento: Bajo configuraciones comparables, el backbone preentrenado de generación de vídeo (WAN 2.1) supera significativamente a otros paradigmas de preentrenamiento como V-JEPA y VideoMAE V2.
Eficiencia de Datos: El modelo logra un rendimiento comparable a los modelos líderes (D4RT, VGGT- $\Omega$ ) utilizando de 7 a 500 veces menos datos de entrenamiento.
Escalabilidad: Los resultados preliminares muestran que el rendimiento mejora con el aumento del tamaño del modelo (de 1.3B a 14B) y del volumen de datos.

5. Significación y Reivindicaciones

El artículo afirma que la generación de vídeo no es meramente una herramienta de síntesis, sino un camino fundacional hacia una inteligencia de visión generalista.

La Hipótesis del "Modelo de Mundo": Los autores sugieren que los ricos prioris espacio-temporales aprendidos durante la generación de vídeo a gran escala constituyen efectivamente un "modelo de mundo" que puede ser aprovechado directamente para la percepción.
Escalabilidad: Al desplazar las especificaciones de las tareas de los cambios arquitectónicos al diseño de formatos de datos (análogo a cómo los LLM manejan diversas tareas mediante texto), el paradigma permite una escalabilidad fluida hacia un espectro cada vez mayor de tareas visuales.
Generalización Emergente: La capacidad de un modelo entrenado en datos humanos sintéticos para generalizarse a metraje del mundo real y categorías de objetos no vistos (animales, robots) sin entrenamiento explícito sugiere que el preentrenamiento generativo captura regularidades físicas y semánticas fundamentales del mundo.

Los autores concligen que este enfoque allana el camino hacia una inteligencia de visión verdaderamente unificada para el mundo físico, yendo más allá de las limitaciones de los modelos de visión computacional especializados y específicos de cada tarea.