🤖 AI

Video Generation Models are General-Purpose Vision Learners

Este artigo propõe o GenCeption, um modelo de percepção feed-forward construído sobre um backbone de difusão de texto para vídeo pré-treinado, demonstrando que a geração de vídeo em larga escala serve como um paradigma de pré-treinamento superior para alcançar inteligência visual de estado da arte, eficiente em dados e de propósito geral através de diversas tarefas de visão computacional.

Autores originais: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

Publicado 2026-07-13

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você passou anos construindo um robô chef superinteligente. Este chef é incrível em seguir receitas para cozinhar um bife perfeito, uma omelete fofinha ou um curry picante. Mas aqui está o detalhe: se você pedir ao chef para "dizer a temperatura da cozinha" ou "contar o número de ovos na geladeira", ele apenas fica olhando fixamente. Ele é um mestre em fazer coisas, mas não de entender o mundo que está criando.

Por muito tempo, a visão computacional (o campo de ensinar computadores a enxergar) tem sido como esse chef. Construímos robôs separados e especializados para cada trabalho: um robô para medir profundidade, outro para rastrear rostos, um terceiro para encontrar bordas. Eles eram ótimos em seus trabalhos específicos, mas não consegravam conversar entre si ou aprender novos truques sem serem completamente reconstruídos.

Então, uma equipe de pesquisadores do Google DeepMind e de outras universidades fez uma pergunta ousada: E se pegássemos esse robô chef, aquele que aprende tentando gerar vídeos perfeitos, e pedíssemos para ele se tornar um detetive de propósito geral?

O artigo deles, intitulado "Video Generation Models are General-Purpose Vision Learners", sugere que a resposta é um ressonante "sim". Eles introduzem um novo modelo chamado GenCeption.

O Truque de Mágica: De "Fazer" para "Saber"

Pense na maneira antiga de treinar modelos de visão como ensinar um aluno mostrando cartões de memória. Você mostra um cartão com uma árvore e diz "árvore", depois um cartão com um carro e diz "carro". Funciona, mas é lento e rígido.

O novo método, que os autores chamam de GenCeption, é como ensinar esse aluno fazendo com que ele escreva um milhão de histórias diferentes sobre o mundo. Para escrever uma história sobre um gorila acenando para uma câmera, o aluno tem que entender como um gorila se parece, como uma mão se move, como a luz incide no pelo e como o ângulo da câmera muda ao longo do tempo. Eles precisam internalizar a física do mundo apenas para fazer a história fazer sentido.

O artigo argumenta que esse processo de geração de texto para vídeo é, na verdade, o campo de treinamento definitivo para a visão. Ao treinar um modelo para criar vídeos de alta qualidade a partir de comandos de texto (como "Um gorila se aproximando e acenando com a mão"), o modelo acidentalmente aprende uma enorme quantidade de "conhecimento de mundo" — como o espaço 3D funciona, como os objetos se movem e como a luz se comporta.

A Grande Mudança: Um Modelo para Reger a Todos

Os pesquisadores pegaram um enorme modelo de geração de vídeo (baseado em uma tecnologia chamada "modelo de difusão", que é como um removedor de ruído que transforma lentamente o estático em uma imagem clara) e deram a ele uma reforma.

Em vez de deixar o modelo "sonhar" lentamente um quadro de vídeo por vez (o que leva uma eternidade), eles o ajustaram para ser um modelo feed-forward. Pense nisso desta forma: em vez de o modelo levar 50 etapas para adivinhar lentamente qual é a resposta, eles o treinaram para olhar para a entrada e cuspir a resposta em um único passo ultrarrápido.

Eles então ensinaram este único modelo a fazer tudo, apenas mudando o comando de texto.

Comando: "Profundidade" → O modelo gera um mapa de profundidade (quão longe as coisas estão).
Comando: "Normal de Superfície" → O modelo mostra a direção para a qual as superfícies estão voltadas.
Comando: "Segmentação" → O modelo delineia objetos.
Comando: "Pontos-chave 3D" → O modelo encontra as articulações do corpo de uma pessoa.

É como ter um canivete suíço onde a ferramenta que você precisa aparece automaticamente com base no que você pede, em vez de ter que carregar uma faca, uma chave de fenda e uma tesoura separadas no seu bolso.

Os Resultados: Vencendo os Especialistas

A equipe testou o GenCeption em uma enorme lista de tarefas, desde medir a profundidade de uma cena até rastrear a pose de uma pessoa esquiando. Os resultados foram surpreendentes.

Ele vence os especialistas: Em muitos casos, este modelo "generalista" único teve um desempenho tão bom quanto, ou até melhor do que, os modelos especializados construídos especificamente para essas tarefas. Por exemplo, ele igualou ou superou modelos como o DepthAnything3 (um especialista em profundidade) e o SAM3 (um especialista em segmentação).
É um mago dos dados: Uma das partes mais impressionantes é o quão poucos dados ele precisou. Os autores descobriram que o GenCeption pôde alcançar um desempenho comparável a modelos de alto nível como o D4RT e o VGGT-Ω usando 7 a 500 vezes menos dados de treinamento. É como se o modelo tivesse aprendido as regras do jogo tão bem através de seu treinamento de geração de vídeo que não precisou memorizar cada jogada individualmente.
É um generalista: O modelo foi treinado quase inteiramente com dados sintéticos (vídeos gerados por computador de seres humanos). No entanto, quando mostraram a ele vídeos do mundo real de animais, robôs ou pessoas fazendo coisas que ele nunca tinha visto, ele ainda funcionou. Ele conseguiu até rastrear os bigodes de um gato ou segmentar o cabelo em um vídeo que nunca tinha visto antes. Isso sugere que o modelo aprendeu o conceito de "pelo" ou "cabelo", em vez de apenas memorizar imagens específicas.

O Que Este Artigo Diz Que NÃO É

É importante saber o que este artigo não afirma. Os autores são cuidadosos ao dizer que isso não é uma varinha mágica que resolve todos os problemas do mundo ainda.

Eles argumentam explicitamente contra a ideia de que precisamos construir uma nova arquitetura personalizada para cada tarefa de visão. Eles mostram que a maneira antiga de "modelos especializados" é menos eficiente do que esta abordagem unificada.
Eles também observam que, embora o modelo seja incrível, não é perfeito. Quando tentaram combinar todas as tarefas em uma única sessão de treinamento, o modelo ficou um pouco confuso com a estimativa de pontos-chave humanos em 3D (rastreamento de articulações do corpo). O desempenho caiu ligeiramente em comparação com quando foi treinado apenas para aquele trabalho específico. Isso sugere que, embora a abordagem "generalista" seja poderosa, ainda há alguns detalhes a serem ajustados ao misturar tipos de tarefas muito diferentes.
Eles também esclarecem que a habilidade do modelo de lidar com vídeos do mundo real após ser treinado com vídeos falsos é um comportamento emergente — um acidente feliz do método de treinamento, não algo que eles programaram explicitamente.

A Conclusão

O artigo sugere que o futuro da visão computacional pode não ser construir mais robôs especializados, mas sim ensinar um super-robô a "imaginar" o mundo de forma tão vívida que ele o entenda perfeitamente.

Ao usar o poder da geração de vídeo como uma ferramenta de pré-treinamento, o GenCeption mostra que um modelo pode aprender a ver, medir e entender o mundo físico apenas tentando criá-lo. É uma mudança de "projetar uma solução para cada problema" para "criar uma base inteligente que pode resolvê-los todos".

Os autores sugerem que este caminho — usar modelos generativos como a base para a percepção — pode ser a chave para construir uma inteligência de visão de propósito geral, semelhante à forma como os Grandes Modelos de Linguagem (LLMs) revolucionaram o texto. É um passo promissor, mas como o artigo observa, ainda estamos nos estágios iniciais de descobrir exatamente como tornar esse cérebro generalista perfeito para cada tarefa.

Resumo Técnico: GenCeption – Modelos de Geração de Vídeo como Aprendizes de Visão de Propósito Geral

1. Declaração do Problema

A visão computacional opera atualmente em uma era de "modelos especializados", onde arquiteturas distintas são necessárias para tarefas específicas (por exemplo, modelos separados para estimativa de profundidade, segmentação ou estimativa de pose). Isso contrasta com o Processamento de Linguagem Natural (NLP), onde os Grandes Modelos de Linguagem (LLMs) evoluíram para modelos de fundação unificados capazes de lidar com diversas tarefas por meio de uma única arquitetura impulsionada pela previsão do próximo token.

O artigo postula que a visão computacional carece de um objetivo de pré-treinamento universal análogo à previsão do próximo token. Os paradigmas de pré-treinamento de visão existentes (por exemplo, aprendizado contrastivo, autoencoders mascarados como MAE/VideoMAE) frequentemente carecem de compreensão espaço-temporal inerente, alinhamento nativo visão-linguagem ou da capacidade de escalar efetivamente para uma inteligência de propósito geral. Os autores argumentam que o campo precisa de uma mudança de paradigma, da engenharia específica para tarefas para uma arquitetura unificada e agnóstica a tarefas, que possa internalizar a física 4D do mundo e seguir instruções em linguagem natural.

2. Metodologia: GenCeption

Os autores introduzem o GenCeption, um modelo de percepção de vídeo generalista que reaproveita modelos de difusão generativos de texto-para-vídeo de larga escala como base de pré-treinamento para tarefas de percepção. A metodologia é construída sobre três princípios fundamentais:

A. Pré-treinamento Generativo Multimodal como Aprendizado de Representação

Em vez de treinar um modelo do zero para percepção, o GenCeption utiliza um backbone de difusão de texto-para-vídeo pré-treinado (especificamente o WAN 2.1). O objetivo generativo de criar sequências de vídeo de alta fidelidade condicionadas a texto força o modelo a internalizar:

Priors espaço-temporais: Geometria 3D, permanência de objetos e leis físicas.
Alinhamento visão-linguagem: Uma compreensão nativa de conceitos visuais vinculados à semântica linguística.

B. Arquitetura Unificada Agóstica a Tarefas

O GenCeption trata diversas tarefas de visão como um problema unificado de mapeamento sequência-para-sequência.

Representação Unificada: Todas as tarefas de percepção densa (profundidade, normais de superfície, segmentação, pose densa, mapas de raios de câmera) são mapeadas para um espaço RGB padrão de 3 canais dentro do intervalo $[0, 1]$ . Por exemplo, mapas de profundidade são normalizados e mapeados para canais RGB; poses de câmera são representadas como "Raymaps" (componentes de rotação e translação espacialmente particionados).
Tarefas Esparsas: Para saídas estruturadas como keypoints 2D/3D, o modelo anexa tokens aprendíveis aos latentes de vídeo. Um MLP decodifica esses tokens para prever coordenadas por quadro.
Direcionamento por Instrução: A tarefa alvo específica é definida exclusivamente por um prompt de texto (ex: "Profundidade", "Segmentação", "Pose"), eliminando a necessidade de cabeças específicas para a tarefa ou modificações arquitetônicas.

C. Reformulação Feed-Forward

Embora os modelos de difusão tipicamente dependam de um processo de denoising iterativo e lento, a percepção exige eficiência. O GenCeption transforma o processo de difusão de múltiplos passos em um modelo feed-forward de passo único:

A entrada para o Transformer de Difusão (DiT) é o latente limpo do vídeo de entrada (em vez de latentes ruidosos).
O passo de condicionamento (timestep) é fixo em $t=0$ (o final do processo generativo).
O modelo prevê a velocidade $v = \epsilon - x_0$ (baseado em objetivos de Fluxo Retificado). A saída é negada ( $-v = x_0 - \epsilon$ ) para alinhar com o latente alvo, permitindo inferência direta de passagem única.

D. Estratégia de Treinamento

Dados: O modelo é treinado principalmente em dados sintéticos (7.500 vídeos gerados a partir de assets da RenderPeople e captura de movimento da CMU) para garantir o ground truth para todas as modalidades (profundidade, normais, máscaras, poses). Datasets do mundo real são usados apenas para segmentação de referência de expressão.
Função de Perda: Uma perda $L_2$ unificada é aplicada em todas as tarefas no espaço latente (para tarefas densas) ou no espaço de saída (para tarefas esparsas). Restrições específicas da tarefa (como invariância de escala para profundidade) são tratadas via pré-processamento de dados (ex: normalizando mapas de profundidade pelo valor de mediana da cena) em vez de funções de perda customizadas.

3. Principais Contribuições

Mudança de Paradigma: O artigo propõe que a geração de vídeo em larga escala é um paradigma de pré-treinamento superior para visão computacional em comparação com métodos tradicionais de auto-supervisão (ex: V-JEPA, VideoMAE), satisfazendo os requisitos para evolução espaço-temporal, alinhamento visão-linguagem e escalabilidade.
Arquitetura Unificada: O GenCeption demonstra um único modelo capaz de realizar tarefas heterogêneas (densas e esparsas) usando um backbone, cabeça e função de perda unificados, direcionados apenas por prompts de texto.
Eficiência: Ao converter o processo de difusão iterativo em uma passagem feed-forward única, o modelo alcança velocidades de inferência em tempo real (ex: 13,6 FPS para o modelo de 1.3B) sem sacrificar a precisão.
Comportamentos Emergentes: O modelo exibe capacidades de generalização zero-shot, incluindo transferência sim-to-real e generalização para categorias de objetos fora da distribuição (OOD) (ex: animais e robôs), apesar de ter sido treinado exclusivamente em dados humanos sintéticos.

4. Resultados Experimentais

Os autores avaliam o GenCeption em um conjunto diversificado de benchmarks, comparando-o com modelos especializados de estado da arte (SOTA).

Desempenho vs. Especialistas: O GenCeption iguala ou supera modelos especializados em múltiplas tarefas:
- Estimativa de Profundidade: Supera ou iguala o DepthAnything V3, D4RT e VGGT- $\Omega$ .
- Normais de Superfície: Supera o NormalCrafter e o Lotus-2.
- Segmentação: Alcança resultados competitivos em segmentação de primeiro plano e de referência de expressão (superando o SAM3 na compreensão de sentenças complexas).
- Pose 3D: Entrega predições de keypoints 3D mais fortes que o Genmo e o TRAM.
Comparação de Pré-treinamento: Sob configurações comparáveis, o backbone pré-treinado de geração de vídeo (WAN 2.1) supera significativamente outros paradigmas de pré-treinamento como V-JEPA e VideoMAE V2.
Eficiência de Dados: O modelo atinge desempenho comparável aos principais modelos (D4RT, VGGT- $\Omega$ ) utilizando 7× a 500× menos dados de treinamento.
Escalabilidade: Resultados preliminares mostram que o desempenho melhora com o aumento do tamanho do modelo (1.3B para 14B) e do volume de dados.

5. Significância e Alegações

O artigo afirma que a geração de vídeo não é meramente uma ferramenta de síntese, mas um caminho fundamental em direção à inteligência de visão generalista.

A Hipótese do "Modelo de Mundo": Os autores sugerem que os ricos priors espaço-temporais aprendidos durante a geração de vídeo em larga escala constituem efetivamente um "modelo de mundo" que pode ser diretamente aproveitado para percepção.
Escalabilidade: Ao deslocar as especificações de tarefas das mudanças arquitetônicas para o design de formato de dados (analogamente a como os LLMs lidam com diversas tarefas via texto), o paradigma permite a escalabilidade contínamente para um espectro em expansão de tarefas visuais.
Generalização Emergente: A capacidade de um modelo treinado em dados humanos sintéticos de se generalizar para filmagens do mundo real e categorias de objetos não vistos (animais, robôs) sem treinamento explícito sugere que o pré-treinamento generativo captura regularidades físicas e semânticas fundamentais do mundo.

Os autores concluem que esta abordagem abre caminho para uma inteligência de visão verdadeiramente unificada para o mundo físico, indo além das limitações dos modelos de visão computacional especializados e específicos para tarefas.