Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction

Título: Representações Antes de Pixels: Previsão de Vídeo Hierárquica Guiada por Semântica (Re2Pix)

1. O Problema

A previsão de vídeo futura é crucial para sistemas autônomos (como carros autônomos), onde antecipar a evolução de uma cena é essencial para o planejamento seguro. No entanto, os métodos modernos de previsão de vídeo, que geralmente operam em um paradigma "end-to-end" (prevendo diretamente pixels ou latentes de VAE usando modelos de difusão), enfrentam desafios fundamentais:

• Entrelaçamento de Estrutura e Aparência: A estrutura semântica de alto nível (o que são os objetos e como interagem) e os detalhes visuais de baixo nível (textura, iluminação) estão profundamente entrelaçados no mesmo espaço latente. Isso dificulta que o modelo aprenda dinâmicas de cena complexas sem introduzir inconsistências temporais (como "drift" de identidade de objetos, degradação estrutural ou flickering).
• Inconsistência Semântica Temporal: Modelos que tentam fazer tudo de uma vez frequentemente falham em manter a coerência semântica ao longo do tempo.
• Desempenho de Treinamento: A necessidade de aprender simultaneamente dinâmica e aparência aumenta a demanda de dados e retarda a convergência do treinamento.
• Mismo Treino-Inferência: Em abordagens hierárquicas simples, o modelo de geração é treinado com características semânticas perfeitas (ground-truth), mas na inferência deve depender de características previstas (que contêm erros). Isso causa uma grande discrepância, levando a saídas borradas ou incoerentes.

2. Metodologia: Re2Pix

O Re2Pix propõe uma abordagem hierárquica que desacopla a previsão de vídeo em dois estágios distintos: Previsão de Representação Semântica e Geração Visual Guiada por Semântica.

Estágio 1: Previsão de Representação Semântica (Semântica)

• Objetivo: Prever a estrutura futura da cena, abstraindo detalhes de baixo nível.
• Mecanismo:
  • Utiliza um Modelo de Fundação de Visão (VFM) congelado (ex: DINOv2) para extrair mapas de características semânticas ($h_t$) dos quadros de contexto.
  • Um Transformador de Características Mascarado (baseado em DINO-Foresight) prevê autoregressivamente as características semânticas futuras ($\hat{h}_{M+1:K}$) no espaço de características do VFM.
  • Isso permite que o modelo foque puramente no raciocínio temporal e dinâmico da cena antes de lidar com a renderização visual.

Estágio 2: Geração de Vídeo Guiada por Semântica (Pixels)

• Objetivo: Renderizar quadros futuros fotorealistas baseados na estrutura prevista.
• Mecanismo:
  • Utiliza um Modelo de Difusão Latente (baseado em DiT - Diffusion Transformer) operando no espaço latente de um VAE (ex: WAN2.1).
  • O modelo de difusão é condicionado não apenas nos quadros passados, mas também nas características semânticas previstas do Estágio 1.
  • Fusão Antecipada (Early Fusion): As características do VFM e os latentes do VAE são fundidos no nível de entrada (via soma canal a canal), alinhando a estrutura semântica prevista com o espaço gerativo desde o início, sem aumentar o número de tokens.

Estratégias de Robustez (Ponte Treino-Inferência)
Para resolver o problema de que o modelo de difusão vê características perfeitas no treino, mas características ruidosas (previstas) na inferência, o Re2Pix introduz duas técnicas:

1. Nested Dropout (Dropout Aninhado): Durante o treinamento, canais de características semânticas são estocasticamente truncados (mantendo apenas os primeiros $c$ canais, onde $c$ varia). Isso força o modelo de difusão a aprender a depender das estruturas semânticas mais robustas e informativas, em vez de memorizar detalhes finos perfeitos que não estarão disponíveis na inferência.
2. Supervisão Mista (Mixed Supervision): O modelo é treinado com uma mistura de características: 90% das vezes usa características de ground-truth e 10% usa características previstas pelo gerador do Estágio 1. Isso regulariza o modelo contra o overfitting a sinais ideais e o prepara para o ruído da previsão autoregressiva.

3. Contribuições Principais

1. Arquitetura Hierárquica Semântica-a-Pixel: O primeiro trabalho a demonstrar que a previsão de características de VFM pode guiar eficazmente a difusão hierárquica de vídeo, separando explicitamente a dinâmica temporal da síntese de aparência.
2. Mecanismos de Condicionamento Robusto: Introdução do Nested Dropout e da Supervisão Mista para fechar a lacuna entre treino e teste, permitindo que o gerador opere de forma confiável sob características semânticas imperfeitas.
3. Eficiência e Desempenho: Demonstração de que essa separação não apenas melhora a qualidade, mas acelera drasticamente a convergência do treinamento.

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks desafiadores de direção autônoma (Cityscapes, nuScenes, CoVLA, KITTI).

• Qualidade de Geração e Consistência Semântica:
  • O Re2Pix superou consistentemente baselines fortes (incluindo modelos de difusão padrão, REPA e VideoREPA) em métricas de consistência semântica (mIoU para segmentação e precisão de profundidade) e qualidade de geração (FID e FVD).
  • Houve melhoria significativa na fidelidade temporal semântica (objetos mantêm sua identidade e estrutura) e na qualidade perceptual.
• Aceleração de Treinamento:
  • O método alcançou uma aceleração de 7x na convergência para métricas de geração (FID/FVD) e 14x para métricas de segmentação em comparação com baselines.
• Generalização:
  • O modelo demonstrou forte generalização zero-shot no conjunto de dados KITTI e superou sistemas de grande escala pré-treinados (como Vista e Cosmos-Predict-2) em cenários específicos, mesmo com menos dados de treinamento.
• Ablações:
  • As técnicas de Nested Dropout e Supervisão Mista foram provadas essenciais; sem elas, a qualidade visual degradava-se severamente devido ao desalinhamento treino-inferência.

5. Significado e Impacto

O Re2Pix representa uma mudança de paradigma na previsão de vídeo:

• Desacoplamento Eficiente: Ao separar a previsão de "o que vai acontecer" (semântica) de "como vai parecer" (pixels), o modelo simplifica o problema de aprendizado, permitindo que cada componente se especialize.
• Viabilidade para Sistemas Autônomos: A melhoria na consistência temporal semântica é crítica para a segurança em direção autônoma, onde a falha em prever corretamente a trajetória ou a identidade de um pedestre pode ser catastrófica.
• Eficiência Computacional: A capacidade de treinar modelos de difusão de vídeo de alta qualidade em menos tempo e com menos dados torna essa tecnologia mais acessível e escalável.
• Flexibilidade: A abordagem sugere que o uso de representações de modelos de fundação (VFMs) como variáveis intermediárias dinâmicas é uma estratégia poderosa para modelagem generativa, indo além da simples alinhamento de características estáticas.

Em resumo, o Re2Pix demonstra que prever a semântica antes dos pixels não é apenas viável, mas superior para gerar vídeos futuros realistas, coerentes e semanticamente consistentes, especialmente em ambientes dinâmicos complexos.