Resumo Técnico: Gen4U: Unificando Geração e Compreensão de Vídeo via Difusão

Declaração do Problema

Os paradigmas atuais em aprendizado de representação visual enfrentam um compromisso fundamental: eles lutam para reconciliar a geometria de baixo nível precisa com a semântica de alto nível. Métodos contrastivos e Grandes Modelos de Visão-Linguagem (VLMs) destacam-se na compreensão semântica, mas frequentemente negligenciam detalhes espaço-temporais. Por outro lado, abordagens de reconstrução ao nível de pixel, como os Autoencoders Mascarados (MAE), preservam a geometria e o movimento locais, mas falham em generalizar para tarefas semânticas amplas. Embora estudos recentes tenham sugerido que modelos de difusão de vídeo congelados capturam geometria de baixo nível, mas carecem de consciência semântica de alto nível, permanece um problema em aberto sobre encontrar um único modelo de vídeo fundacional, agnóstico à tarefa, capaz de suportar tanto a geração quanto diversas tarefas de compreensão sem sem a necessidade de ajuste fino extensivo.

Metodologia

Os autores introduzem o Gen4U (Generation for Understanding), um framework que reaproveita modelos de difusão de vídeo de grande escala e congelados como codificadores de vídeo competitivos. A metodologia baseia-se em uma análise sistemática da estrutura do espaço latente dos modelos de difusão para identificar pontos ideais para extração de características.

1. Análise do Espaço Latente

Os autores investigam as ativações intermediárias de modelos de difusão de vídeo proprietários (Veo3) e de pesos abertos (Wan2.2-T2V-A14B) através da profundidade da rede e níveis de ruído. Eles utilizam:

• Alinhamento Mutual k-NN (MkNN): Uma métrica zero-shot para comparar a estrutura de vizinhança das representações de difusão contra codificadores estabelecidos (ex: codificador de texto Gemma-2, DINOv2, VideoMAEv2) sem mapeamento aprendido.
• Mecanismos de Sondagem (Probing): Sondas lineares (pooling global seguido de projeção linear) e sondas de atenção (cabeças de cross-attention com consultas específicas da tarefa) para avaliar a qualidade das características para tarefas downstream.

2. Estratégia de Extração de Características

O insight central é que as representações de difusão evoluem ao longo de um eixo duplo (profundidade e ruído).

• Gargalo Semântico: A análise revela um "gargalo semântico" consistente em aproximadamente 60% do nível de ruído, onde a semântica global é mais linearmente separável.
• Complexidade de Características: Enquanto níveis de ruído moderados produzem semântica global linearmente separável, detalhes finos persistem em níveis de ruído mais baixos, mas tornam-se espacialmente dispersos. Essas características dispersas requerem mecanismos de atenção para serem decodificadas efetivamente, ao passo que sondas lineares bastam para a semântica global no gargalo semântico.
• Passagem Única (Single Forward Pass): O Gen4U extrai características de um único bloco e nível de ruído ideal, exigindo apenas uma passagem direta pelo backbone de difusão. Isso contorna os altos custos de inferência da desruição iterativa, tornando-o computacionalmente comparável aos codificadores discriminativos padrão.

3. Adaptação Downstream

Representações generativas congeladas são pareadas com decodificadores leves (ex: decodificadores de atenção de um bloco ou pequenos modelos de linguagem) treinados especificamente para a tarefa downstream. Os pesos generativos pré-treinados permanecem congelados, preservando as capacidades de geração de vídeo do modelo.

Principais Contribuições

1. Mapeamento do Espaço Latente: O artigo mapeia a evolução das características de difusão, identificando pontos ideais de extração para tarefas de compreensão. Revela que os modelos de difusão de vídeo de última geração possuem um espaço latente altamente estruturado onde as representações visuais evoluem sistematicamente através da profundidade e do ruído.
2. Paradigma Unificado: O Gen4U demonstra que modelos de difusão de vídeo congelados podem funcionar como codificadores de vídeo de propósito geral, unificando geração e compreensão. O framework alcança um forte desempenho em objetivos semânticos e não semânticos sem alterar os pesos generativos.
3. Capacidade Dual: O trabalho mostra que esses modelos capturam tanto uma rica compreensão semântica de alto nível quanto uma forte consciência de geometria de baixo nível (movimento, profundidade, pose), desafiando a crença anterior de que modelos de difusão têm dificuldade com semântica de alto nível.

Resultados Experimentais

Os autores avaliam o Gen4U em um amplo espectro de tarefas usando o modelo Veo3:

• Classificação de Vídeo: No desafiador conjunto de dados Something-Something V2 (SSv2), o Gen4U atinge uma acurácia Top-1 de 71,3% (72,6% com aumento de dados), superando baselines fortes como 4DS (68,2%) e V-JEPA (72,2%) na configuração de representação congelada.
• Compreensão de Geometria:
  • Estimativa de Profundidade: No ScanNet, o Gen4U atinge um AbsRel de 0,075, uma melhoria relativa de 10,7% sobre o baseline de característica congelada relatado em trabalhos anteriores.
  • Estimativa de Pose de Câmera: O modelo atinge um Erro de Ponto Final (EPE) de 1,10, performando de forma equivalente ao baseline DINOv2 (1,08).
• Legendagem (Captioning):
  • Legendagem de Vídeo: No SSv2, o Gen4U produz legendas razoáveis. No dataset VATEX, ele supera significativamente o VideoPrism (CIDEr 31,7) mesmo quando o decodificador LLM está congelado, atingindo um CIDEr de 44,8 (vs. 31,7 para o VideoPrism).
  • Legendagem de Imagem: No MS-COCO, o modelo apresenta um desempenho satisfatório, embora fique atrás de baselines baseados em SigLIP otimizados especificamente para alinhamento de texto. Os autores observam que o uso de entradas de alta resolução e aumento de dados por nível de ruído reduz essa lacuna.

Significância e Alegações

O artigo afirma que treinar puramente para geração de vídeo em escala é suficiente para dotar os modelos com características poderosas e de propósito geral. O surgimento implícito do alinhamento entre representações generativas e codificadores de texto/visuais é um achado significativo não reportado anteriormente.

• Unificação: O Gen4U unifica os paradigmas de geração e compreensão, sugerindo que um único modelo visual pode ser compartilhado entre ambos os domínios.
• Eficiência: Ao extrair características de uma única passagem direta, o framework evita o overhead computacional da desruição iterativa, tornando-o tão eficiente quanto codificadores discriminativos.
• Poder de Representação: Os resultados desafiam a noção de que modelos de difusão são limitados à geometria de baixo nível, demonstrando que modelos de última geração codificam informações semânticas ricas dentro de suas características intermediárias.

Os autores reconhecem limitações, observando que a análise principal depende de um modelo proprietário (Veo3), o que limita a reprodutibilidade, embora o modelo de pesos abertos Wan 2.2 tenha sido utilizado para validar a generalizabilidade das descobertas. Eles concluem que este trabalho incentiva novas pesquisas sobre o poder de representação dos modelos de difusão para tarefas de percepção.