Resumo Técnico: Representação de Vídeo Versátil via Tokenização de Gaussian Splatting 2D Feed-Forward

Declaração do Problema

Os métodos existentes de representação de vídeo, particularmente aqueles que dependem de uma tokenização por patches em grade fixa (ex: MAGVIT-v2), sofrem de versatilidade limitada tanto nos domínios espacial quanto temporal.

• Limitações Espaciais: A alocação uniforme de um número fixo de tokens leva à sobrecodificação em regiões de baixa informação (ex: fundos suaves) enquanto pode sub-representar áreas de alto detalhe.
• Limitações Temporais: As abordões atuais processam os passos temporais de forma uniforme sem distinguir explicitamente entre conteúdo estático (ex: fundos) e conteúdo dinâmico (ex: objetos em movimento). Isso resulta em orçamentos de tokens redundantes para segmentos inalterados, inflando a contagem total de tokens e o custo computacional.
• Problemas de Generalização: Embora métodos recentes de Gaussian Splatting (GS) mostrem promessa, eles frequentemente dependem de otimização por vídeo, o que é computacionalmente caro e limita a generalização para vídeos não vistos.

Metodologia: Gaussian Video Transformer (GVT)

Os autores propõem o Gaussian Video Transformer (GVT), um framework que substitui a tokenização rígida por patches por um esquema de 2D Gaussian Splatting feed-forward. A arquitetura central consiste em três estágios principais:

1. Spatio-Temporal Gaussian Embedding (STGE)

Em vez de quantizar vetores latentes rígidos diretamente, o GVT projeta características de vídeo latentes em um conjunto de Gaussians 2D de maneira feed-forward.

• Entrada: Um clipe de vídeo é primeiro codificado em uma sequência de tensores latentes $Z$ usando um extrator de características por patches padrão (CNN 3D causal).
• Mecanismo: O módulo STGE utiliza dois submódulos principais:
  • Spatio-Temporal Attention (STA): Agrega características para capturar correlações globais.
  • Deformable Spatio-Temporal Fusion (DSTF): Utiliza queries aprendíveis para projetar informações de vetores latentes em parâmetros específicos de 2D Gaussian (posição $\mu$, covariância $\Sigma$ e coeficientes de característica $\varsigma$).
• Saída: Um conjunto de Gaussians 2D $G = \{G_t\}$ para cada passo de tempo, onde cada Gaussian modela explicitamente a estrutura espacial local e níveis variados de detalhe.

2. Gaussian Set Partitioning (GSP)

Para abordar a redundância temporal, o GVT introduz uma estratégia para desmembrar o conteúdo estático e dinâmico.

• Particionamento: Uma máscara binária aprendível é gerada para classificar as Gaussians em dois conjuntos:
  • Gaussians Estáticas ($G_{static}$): Representam regiões estacionárias (ex: fundos) compartilhadas entre todos os passos de tempo. Estas são computadas uma única vez (em $t=1$) e reutilizadas para os quadros subsequentes.
  • Gaussians Dinâmicas ($G_{dynamic}$): Representam conteúdo temporalmente variável (ex: objetos em movimento) e são atualizadas para cada passo de tempo.
• Otimização: Uma perda de restrição ($L_{GSP}$) regulariza a proporção de Gaussians dinâmicas, incentivando o modelo a minimizar a redundância enquanto mantém uma contagem de tokens aprendível.

3. Quantização de Vetores e Reconstrução

• Quantização: Os coeficientes de característica ($\varsigma$) das Gaussians 2D são quantizados usando uma estratégia de Quantização de Vetores (VQ) com um codebook aprendível, convertendo parâmetros contínuos em tokens discretos.
• Renderização: Durante a reconstrução, as Gaussians quantizadas são rasterizadas. As Gaussians estáticas são duplicadas em todos os passos de tempo, enquanto as Gaussians dinâmicas são renderizadas por quadro. O vídeo final é reconstruído decodificando os pesos de radiância agregados e os coeficientes de volta para o espaço de pixels.

Principais Contribuições

1. STGE (Spatio-Temporal Gaussian Embedding): Um novo módulo de projeção que mapeia representações compactas de vídeo latente para 2D Gaussian Splatting de maneira feed-forward, permitindo uma tokenização versátil sem otimização por vídeo.
2. GSP (Gaussian Set Partitioning): Uma estratégia aprendível que particiona explicitamente as Gaussians em conjuntos estáticos e dinâmicos. Isso reduz a redundância temporal ao reutilizar o conteúdo estático, aumentando tanto a versatilidade temporal quanto a compacidade da representação.
3. Framework GVT: Um framework de tokenização de vídeo end-to-end que integra STGE e GSP. É o primeiro trabalho a incorporar Gaussian Splatting na pesquisa de tokenização de vídeo, alcançando desempenho estado da arte (SOTA) em reconstrução e compressão.

Resultados Experimentais

Os autores avaliaram o GVT em quatro tarefas: reconstrução de vídeo, reconhecimento de ação, compressão e geração, utilizando datasets incluindo UCF101, Kinetics (K600/K400) e DAVIS.

• Reconstrução de Vídeo:
  • No UCF101 e Kinetics-600, o GVT alcançou desempenho SOTA em termos de FVD de vídeo reconstruído (rFVD), superando o MAGVIT-v2 e outros tokenizadores (ex: 12.6 rFVD no UCF101 vs. 16.7 para o MAGVIT-v2).
  • No DAVIS-2017-480P, o GVT demonstrou fidelidade de nível de instância superior (melhor LPIPS, terceiro melhor SSIM) entre métodos baseados em Radiance Field. Crucialmente, é o único método feed-forward nesta comparação, evitando os tempos de ajuste de horas por vídeo exigidos por abordagens baseadas em NeRF ou 4DGS.
• Reconhecimento de Ação em Vídeo:
  • Usando vídeos reconstruídos como entrada para o VideoMAE, o GVT alcançou maior precisão Top-1 e Top-5 no UCF101 e K400 comparado ao MAGVIT-v2, indicando melhor preservação de informação semântica.
• Compressão de Vídeo:
  • O GVT demonstrou desempenho de Taxa-Distorção (RD) superior. Comparado ao padrão H.266/VVC, o GVT alcançou reduções médias de bit-rate de 54.8% (baseado em DISTS) e 2.1% (baseado em LPIPS).
• Geração de Vídeo:
  • Em tarefas de geração de vídeo incondicional no UCF101, o GVT alcançou um FVD de 1240, superando o baseline MAGVIT-v2 equipado com o mesmo paradigma de flow-matching (FVD 3772) e competindo com outros métodos como MCVD e TGAN-v2.

Significância e Alegações

O artigo afirma que o GVT representa uma mudança significativa na representação de vídeo ao alavancar a natureza explícita e adaptativa do Gaussian Splatting.

• Versatilidade: Ao se afastar de grades fixas, o GVT adapta a densidade de tokens ao conteúdo de informação (espacial) e distingue entre elementos estáticos e dinâmicos (temporal).
• Eficiência: O design feed-forward elimina a necessidade de otimização custosa por vídeo, tornando a abordagem escalável e generalizável para vídeos não vistos.
• Desempenho: O método estabelece novos marcos em qualidade de reconstrução e eficiência de compressão, mantendo um desempenho competitivo em tarefas downstream como reconhecimento de ação e geração.

Os autores reconhecem limitações, observando que as capacidades de geração atuais estão restritas a configurações incondicionais devido à falta de modelos de alinhamento multimodal pré-treinados para 2DGS. Eles veem os resultados atuais de geração como evidência preliminar do potencial do framework, com trabalhos futuros planejados para explorar a geração condicional (ex: texto-para-vídeo).