Resumo Técnico: HyperGS: Representação de Vídeo Gaussiana Rápida e Generalizável

Declaração do Problema

Embora o 3D Gaussian Splatting (3DGS) tenha se mostrado eficaz para cenas estáticas e vídeos dinâmicos, os métodos atuais de adaptação de vídeo dependem de otimização por vídeo. Essas abordagens ajustam os parâmetros Gaussianos para cada vídeo de forma independente através de otimização iterativa baseada em gradiente, muitas vezes exigindo dezenas de milhares de passos e horas de computação por vídeo. Essa falta de amortização impede a transferência de estrutura aprendida entre vídeos, tornando tais métodos impraticáveis para processamento em tempo real e limitando sua capacidade de generalizar para vídeos fora da distribuição (OOD) ou de resoluções mais altas sem reotimização.

Tentativas anteriores de criar alternativas feedforward para representação de vídeo focaram amplamente em Representações Neurais Implícitas (INRs), onde uma rede prevê os pesos de um decodificador. No entanto, esses métodos vinculam a representação a uma arquitetura neural específica e exigem uma etapa de decodificação não linear adicional.

Metodologia: HyperGS

Os autores propõem o HyperGS, uma estrutura feedforward e livre de otimização que prevê diretamente primitivas Gaussianas 2D explícitas a partir de entrada de vídeo em uma única passagem forward. Esta abordagem desacopla a representação de qualquer decodificador implícito, aproveitando as capacidades eficientes de rasterização de Gaussian Splatting.

Arquitetura

O modelo consiste em um Transformer espaço-temporal fatorizado e um Transformer baseado em queries:

1. Tokenização de Vídeo: Os vídeos de entrada são projetados em embeddings de patches usando convoluções 3D com embeddings posicionais espaço-temporais aprendíveis (RoPE).
2. ST-Transformer (Encoder): Um Transformer Espaço-Temporal Fatorizado processa os tokens de vídeo. Ele aplica autoatenção espacial (2D RoPE) e autoatenção temporal (1D RoPE) sequencialmente para contextualizar características no espaço e no tempo. Uma conexão de salto (skip connection) preserva os embeddings originais dos patches para auxiliar na estabilidade.
3. Q-Transformer (Decoder): Um conjunto de tokens Gaussianos aprendíveis (queries) atende às características contextualizadas do vídeo. Através de autoatenção, esses tokens agregam informações relevantes para regredir a representação Gaussiana final de 8 parâmetros para cada frame.
4. Predição de Parâmetros: O modelo produz parâmetros interpretáveis para $N$ Gaussianas por frame: posição da média ($\mu$), escala anisotrópica ($s$), rotação ($r$) e cor ($c$). Estes são restritos a intervalos válidos (ex: escalas são forçadas a serem positivas, rotações cobrem $[0, 2\pi)$).
5. Renderização: As Gaussianas previstas são renderizadas via rasterização de Gaussiana 2D diferenciável para reconstruir os frames do vídeo.

Estabilidade de Treinamento e Regularização

Os autores identificam uma instabilidade crítica de treinamento onde a otimização não restringida leva as Gaussianas a uma anisotropia do tipo "agulha" (extremo alongamento ao longo de um eixo), causando um colapso repentino no desempenho no meio do treinamento. Para resolver isso, eles introduzem regularizadores geométricos adaptativos:

• Regularização de Rank Efetivo ($\mathcal{L}_{erank}$): Utiliza o Rank Efetivo da distribuição de escala para penalizar formas degeneradas do tipo agulha. O limiar é adaptado dinamicamente usando uma Média Móvel Exponencial (EMA) do rank efetivo do 1º percentil através do batch.
• Regularização de Escala Adaptativa ($\mathcal{L}_{scale}$): Monitora o 99º percentil das magnitudes de escala via EMA para evitar escalas excessivamente grandes, penalizando outliers com uma perda de excesso quadrática.

Principais Contribuições

1. Primeiro Preditor Gaussiano Feedforward: O HyperGS é o primeiro método a prever primitivas Gaussianas explícitas para vídeo em uma única passagem forward sem otimização por vídeo.
2. Desempenho e Eficiência:
   • Alcança uma codificação 104–105× mais rápida que a otimização de Gaussian por vídeo com qualidade de reconstrução equivalente.
   • Melhora o PSNR em +2.9–3.1 dB sobre os anteriores encoders de vídeo feedforward (ex: FastNeRV) no K400, SSv2 e UCF101, apesar de usar um tamanho de representação menor (64K parâmetros vs. 85K–139K).
   • Velocidades de codificação atingem ~400–2200 FPS, com decodificação a ~3900–4400 FPS.
3. Generalização Zero-Shot: O modelo generaliza para vídeos de alta resolução (720p) não vistos sem ajuste fino. Ele suporta codificação por grade de patches (patch-grid encoding) para compor frames de alta resolução, trocando o tamanho da representação por maior fidelidade sem necessidade de re-codificação.
4. Mecanismo de Estabilização: A introdução da regularização adaptativa baseada em rank evita com sucesso a degeneração "tipo agulha" que assola o treinamento de Gaussianas feedforward.

Resultados Experimentais

• Comparação com Métodos Baseados em Otimização: Nos datasets 720p DAVIS e UVG, o HyperGS iguala a qualidade de reconstrução do 2DGS (otimizado por vídeo), mas reduz o tempo de codificação de horas para milissegundos. Uma variante de grade de patches supera ainda mais a qualidade da otimização por vídeo.
• Comparação com INRs Feedforward: No K400, SSv2 e UCF101, o HyperGS supera os métodos de estado da arte de INR feedforward (TransINR, GINR, FastNeRV, TeCoNeRV) tanto em PSNR quanto em SSIM, mesmo quando esses métodos são treinados e avaliados em resoluções mais altas (640×480) enquanto o HyperGS é treinado apenas em 256×256.
• Comparação com Codecs Tradicionais: Comparado ao H.265, o HyperGS oferece 1.3–2.7× mais velocidade de codificação e ~1.3× mais velocidade de decodificação, mantendo fidelidade igual ou superior em pontos de taxa-distorção correspondentes.
• Estudos de Ablação:
  • Contagem de Gaussianas ($N$): Aumentar $N$ de 250 para 3000 melhora linearmente a qualidade (+7.31 dB no K400) com impacto mínimo no tempo de treinamento.
  • Arquitetura: O mecanismo de autoatenção baseado em queries no Q-Transformer é essencial; substituir por um simples MLP causa uma queda drástica na qualidade (~9 dB).
  • Regularização: A regularização adaptativa é crítica para a estabilidade do treinamento, superando limiares fixos que são sensíveis à capacidade do modelo.

Significância e Alegações

O artigo afirma que o HyperGS avança o Gaussian Splatting como uma direção prática para representação de vídeo rápida e generalizável. Ao combinar a renderização rápida e flexível do Gaussian Splatting com a velocidade e generalização da predição feedforward, o HyperGS supera o gargalo fundamental da otimização por vídeo. Ele demonstra que primitivas geométricas explícitas podem ser aprendidas diretamente de pixels, permitindo codificação em tempo real, renderização de alta resolução zero-shot e desempenho de taxa-distorção superior comparado tanto a codecs tradicionais quanto a representações de vídeo neurais anteriores.