FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

Resumo Técnico: FLAT (Feedforward Latent Triangle Splatting)

Definição do Problema
Gerar cenas 3D exploráveis a partir de uma única imagem requer um equilíbrio entre fortes priors generativos e representações geometricamente precisas, adequadas para aplicações de downstream, como simulação e pipelines gráficos padrão. Embora os atuais modelos de difusão de vídeo ofereçam geração de alta qualidade e estrutura geométrica multi-view implícita, os decodificadores feedforward existentes tipicamente produzem Gaussianos volumétricos 3D. Esses primitivos Gaussianos carecem de superfícies bem definidas, tornando-os inadequados para a maioria dos motores gráficos que dependem de representações de superfície opacas (por exemplo, triângulos ou malhas). Além disso, otimizar diretamente representações baseadas em triângulos ou malhas opacas via predição feedforward é desafiador devido à não diferenciabilidade da renderização padrão e à sensibilidade de primitivos planos a erros de orientação, o que frequentemente leva a um fluxo de gradiente pobre e instabilidade no treinamento.

Metodologia
O FLAT introduz um pipeline feedforward que decodifica splats de triângulos explícitos e não volumétricos diretamente do espaço latente de um modelo de difusão de vídeo congelado em uma única passagem direta (single forward pass). O sistema opera da seguinte forma:

1. Arquitetura do Pipeline: O método aumenta um modelo de difusão de vídeo latente congelado e condicionado à câmera (especificamente o Uni3C baseado no Wan-2.1) com um decodificador de cena leve. Dada uma única imagem RGB e uma trajetória de câmera alvo, o modelo de vídeo gera um latente denoisado. O decodificador então mapeia este latente diretamente para parâmetros de cena explícitos (splats de triângulo) sem otimização por cena.
2. Parametrização de Triângulo Centrada no Raio: Para abordar a instabilidade da regressão de primitivos planos, o FLAT emprega uma nova parametrização. Em vez de prever vértices 3D sem restrições ou rotações completas no espaço do mundo, cada token do decodificador prevê um triângulo relativo a um frame local centrado no raio:
   • Posição: Definida por um valor de profundidade ao longo de um raio âncora.
   • Forma: Derivada de um triângulo equilátero 2D transformado por uma matriz triangular inferior restrita (estilo Cholesky), garantindo área estritamente positiva e evitando soluções degeneradas.
   • Orientação: Parametrizada por ângulos residuais de inclinação (tilt) e rotação (spin) ao redor do frame alinhado ao raio, em vez de uma rotação 3D completa (ex: quatérnio), o que melhora a estabilidade numérica.
3. Renderização Diferenciável e Função de Janela: Para permitir o fluxo de gradiente durante o treinamento, o FLAT utiliza uma função de janela modificada para renderização de triângulos diferenciável. Ao contrário de formulações anteriores que usam uma redução max ou fronteiras rígidas, o FLAT introduz uma "função de janela de produto". Esta função estende a influência do triângulo além de sua fronteira exata e roteia gradientes para todos os três vértices simultaneamente, melhorando significamente o fluxo de gradiente e a estabilidade do treinamento.
4. Condicionamento de Câmera: A informação da câmera é codificada como embeddings de raio densos por pixel (usando uma parametrização de Componente Perpendicular Raio-Ponto ou RPPC) e injetada no decodificador via blocos convolucionais com inicialização zero, garantindo o alinhamento com os latentes visuais.
5. Pós-processamento: Para compatibilidade com motores de jogo, um passo de refinamento leve em tempo de teste converte o "sopa de triângulos" semi-opaco previsto em uma malha opaca e coerente. Isso envolve o refinamento da profundidade e geometria, empurrando a opacidade para valores binários e costurando as fronteiras.

Principais Contribuições

• Primeira Decodificação Direta de Primitivos de Superfície: O artigo demonstra, pela primeira vez, que primitivos de superfície explícitos e não volumétricos (triângulos) podem ser decodificados diretamente de latentes de difusão de vídeo comprimidos em uma única passagem direta.
• Parametrização e Renderização Estáveis: Os autores introduzem os ingredientes técnicos específicos necessários para tornar isso viável: uma parametrização de triângulo local centrada no raio com forma restrita e orientação residual, e uma nova função de janela de produto que estabiliza o treinamento ao melhorar o fluxo de gradiente.
• Análise Sistemática de Representação: Os autores fornecem a primeira comparação sistemática entre 3D Gaussian Splatting (3DGS), 2D Gaussian Splatting (2DGS) e triangle splatting sob condições de treinamento idênticas. Esta análise caracteriza os compromissos entre qualidade de renderização, precisão geométrica e compatibilidade de malha downstream.

Resultados
Avaliado nos datasets RealEstate10K e DL3DV, o FLAT alcança o seguinte:

• Precisão Geométrica: O modelo baseado em triângulos produz geometria significativamente mais precisa em comparação com variantes Gaussianas. Ele atinge uma similaridade de cosseno de 0,853 com normais de verdade fundamental (Metric3D), superando o 2DGS (0,587) e o 3DGS (que produz normais quase aleatórias devido à natureza volumétrica).
• Qualidade Visual: Embora o 3DGS permaneça como a base mais forte para fidelidade visual pura (PSNR), as variantes de triângulo e 2D do FLAT mantêm uma qualidade visual competitiva, com pontuações de PSNR comparáveis a métodos de estado da arte como Lyra e Wonderland.
• Conversão de Malha: O passo de pós-processamento proposto converte a predição feedforward em uma malha opaca que alcança uma melhoria de PSNR de mais de 7 dB em comparação com malhas extraídas de representações 3DGS/2DGS, demonstrando superior compatibilidade com pipelines gráficos padrão.

Significância
O artigo afirma que o FLAT estabelece um novo paradigma para a geração de cenas feedforward ao mostrar que modelos de geração de vídeo latente podem servir como poderosos priors não apenas para síntese de imagem, mas para a predição direta de cenas 3D com estrutura geométrica explícita. Ao decodificar com sucesso primitivos não volumétricos, o método preenche a lacuna entre a IA generativa e os pipelines gráficos padrão, permitindo a criação de assets prontos para motores de jogo sem o overhead computacional de otimização por cena. O trabalho destaca que, com parametrização e formulação de renderização cuidadosas, os problemas de estabilidade anteriormente associados à decodificação de primitivos planos feedforward podem ser superados.