Resumo Técnico: LocusGS

Declaração do Problema

Métodos recentes de Gaussian Splatting 3D (3DGS) de alimentação direta (feed-forward) mudaram de uma otimização dispendiosa por cena para a predição direta a partir de vistas de entrada. Entre estes, abordagens baseadas em consultas (ex: TokenGS) representam uma cena usando um conjunto fixo de consultas aprendíveis (tokens). Cada token agrega evidências multi-visão via um decodificador Transformer e é decodificado em um grupo de Gaussias 3D.

No entanto, os autores observam uma limitação crítica nos métodos baseados em consultas existentes: coerência espacial fraca. Embora, idealmente, diferentes consultas devessem se especializar em regiões locais distintas e coerentes da cena, as Gaussias decodificadas de uma única consulta latente frequentemente se espalham por regiões distantes e não relacionadas da cena. Isso resulta em uma distribuição espacialmente difusa que se alinha mal com a estrutura subjacente da cena. Os autores atribuem essa falha à representação puramente latente das consultas de Gaussia existentes, que carecem de uma noção explícita de onde em 3D uma consulta opera ou de quão grande uma região ela cobre. Consequentemente, a evidência multi-visão agregada por uma consulta e as Gaussias resultantes não são restringidas a uma região local coerente.

Metodologia: LocusGS

Para abordar isso, os autores propõem o LocusGS (Tokens Espacialmente Fundamentados), que aumenta cada consulta de Gaussia com um estado de âncora 3D explícito. Este estado consiste em um centro 3D ($\mu$) e um raio de suporte ($r$).

Componentes Principais

1. Estados de Âncora 3D Explícitos:
   Em vez de representar uma consulta apenas como um vetor de características latentes, o LocusGS associa cada consulta $i$ na camada do decodificador $l$ a um estado de âncora $a^l_i = (\mu^l_i, r^l_i)$.

   • Centro ($\mu$): Especifica a localização de referência 3D atual da consulta.
   • Raio ($r$): Define a extensão da região de suporte local da consulta. O raio é parametrizado via uma variável não restrita $\rho$ passada através de uma função softplus para garantir positividade.
   • Estes estados são aprendíveis, compartilhados entre cenas e refinados progressivamente através das camadas do decodificador.

2. Decodificador Guiado por Âncora:
   O decodificador utiliza os estados de âncora para guiar os mecanismos de autoatenção (self-attention) e atenção cruzada (cross-attention):

   • Autoatenção Consciente da Âncora: Um embedding posicional derivado do centro da âncora $\mu$ é injetado nas características dos tokens. Isso permite que as interações entre tokens de Gaussia dependam de suas localizações 3D relativas, não apenas da similaridade de características latentes.
   • Viés Geométrico Âncora-para-Raio (Atenção Cruzada): Para agregar evidências multi-visão, o método introduz um viés geométrico baseado na distância entre o centro da âncora da consulta $\mu^l_i$ e os raios de câmera $\ell_j$ associados aos tokens de imagem.
     • O viés é definido como $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$, onde $D$ é a distância euclidiana do ponto ao raio.
     • Este viés penaliza tokens de imagem cujos raios estão longe da âncora, efetivamente guiando a consulta para focar em observações geometricamente relevantes. O raio $r^l_i$ controla a largura de banda desta preferência espacial.

3. Refinamento Dinâmico de Âncora:
   Após cada camada do decodificador, as características dos tokens predizem atualizações residuais ($\Delta \mu, \Delta \rho$) para o centro e o raio da âncora. Isso permite que o estado da âncora adapte sua localização 3D e escala de suporte à cena de entrada específica conforme o decodificador progride.

4. Decodificação de Gaussia Centrada na Âncora:
   Na etapa final de decodificação, as Gaussias não são preditas de maneira totalmente não restrita. Em vez disso, o modelo prediz offsets locais ($\delta$) relativos ao centro da âncora refinado final. O centro da Gaussia final é computado como:
   $$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$$
   Aqui, o centro da âncora fornece a referência global, e o raio escala os offsets locais. Esta formulação força as Gaussias decodificadas de um único token a formar um grupo local compacto ao redor da âncora, em vez de se espalharem livremente.

5. Supervisão de Renderização Multi-camada:
   O objetivo de treinamento inclui supervisão de renderização em camadas intermediárias do decodificador (além da camada final). A perda combina reconstrução de imagem (MSE + SSIM) com regularização de visibilidade aplicada tanto aos centros das Gaussias decodificadas quanto aos centros das âncoras, incentivando uma organização espacial coerente durante todo o processo de decodificação.

Principais Contribuições

• Fundamentação Espacial de Consultas: A introdução de estados de âncora 3D explícitos (centro e raio) para consultas de 3DGS baseadas em consulta, indo além de representações puramente latentes.
• Mecanismos Conscientes da Âncora: O design de vieses geométricos para atenção cruzada (âncora-para-raio) e embeddings posicionais para autoatenção que utilizam o estado da âncora para impor coerência espacial.
• Geração de Gaussia Estruturada: Uma estratégia de decodificação que prediz offsets locais escalonados pelo raio da âncora, garantindo que os tokens gerem grupos de Gaussia espacialmente compactos.
• Refinamento Progressivo: Um mecanismo para refinar iterativamente as localizações das âncoras e os raios de suporte através das camadas do decodificador, permitindo que o modelo se adapte à geometria da cena.

Resultados Experimentais

Os autores avaliam o LocusGS em benchmarks de síntese de novos visores, especificamente RealEstate10K (RE10K) e DL3DV, comparando com baselines como TokenGS, MVSplat e DepthSplat.

• Qualidade de Renderização: Sob orçamentos idênticos de tokens e Gaussias, o LocusGS supera consistentemente os baselines baseados em consulta (TokenGS) em PSNR, SSIM e LPIPS. Por exemplo, no DL3DV com 4 vistas de entrada, o LocusGS (4096 tokens) alcança um PSNR de 24.80 comparado ao 23.44 do TokenGS.
• Organização Espacial: Análises qualitativas e quantitativas mostram que o LocusGS produz distribuições de Gaussia significativamente mais estruturadas.
  • Compactação ao Nível de Token: O artigo introduz uma métrica $C_{centroid}$ para medir a dispersão das Gaussias dentro de um token. O LocusGS reduz drasticamente essa dispersão (ex: de 5.11 para 0.19 no RE10K), indicando que as Gaussias de um único token estão fortemente agrupadas.
  • Layouts de Âncora: As âncoras aprendidas formam um arcabouço espacial coerente e grosseiro sobre a cena, cobrindo estruturas principais e adaptando seus raios à complexidade local (raios maiores em regiões esparsas, menores em áreas detalhadas).
• Generalização: O modelo mantém um orçamento de Gaussias fixo independente do número de vistas de entrada, ao contrário de métodos densos alinhados ao pixel. Ele demonstra desempenho robusto quando testado com números variados de vistas de contexto (2, 4 e 6 vistas) no DL3DV.
• Eficiência: Embora o LocusGS tenha uma contagem de parâmetros ligeiramente maior (241.5M vs 222.0M para o TokenGS) e latência de forward, ele alcança uma qualidade de reconstrução superior sem aumentar o número de Gaussias preditas.

Significância e Alegações

O artigo afirma que os estados de âncora 3D explícitos fornecem um prior espacial eficaz para o 3DGS de alimentação direta baseado em consulta. Ao fundamentar as consultas no espaço 3D, o LocusGS transforma os tokens de Gaussia de embeddings latentes implícitos em consultas de reconstrução espacial interpretáveis.

Os autores argumentam que esta abordagem não apenas melhora a precisão da renderização, mas fundamentalmente aumenta a organização espacial e a interpretabilidade da representação. Os resultados demonstram que estados espaciais explícitos incentivam as consultas a se especializarem em regiões locais coerentes, levando a distribuições de Gaussia mais estruturadas que se alinham melhor com a geometria da cena. O trabalho sugere que incorporar estados geométricos ao mecanismo de consulta é um passo crucial para uma reconstrução de cena 3D mais robusta e estruturada.