Two-View Accumulation as the Primary Training Lever for Hybrid-Capture Gaussian Splatting: A Variance-Decomposition View of When Gradient Surgery Helps

1. Declaração do Problema

Síntese de Novas Vistas Híbridas (NVS) envolve a reconstrução de cenas 3D utilizando câmeras em distâncias vastamente diferentes (por exemplo, vistas de rua ao nível do solo versus vistas aéreas de drones).

• O Conflito: O 3D Gaussian Splatting (3DGS) padrão falha nesses cenários porque otimiza um único conjunto de parâmetros Gaussianos usando uma única perda fotométrica média.
  • Vistas próximas exigem detalhes de alta frequência, texturas nítidas e geometria local precisa.
  • Vistas distantes exigem aparência espacialmente média e consistência global estável.
• O Modo de Falha: Quando essas vistas heterogêneas são agregadas em uma única atualização de gradiente, o sinal de otimização torna-se enviesado para o regime dominante (frequentemente as vistas distantes), fazendo com que o modelo ou suavize excessivamente as renderizações aéreas ou falhe em reconstruir detalhes ao nível da rua.
• A Lacuna: O 3DGS padrão treinado por 30 mil iterações subajusta o regime minoritário em 1–3 dB em comparação com baselines compatíveis em computação em benchmarks de captura híbrida.

2. Metodologia: CrossGrad-GS

Os autores propõem o CrossGrad-GS, um framework do lado do treinamento que modifica como os gradientes são agregados sem alterar a representação Gaussiana subjacente, o rasterizador ou as regras de controle de densidade.

Componentes Principais:

1. Emparelhamento de Vistas Balanceado por Altitude:

   • As câmeras de treinamento são divididas em grupos Próximos e Distantes com base na distância euclidiana mediana do centro da cena.
   • Em cada passo do otimizador, o método amostra uma vista próxima e uma vista distante.
   • Os gradientes são computados separadamente para ambas as vistas sobre os parâmetros Gaussianos compartilhados.

2. Reconciliação Simétrica de Gradientes (Cirurgia de Gradiente):

   • Se os gradientes próximo e distante estiverem alinhados ($g_{near}^T g_{far} \geq 0$), eles são somados normalmente.
   • Se entrarem em conflito ($g_{near}^T g_{far} < 0$), o método aplica uma projeção simétrica para remover o componente destrutivo de cada gradiente que se opõe ao outro:
     $$g'_{near} = g_{near} - \frac{g_{near}^T g_{far}}{\|g_{far}\|^2 + \epsilon} g_{far}$$
     $$g'_{far} = g_{far} - \frac{g_{near}^T g_{far}}{\|g_{near}\|^2 + \epsilon} g_{near}$$
   • A atualização final usa a soma desses gradientes reconciliados: $\theta \leftarrow \theta - \eta(g'_{near} + g'_{far})$.

3. Framework de Decomposição de Variância:

   • Os autores derivam um framework teórico que decompõe a variância do gradiente em componentes dentro do regime ($\sigma^2_w$) e entre regimes ($\sigma^2_b$).
   • Insight Chave: Eles provam que a redução de variância decorrente do emparelhamento estruturado (Próximo+Distante) versus emparelhamento aleatório depende da razão $\sigma^2_b / \sigma^2_w$.
   • Descoberta Empírica: No 3DGS de captura híbrida, $\sigma^2_b \ll \sigma^2_w$. Isso implica que a regra específica de emparelhamento (estruturada versus aleatória) importa menos do que a mudança estrutural de renderizar duas vistas por passo. O benefício primário vem de reduzir pela metade a variância do estimador de gradiente ao usar duas vistas, em vez do operador de projeção geométrica específico.

3. Contribuições Principais

1. Diagnóstico de Conflito de Gradiente: O artigo quantifica que 33–83% dos tensores de parâmetros compartilhados exibem produtos internos negativos (conflito) entre vistas próximas e distantes durante o treinamento, estabelecendo isso como uma propriedade mensurável da captura híbrida.
2. Identificação da Alavanca Primária: Através de ablações extensivas, os autores demonstram que a mudança estrutural de renderizar duas vistas por passo do otimizador responde por 80–100% do ganho de desempenho.
   • Surpreendentemente, a regra específica de emparelhamento (Próximo/Distante estruturada, aleatória ou disparidade de perda ativa) produz resultados de PSNR estatisticamente indistinguíveis em todos os benchmarks.
   • Isso contradiz a intuição de que a cirurgia "consciente de direção" é o motor primário; em vez disso, a redução de variância da acumulação de duas vistas é dominante.
3. Resultados Negativos e Caracterização Honesta: O artigo relata que muitas técnicas sofisticadas de cirurgia de gradiente (GradNorm, CAGrad, MGDA, gateamento de confiança, emparelhamento ativo) caem dentro da variância de sementes de um simples controle de duas vistas aleatórias. Isso delimita o limite do que realmente move a agulha para o 3DGS de captura híbrida.
4. Transferência de Backbone: O método é mostrado como complementar a melhorias no nível de representação, transferindo com sucesso ganhos para Scaffold-GS e Pixel-GS.

4. Resultados Experimentais

O método foi avaliado em cinco benchmarks de captura híbrida: UC-GS (NYC/SF), MatrixCity e HorizonGS (Road/Park).

• Ganhos de Desempenho:
  • O CrossGrad-GS (backbone Vanilla) melhorou o PSNR em +1.01 dB (NYC), +2.51 dB (MatrixCity), +3.35 dB (Road) e +0.73 dB (Park) sobre o 3DGS Vanilla padrão de 30 mil iterações.
  • Crucialmente, superou um 3DGS Vanilla compatível em computação (60 mil iterações) em NYC, MatrixCity e Road, provando que o ganho não é meramente devido a ver mais vistas de treinamento, mas devido a um melhor balanceamento de gradientes.
• Insights de Ablaçao:
  • Duas Vistas vs. Uma Vista: Mover de 1 vista/passo para 2 vistas/passo fechou a lacuna para a baseline de 60 mil.
  • Regras de Emparelhamento: Emparelhamento estruturado Próximo/Distante, emparelhamento aleatório e emparelhamento ativo todos performaram dentro da variância de sementes.
  • Sensibilidade de Agrupamento: O método depende que a divisão Próximo/Distante corresponda aos regimes visuais verdadeiros. No UC-GS SF (layout de câmera anisotrópico), a divisão radial padrão falhou, destacando que o agrupamento é uma escolha crítica de modelagem, não apenas um detalhe de implementação.
• Resultados Qualitativos: O CrossGrad-GS recuperou com sucesso texturas de alta frequência em vistas próximas enquanto mantinha consistência global em vistas distantes, enquanto o 3DGS Vanilla colapsou para uma média desfocada ou perdeu um regime inteiramente.

5. Significado e Conclusão

• Mudança de Paradigma: O artigo desafia o foco predominante em operadores complexos de cirurgia de gradiente (como CAGrad ou PCGrad) para este problema específico. Ele argumenta que, para o 3DGS de captura híbrida, a redução de variância alcançada simplesmente processando duas vistas por passo é o fator dominante, tornando projeções complexas conscientes de direção amplamente redundantes (dentro do ruído estatístico).
• Impacto Prático: Fornece uma receita de treinamento simples e de baixo custo (renderizar 2 vistas, somar gradientes reconciliados) que aumenta significativamente o desempenho em conjuntos de dados aéreos-terrestres difíceis, sem exigir novas representações Gaussianas ou mudanças arquitetônicas pesadas.
• Contribuição Teórica: O framework de decomposição de variância oferece uma nova lente para entender quando a cirurgia de gradiente é necessária. Sugere que, se a variância entre regimes for baixa em relação à variância dentro do regime, a simples acumulação é suficiente, e a cirurgia complexa agrega pouco valor.

Em resumo, o artigo identifica que a falha na captura híbrida é primariamente um problema de agregação de gradientes do lado do treinamento melhor resolvido pela acumulação de duas vistas, com a estratégia específica de emparelhamento sendo secundária à mudança estrutural do loop de treinamento.