ConFi-GS Confidence-Guided High-Frequency Injection for 3D Gaussian Splatting Super-Resolution

Resumo Técnico: ConFi-GS: Injeção de Alta Frequência Guiada por Confiança para Super-Resolução em 3D Gaussian Splatting

Declaração do Problema
A reconstrução de cenas 3D de alta qualidade a partir de imagens multiview de baixa resolução usando 3D Gaussian Splatting (3DGS) é prejudicada por observações de alta frequência insuficientes, levando a texturas desfocadas, bordas fracas e detalhes inconsistentes entre as vistas. Embora as abordagens existentes tentem resolver isso aplicando orientação de super-resolução (SR) de forma uniforme ou localizando o aprimoramento com base na amostragem geométrica, elas falham em distinguir entre duas questões críticas: onde detalhes adicionais são necessários e se o conteúdo de alta frequência candidato correspondente é confiável o suficiente para ser internalizado em uma representação 3D consistente entre múltiplas vistas. A imposição direta de detalhes super-resolvidos sem avaliação de confiabilidade pode introduzir artefatos específicos de cada vista, nitidez sem suporte estrutural e texturas alucinadas que degradam a consistência da representação 3D.

Metodologia
Os autores propõem o ConFi-GS, um framework de modelagem de frequência consciente de confiabilidade que reformula a reconstrução 3DGS de baixa resolução como um problema de injeção seletiva de detalhes. O framework opera através de quatro componentes coordenados:

1. Estimativa de Demanda de Detalhes Guiada por Geometria:
   O método primeiro pré-treina um modelo base 3DGS em entradas de baixa resolução para estimar um "prior de demanda de detalhes". Ele analisa a razão de amostragem entre vistas de cada primitiva Gaussiana. Se uma Gaussiana for amostrada em uma escala similar e insuficiente em todas as vistas (razão de amostragem baixa), ela é sinalizada como subdetalhada. Isso gera um mapa de demanda de detalhes específico de cada vista ($D_t$) que destaca regiões provavelmente carentes de detalhes recuperáveis, independentemente da confiabilidade dos detalhes candidatos.

2. Avaliação de Confiabilidade Consciente de Frequência:
   Para determinar se detalhes de alta frequência candidatos de uma referência super-resolvida são confiáveis, o framework computa um mapa de confiabilidade ($C^t_{rel}$) baseado em três indícios:

   • Suporte Estrutural ($E_t$): Mede o alinhamento com bordas locais na referência super-resolvida para garantir que os detalhes não sejam sem suporte estrutural.
   • Evidência Não Resolvida ($G_t$): Quantifica a discrepância de alta frequência entre a renderização atual e a referência super-resolvida usando um operador de passa-alta no domínio de Fourier, identificando conteúdo espectral que está faltando, mas potencialmente recuperável.
   • Consistência entre Vistas ($X_t$): Penaliza detalhes que são instáveis quando reprojetados entre vistas vizinhas, filtrando artefatos específicos de cada vista.
     O mapa de injeção de detalhes final ($M_t$) é o produto elemento a elemento do mapa de demanda e do mapa de confiabilidade, garantindo que a supervisão seja aplicada apenas onde o detalhe é tanto necessário quanto confiável.

3. Regularização Progressiva Seletiva de Frequência:
   Em vez de impor correspondência de frequência de banda completa imediatamente, o método emprega um cronograma de grosso para fino. Ele aplica perda de espectro de amplitude ($L_{amp}$) e perda de espectro de fase ($L_{ph}$) em nível de patch apenas a regiões com pesos altos em $M_t$. A perda de amplitude é introduzida cedo para estabilizar a aparência grosseira, enquanto a perda de fase, mais sensível, é ativada mais tarde, uma vez que a geometria está estável. Isso impede que o modelo ajuste sinais pseudo-alta frequência instáveis durante a otimização inicial.

4. Densificação de Gaussianas Consciente de Confiabilidade:
   Para garantir que a representação tenha a capacidade de absorver detalhes confiáveis, os autores introduzem uma estratégia de densificação guiada por uma pontuação conjunta ($S_i$) que combina demanda geométrica ($U_i$), resíduos espectrais ponderados por confiabilidade ($F_i$) e complexidade estrutural local ($H_i$). Isso direciona a divisão e clonagem de Gaussianas especificamente para regiões onde existem detalhes não resolvidos e confiáveis, em vez de depender apenas de gradientes genéricos no espaço da imagem.

Principais Contribuições

1. Formulação do Problema Consciente de Confiabilidade: O artigo separa explicitamente "demanda de detalhes" de "confiabilidade de detalhes", abordando a ambiguidade fundamental na reconstrução 3D de baixa resolução onde a falta de detalhe não garante que os candidatos super-resolvidos sejam confiáveis.
2. Estimativa em Duas Etapas: Introduz um estimador de demanda guiado por geometria seguido por uma avaliação de confiabilidade consciente de frequência que avalia suporte estrutural, resolução espectral e estabilidade entre vistas para produzir um mapa de injeção de detalhes preciso.
3. Esquema de Otimização Unificado: O framework integra regularização progressiva seletiva de frequência e densificação de Gaussianas consciente de confiabilidade, permitindo a internalização gradual e estrutural de detalhes de alta frequência confiáveis na representação 3D.

Resultados Experimentais
O método foi avaliado em benchmarks padrão, incluindo Tanks & Temples, Deep Blending e Mip-NeRF 360, sob configurações de super-resolução 2× e 4×.

• Desempenho Quantitativo: O ConFi-GS alcançou desempenho state-of-the-art em múltiplas métricas (PSNR, SSIM, LPIPS, FID, CMMD, DreamSim) em comparação com baselines como 3DGS padrão (LR), Mip-Splatting, SRGS (SR uniforme) e SplatSuRe (SR guiada por geometria). Por exemplo, em Tanks & Temples (4×), alcançou um PSNR de 24,08 e LPIPS de 0,270, superando o SplatSuRe (23,84 PSNR, 0,273 LPIPS).
• Melhorias Qualitativas: Comparações visuais demonstraram reconstruções mais nítidas ao redor de bordas finas e áreas texturizadas, enquanto suprimiam efetivamente artefatos de alta frequência e detalhes inconsistentes entre vistas que afligiam outros métodos.
• Estudos de Ablação: A remoção de qualquer componente (avaliação de confiabilidade, regularização progressiva ou densificação consciente de confiabilidade) resultou em degradação significativa do desempenho, confirmando a necessidade complementar de cada módulo. Especificamente, a remoção da avaliação de confiabilidade levou à absorção de detalhes inconsistentes entre vistas, enquanto a remoção do agendamento progressivo desestabilizou a otimização inicial.

Significado e Alegações
O artigo alega que o ConFi-GS muda o paradigma do aprimoramento 3DGS de baixa resolução de "amplificação direta de detalhes" para "internalização consciente de confiabilidade de detalhes". Ao filtrar explicitamente sinais de alta frequência não confiáveis antes que sejam internalizados na representação 3D, o método alcança um equilíbrio entre recuperação de textura de alta fidelidade e consistência estrutural entre múltiplas vistas. Os autores enfatizam que sua abordagem não imita meramente texturas de imagem super-resolvidas, mas integra progressivamente detalhes confiáveis em uma representação de cena 3D estável. Embora reconheça limitações, como dependência da qualidade externa de SR e tempo de treinamento adicional, o trabalho estabelece um framework para integração de detalhes consciente de evidências que aborda a ambiguidade central entre demanda de detalhes e confiabilidade na reconstrução 3D.