Low-Cost Neural Radiance Fields

Resumo Técnico: Campos Radiantes Neurais de Baixo Custo

Declaração do Problema
Os Campos Radiantes Neurais (NeRF) estabeleceram um padrão elevado para a síntese de novas visualizações, mas sofrem com tempos de treinamento proibitivos e uma forte dependência de visualizações de entrada densas. Essas restrições limitam a acessibilidade do NeRF para usuários com recursos computacionais ou disponibilidade de dados limitados. O principal desafio abordado neste trabalho é como acelerar o treinamento do NeRF e reduzir os requisitos de dados sem sacrificar significativamente a qualidade da reconstrução.

Metodologia
Os autores conduziram um estudo comparativo de três variantes aceleradas de NeRF — DS-NeRF, TensoRF e HashNeRF — sob regimes de computação e dados restritos. O estudo envolveu a implementação dessas linhas de base e a proposição de modificações específicas de arquitetura e treinamento:

1. TensoRF com Supervisão de Profundidade (TensoRF-DS):

   • Abordagem: Os autores integraram um termo de função de perda supervisionado por profundidade ao framework TensoRF. Os valores de profundidade verdadeiros foram derivados de pontos-chave do COLMAP (localizações 3D e coordenadas de pixels 2D).
   • Função de Perda: Uma perda de profundidade com Erro Quadrático Médio (MSE) ($L_{\hat{D}}$) foi calculada entre a profundidade estimada pelo modelo e a verdade fundamental derivada do COLMAP. Isso foi combinado com a perda de cor padrão do NeRF ($L_{\hat{C}}$) usando um hiperparâmetro de ponderação $\lambda_i$.
   • Conjunto de Dados: Os experimentos foram conduzidos no conjunto de dados LLFF, utilizando um regime de "baixa quantidade de dados" com apenas 9 imagens (4 de treinamento, 4 de teste, 1 de validação) em comparação com o conjunto de dados completo.

2. Ablação e Subamostragem do TensoRF:

   • Subamostragem: Para caber nos orçamentos de memória e reduzir o tempo de execução, os autores subamostraram as imagens de entrada por um fator de 4.
   • Ablação de Arquitetura: O Perceptron Multicamada (MLP) de decodificação de características do TensoRF foi modificado adicionando ou removendo camadas lineares para determinar o impacto na Razão Sinal-Ruído de Pico (PSNR) e no tempo de execução.

3. Variantes Arquiteturais do HashNeRF:

   • Abordagem: Os autores propuseram quatro modificações arquiteturais às redes de cor e densidade seguindo a codificação de hash multirresolução.
   • Variações:
     • Substituir camadas lineares por camadas convolucionais 1D para reduzir parâmetros.
     • Adicionar conexões residuais da entrada inicial para camadas subsequentes nos MLPs de sigma e cor.
     • Adicionar conexões residuais de camadas alternadas (duas camadas anteriores) para preservar informações espaciais.
     • Aprofundar a rede para ajustar finamente as variações de cor.
   • Avaliação: Os modelos foram avaliados na cena sintética Lego e comparados à linha de base usando PSNR e tempo de treinamento em orçamentos fixos de iterações (500 e 1000 iterações).

Principais Resultados

• TensoRF-DS: A adição de supervisão de profundidade ao TensoRF sob condições de baixa quantidade de dados produziu melhoria negligenciável. Enquanto a linha de base de baixa quantidade de dados sofreu uma queda significativa de desempenho (PSNR de Teste de 15,23 versus 26,32 para dados completos), a variante supervisionada por profundidade melhorou o PSNR de Teste apenas em 0,01 (15,24). As visualizações indicaram que, embora as saídas de cor fossem semelhantes, a estrutura de profundidade subjacente permanecia incompleta, e os gradientes da perda de profundidade afetaram apenas uma pequena porção do espaço de voxels devido à escassez de pontos-chave do COLMAP em relação às comparações de pixels.
• Subamostragem do TensoRF: A subamostragem das entradas por um fator de 4 permitiu que o modelo alcançasse um PSNR de Teste de 31,297 em apenas 2.500 iterações (treinado em menos de 10 minutos), comparável ao desempenho do NeRF original, mas com custo computacional significativamente reduzido. Estudos de ablação no MLP de decodificação de características não mostraram ganhos de desempenho significativos ao alterar a contagem de camadas, sugerindo que a arquitetura padrão já é eficiente.
• Variantes do HashNeRF: Entre as quatro variantes arquitetônicas propostas, a rede mais profunda (Variação 4) alcançou o maior PSNR de 27,119 em 1.000 iterações. No entanto, isso permaneceu abaixo do PSNR de 28,2 relatado pelos autores originais do HashNeRF sob sua configuração padrão. Quando permitido treinar até a convergência, a rede proposta superou a linha de base, mas sob avaliação iso-tempo (iterações fixas), não superou conclusivamente a linha de base publicada.

Significado e Alegações
O artigo conclui que, sob avaliação iso-tempo, nenhuma das extensões propostas superou conclusivamente as linhas de base publicadas. No entanto, o trabalho serve para caracterizar quais extensões são viáveis para configurações restritas e para trazer à tona questões de design para pesquisas futuras.

• Praticidade da Subamostragem: O estudo valida a subamostragem como uma técnica eficaz para melhorar a eficiência computacional sem comprometer significativamente a qualidade, tornando o TensoRF mais acessível a pesquisadores com hardware limitado.
• Limitações da Supervisão de Profundidade: Os resultados destacam que simplesmente adicionar supervisão de profundidade ao TensoRF com dados esparsos é insuficiente; a escassez de pontos de profundidade verdadeiros limita a propagação de gradientes necessária para melhorar a reconstrução volumétrica.
• Direções Futuras: Os autores sugerem que trabalhos futuros poderiam envolver o cálculo de malhas verdadeiras 3D em mais pontos para utilizar melhor a supervisão de profundidade, estender o orçamento de iterações para verificar se as lacunas de desempenho se fecham com mais treinamento e conduzir estudos de ablação mais completos sobre componentes do TensoRF.

Em última análise, o artigo posiciona-se como um estudo comparativo que identifica os limites das adaptações atuais de NeRF de baixo custo, observando que, embora melhorias específicas não tenham sido alcançadas sob restrições de tempo rigorosas, os experimentos fornecem uma base para entender como esses modelos se comportam em ambientes com recursos limitados.