Adaptive Local Frequency Filtering for Fourier-Encoded Implicit Neural Representations

1. O Problema

As Representações Neurais Implícitas (INRs) são uma técnica poderosa para modelar sinais contínuos a partir de amostras discretas, mapeando coordenadas espaciais para valores de sinal (como cor ou distância) usando redes neurais. Para melhorar a capacidade de representar detalhes de alta frequência, é comum utilizar mapeamentos de recursos de Fourier (Fourier Feature Mappings), que projetam as coordenadas de entrada em um espaço de características de dimensão superior antes de serem processadas pela rede.

No entanto, a abordagem convencional enfrenta dois problemas principais:

1. Viés Espectral (Spectral Bias): Redes neurais tendem a aprender componentes de baixa frequência muito mais rápido do que detalhes de alta frequência.
2. Frequências Fixas Globais: Os mapeamentos de Fourier padrão utilizam um conjunto fixo de frequências para todo o domínio espacial. Isso é subótimo para sinais não estacionários (como imagens naturais), onde regiões suaves (céu, paredes lisas) dominam frequências baixas, enquanto bordas, texturas e estruturas finas exigem fortes respostas de alta frequência. Aplicar o mesmo conjunto de frequências em todos os locais introduz redundância em áreas simples e falha em capturar detalhes complexos em outras.

2. Metodologia Proposta

Os autores propõem um método chamado Filtragem Adaptativa de Frequência Local (AL-Filter). A ideia central é introduzir um mecanismo que modula a resposta de frequência dos recursos de Fourier codificados de forma dependente da posição espacial.

Componentes Principais:

• Parâmetro Adaptativo $\alpha(\mathbf{x})$: Em vez de usar frequências fixas, o método introduz um parâmetro aprendível $\alpha(\mathbf{x})$ que varia espacialmente. Este parâmetro é armazenado em uma grade aprendível e interpolado para cada coordenada de entrada.
• Filtro de Resposta em Banda: O parâmetro $\alpha(\mathbf{x})$ controla a resposta de um filtro aplicado aos canais de recursos de Fourier codificados. O filtro é formulado como a diferença entre duas funções sigmóides, permitindo comportamentos suaves de:
  • Filtro Passa-Baixas: Quando $\alpha(\mathbf{x})$ está próximo do início da faixa de canais (para regiões suaves).
  • Filtro Passa-Faixa: Quando $\alpha(\mathbf{x})$ está no meio da faixa (para texturas e bordas).
  • Filtro Passa-Altas: Quando $\alpha(\mathbf{x})$ está próximo do final da faixa (para detalhes finos).
• Modulação Elemento a Elemento: O vetor de recursos de Fourier codificados $\gamma(\mathbf{x})$ é multiplicado elemento a elemento pela resposta do filtro $H_B(\alpha(\mathbf{x}))$, resultando em recursos filtrados $\gamma'(\mathbf{x})$ que são então alimentados na MLP (Perceptron de Camadas Múltiplas).

Análise Teórica (NTK):

Os autores analisam o método sob a perspectiva do Kernel Tangente Neural (NTK). Eles demonstram que o filtro adaptativo reconfigura o espectro do kernel efetivo localmente.

• A análise mostra que o filtro atua como um reponderador dos autovalores do kernel para diferentes escalas de frequência.
• Em regiões onde $\alpha(\mathbf{x})$ ativa canais de alta frequência, os componentes de alta frequência do kernel recebem pesos maiores, acelerando a aprendizagem de detalhes locais.
• Em regiões suaves, o filtro suprime respostas de alta frequência desnecessárias, focando em componentes de baixa frequência.

3. Contribuições Principais

1. Mecanismo de Filtragem Adaptativa: Proposta de um método para INRs codificadas por Fourier que permite modulação de frequência espacialmente variável através de um parâmetro aprendível $\alpha(\mathbf{x})$.
2. Interpretação via NTK: Análise teórica que fornece uma visão interpretável de como o filtro remodela o espectro do kernel efetivo, explicando a melhoria na dinâmica de aprendizagem.
3. Visualização Intuitiva: A aprendizagem de $\alpha(\mathbf{x})$ fornece uma visualização direta das preferências de frequência do modelo em diferentes partes da imagem ou objeto, ajudando a explicar o comportamento em sinais não estacionários.
4. Desempenho Superior: Demonstração experimental de que o método supera bases de frequência fixa em qualidade de reconstrução e velocidade de convergência.

4. Resultados Experimentais

O método foi avaliado em três tarefas principais: ajuste de imagens 2D, representação de formas 3D e reconstrução a partir de dados esparsos.

• Ajuste de Imagens 2D:

  • Comparado com baselines como PE-MLP, SIREN, MFN e DINER.
  • O método alcançou os melhores resultados em PSNR, SSIM e LPIPS.
  • Curvas de convergência mostraram que o método atinge um PSNR final mais alto e converge mais rapidamente nas fases iniciais do treinamento.
  • Visualmente, preservou melhor estruturas de texto e bordas finas em comparação com os métodos de frequência fixa.

• Representação de Formas 3D (Campos de Distância Sinalizada - SDF):

  • Testado em modelos 3D complexos (Armadillo, Dragão, Lucy, Estátua Thai).
  • O método obteve a menor distância de Chamfer e o maior IoU (Interseção sobre União) em média.
  • Visualmente, conseguiu manter a suavidade em áreas planas (peitoral do armadillo) enquanto preservava detalhes geométricos complexos (pernas), algo que outros métodos tendiam a suavizar excessivamente ou introduzir ruído.

• Reconstrução com Dados Esparsos (Inpainting):

  • Testado com apenas 5% e 35% dos pixels observados.
  • A aplicação de uma penalidade de Variação Total (TV) na grade de $\alpha(\mathbf{x})$ ajudou a garantir suavidade nas áreas faltantes.
  • O método recuperou a estrutura geral e detalhes de textura mesmo com observações muito esparsas, e o mapa de $\alpha(\mathbf{x})$ aprendido refletiu corretamente a necessidade de alta frequência apenas nas bordas e texturas.

5. Significado e Conclusão

Este trabalho oferece uma melhoria prática e significativa para as Representações Neurais Implícitas codificadas por Fourier. Ao substituir a suposição de estacionariedade (frequências fixas globais) por um mecanismo de controle de frequência local explícito e adaptativo, o método resolve o descompasso entre a codificação global e a natureza variável dos sinais naturais.

A principal contribuição teórica é a demonstração de que a modulação local de frequência pode ser entendida como uma reponderação do espectro do kernel, acelerando a aprendizagem de detalhes onde necessário sem sacrificar a estabilidade em regiões suaves. Isso abre caminho para métodos de reconstrução mais robustos e interpretáveis em cenários onde a complexidade espectral varia espacialmente, como em imagens médicas, modelagem 3D de objetos complexos e cenas dinâmicas.