FUTON: Fourier Tensor Network for Implicit Neural Representations

Título: FUTON: Rede Tensorial de Fourier para Representações Neurais Implícitas

1. O Problema

As Representações Neurais Implícitas (INRs), também conhecidas como campos neurais, tornaram-se uma ferramenta poderosa para codificar sinais contínuos (imagens, volumes, campos de radiância) como funções parametrizadas por redes neurais. No entanto, as abordagens dominantes baseadas em Multilayer Perceptrons (MLPs) apresentam limitações críticas:

• Convergência Lenta: O treinamento exige tempos longos para atingir alta qualidade.
• Sobreajuste (Overfitting): São suscetíveis a memorizar ruído quando a regularização é insuficiente.
• Má Extrapolacão: Desempenham mal em regiões não observadas, o que é crítico para problemas inversos (como super-resolução e reconstrução médica).
• Viés Espectral: MLPs tradicionais tendem a aprender frequências baixas primeiro, dificultando a captura de detalhes finos e estruturas de alta frequência.

Esses problemas surgem porque os MLPs carecem de vieses indutivos alinhados com a estrutura de baixa dimensão inerente aos sinais naturais no domínio da frequência.

2. Metodologia: FUTON

Os autores propõem o FUTON (Fourier Tensor Network), uma arquitetura inovadora que modela sinais como uma série de Fourier generalizada, onde os coeficientes são parametrizados por uma decomposição tensorial de baixo posto.

Principais Componentes:

• Série de Fourier Generalizada (GFS): Em vez de aprender mapeamentos não lineares arbitrários, o FUTON expressa o sinal $s(x)$ como uma combinação ponderada de funções base ortonormais separáveis:
  $$\hat{s}_K(x) = \sum_{k \in \mathcal{K}} w^{(k)} \phi_k(x)$$
  Onde $\phi_k(x)$ são funções base (ex: cossenos) e $w^{(k)}$ são os coeficientes.
• Decomposição Tensorial (CP): O tensor de coeficientes de alta dimensão $W$ (que mapeia as bases para as saídas) é fatorado usando a decomposição Canonical Polyadic (CP). Isso representa $W$ como uma soma de $R$ tensores de posto 1:
  $$W = \sum_{r=1}^R u^{(1)}_r \otimes u^{(2)}_r \otimes \dots \otimes u^{(C)}_r \otimes v_r$$
  Onde $C$ é a dimensão de entrada, $D$ a de saída, e $R$ é o posto da decomposição.
• Eficiência Computacional: Ao invés de calcular o produto direto entre o tensor de características $\Phi(x)$ e o tensor de pesos $W$ (que teria complexidade exponencial $O(K^C D)$), o FUTON utiliza uma ordem de contração ótima. Isso reduz a complexidade para linear em relação às dimensões de entrada e saída: $O(CKR + CR + DR)$.
• Vieses Indutivos Combinados:
  • As bases de Fourier capturam suavidade e periodicidade.
  • A parametrização de baixo posto impõe uma estrutura espectral de baixa dimensão, atuando como um prior intrínseco que evita o sobreajuste a ruído.

3. Contribuições Principais

1. Nova Arquitetura: Proposta do FUTON, que substitui os MLPs profundos por uma estrutura rasa baseada em séries de Fourier fatoradas, eliminando a necessidade de camadas ocultas complexas.
2. Fundamentação Teórica: Prova de um teorema de aproximação universal, garantindo que o FUTON pode representar qualquer função $L^2$ com precisão arbitrária, desde que a resolução da base ($K$) e o posto ($R$) sejam suficientemente grandes.
3. Eficiência Computacional: Estabelecimento de complexidade linear no tempo de inferência e treinamento, permitindo escalabilidade para sinais de alta dimensão (como volumes 3D).
4. Desempenho Superior: Demonstração experimental de que o FUTON supera os métodos baseados em MLPs em qualidade de reconstrução, velocidade de convergência e generalização.

4. Resultados Experimentais

Os autores avaliaram o FUTON em tarefas de representação de sinais e problemas inversos, comparando-o com state-of-the-art (SOTA) como SIREN, WIRE, Gauss e ReLU+PE.

• Representação de Imagens (Dataset Kodak):
  • O FUTON alcançou 37.12 dB de PSNR e 96.54% de SSIM, superando o melhor baseline (WIRE) em +3.43 dB de PSNR.
  • Velocidade: Treinou 2x a 5x mais rápido que os baselines, convergindo para alta qualidade em poucos segundos.
• Representação de Volumes de Ocupação (Thai Statue):
  • Alcançou 99.67% de IoU, superando o WIRE (99.08%) com superfícies mais suaves e menos artefatos.
• Problemas Inversos:
  • Super-resolução (4x): Recuperou detalhes de alta frequência com maior fidelidade que interpolação bilinear e outros métodos neurais (30.74 dB vs 30.54 dB do WIRE).
  • Denoising: Removeu ruído de sensor preservando bordas e texturas, alcançando 27.04 dB, superando o WIRE em 0.53 dB.
  • Reconstrução CT (Tomografia Computadorizada): Reduziu artefatos de "streak" típicos de reconstrução com poucos ângulos, produzindo estruturas anatômicas mais claras (29.18 dB).

5. Significado e Impacto

O FUTON representa uma mudança de paradigma na área de INRs. Ao abandonar a abordagem puramente baseada em MLPs e adotar uma estrutura algébrica explícita (séries de Fourier + tensores), o método resolve o dilema entre capacidade expressiva e eficiência.

• Generalização: A estrutura de baixo posto atua como um regularizador natural, permitindo que o modelo generalize bem para dados não vistos, essencial para aplicações médicas e de visão computacional.
• Escalabilidade: A complexidade linear permite a aplicação em tarefas de dimensões mais altas (vídeo, campos de radiância neural 4D) onde os MLPs se tornam computacionalmente proibitivos.
• Praticidade: Oferece um equilíbrio superior entre qualidade de reconstrução e tempo de treinamento, tornando-se uma alternativa viável e robusta para sistemas de produção que exigem rapidez e precisão.

Em resumo, o FUTON demonstra que incorporar conhecimento de domínio (análise de Fourier e estrutura de baixo posto) diretamente na arquitetura da rede é mais eficiente do que tentar aprender essas propriedades apenas através de camadas densas de MLPs.