FUTON: Fourier Tensor Network for Implicit Neural Representations

Resumen Técnico: FUTON (Fourier Tensor Network)

1. El Problema

Las Representaciones Neuronales Implícitas (INR), también conocidas como campos neuronales, han surgido como una herramienta poderosa para codificar señales (imágenes, volúmenes, campos de radiancia) como funciones continuas parametrizadas por redes neuronales. Sin embargo, los diseños dominantes basados en Perceptrones Multicapa (MLP) presentan limitaciones críticas:

• Convergencia lenta: Requieren tiempos de entrenamiento prolongados.
• Sobreajuste (Overfitting): Son propensos a memorizar ruido si la regularización es insuficiente.
• Mala extrapolación: Tienen dificultades para generalizar a regiones no observadas, lo cual es crucial en problemas inversos.
• Falta de sesgos inductivos adecuados: Los MLPs carecen de sesgos alineados con la estructura de baja dimensión inherente a las señales naturales.

2. Metodología: FUTON

Los autores proponen FUTON (Fourier Tensor Network), una nueva arquitectura INR que aborda estos desafíos mediante una combinación de series de Fourier generalizadas y descomposición tensorial de bajo rango.

• Concepto Central: FUTON modela las señales como series de Fourier generalizadas, donde los coeficientes no se aprenden directamente como una matriz densa, sino que se parametrizan mediante una descomposición tensorial de bajo rango (específicamente, descomposición Canónica Polinomial o CP).
• Estructura Matemática:
  • La señal $s(x)$ se expresa como una combinación ponderada de funciones base ortonormales separables $\phi_k(x)$.
  • En lugar de un tensor de pesos completo $W \in \mathbb{R}^{K \times \dots \times K \times D}$ (que escala exponencialmente con la dimensión), FUTON descompone $W$ en una suma de $R$ tensores de rango 1:
    $$W = \sum_{r=1}^{R} u^{(1)}_r \otimes u^{(2)}_r \otimes \dots \otimes u^{(C)}_r \otimes v_r$$
  • Esto permite calcular la salida mediante contracciones tensoriales eficientes en tres etapas: proyección de vectores base, producto de Hadamard y mapeo final.
• Sesgos Inductivos Complementarios:
  1. Bases de Fourier: Capturan suavidad y periodicidad.
  2. Factorización de Bajo Rango: Enforza una estructura espectral de baja dimensión, aprovechando la correlación en el dominio de la frecuencia de las señales naturales.
• Complejidad Computacional:
  • A diferencia de la contracción tensorial directa que es $O(K^C D)$, FUTON logra una complejidad lineal $O(CKR + CR + DR)$ en la dimensión de entrada $C$ y salida $D$, gracias a la descomposición CP y un orden de contracción óptimo.

3. Contribuciones Clave

1. Nueva Arquitectura: Propuesta de FUTON, que integra series de Fourier con descomposición tensorial, ofreciendo una alternativa eficiente a los INRs basados en MLP.
2. Fundamentos Teóricos: Demostración de un teorema de aproximación universal, probando que FUTON puede representar cualquier función en $L^2$ con precisión arbitraria si se eligen adecuadamente la resolución de la base ($K$) y el rango ($R$).
3. Eficiencia Computacional: Establecimiento de una complejidad lineal en la inferencia, permitiendo la escalabilidad a señales de alta dimensión sin el costo exponencial de los tensores completos.
4. Rendimiento Superior: Validación experimental que demuestra mayor calidad de reconstrucción, convergencia más rápida y mejor generalización en comparación con el estado del arte (SOTA).

4. Resultados Experimentales

Los autores evaluaron FUTON en tareas de representación de señales y problemas inversos, comparándolo con baselines como ReLU+PE, SIREN, Gauss y WIRE.

• Representación de Imágenes (Dataset Kodak):
  • FUTON alcanzó un PSNR de 37.12 dB y SSIM del 96.54%, superando a WIRE (el mejor baseline anterior) en +3.43 dB de PSNR.
  • Velocidad: Entrenó 2-5 veces más rápido que los baselines, alcanzando alta calidad en los primeros segundos.
• Representación de Volúmenes (Estadua Tailandesa):
  • Logró un IoU del 99.67%, superando a WIRE (99.08%) y convergiendo más rápido.
• Problemas Inversos:
  • Super-resolución: Recuperó detalles de alta frecuencia mejor que la interpolación bilineal y otros INRs, con menos artefactos.
  • Denoising (Eliminación de ruido): Logró el PSNR más alto (27.04 dB) en imágenes con ruido de sensor, mostrando una regularización implícita efectiva que rechaza el ruido de alta frecuencia.
  • Reconstrucción CT: En tomografía computarizada de vista escasa, redujo significativamente los artefactos de rayas y mejoró la claridad de las estructuras anatómicas.

5. Significado e Impacto

FUTON representa un cambio de paradigma en el diseño de INRs al eliminar la necesidad de MLPs profundos para la representación de señales.

• Eficiencia: Demuestra que la estructura de bajo rango en el dominio de la frecuencia es suficiente para capturar la complejidad de las señales naturales, reduciendo drásticamente el número de parámetros y el tiempo de cómputo.
• Generalización: Su arquitectura "plana" y basada en bases fijas con coeficientes aprendidos evita el sobreajuste y mejora la generalización en problemas inversos donde los datos son incompletos o ruidosos.
• Aplicabilidad: Ofrece una solución práctica y escalable para aplicaciones que requieren alta fidelidad y velocidad, como la síntesis de vistas, la reconstrucción médica y la compresión de datos, posicionándose como una alternativa robusta y superior a los métodos basados en MLPs actuales.

En conclusión, FUTON unifica la teoría de series de Fourier con la eficiencia de las redes tensoriales, resolviendo los cuellos de botella de convergencia y generalización que han limitado a las representaciones neuronales implícitas tradicionales.