Resumen Técnico: Puerta Espectral mediante Oscilaciones Amortiguadas para Representaciones Neurales Implícitas Adaptativas

1. Planteamiento del Problema

Las Representaciones Neuronales Implícitas (INR) codifican señales continuas (imágenes, audio, formas) en los pesos de redes neuronales basadas en coordenadas. Un desafío fundamental en este dominio es el dilema espectral:

• Activaciones periódicas (p. ej., SIREN) poseen un ancho de banda infinito, lo que permite la representación de detalles de alta frecuencia. Sin embargo, actúan como filtros de paso completo sin regularización intrínseca, lo que las hace susceptibles de memorizar el ruido y sufrir una convergencia inestable (sobreimpulso o overshooting).
• Activaciones espacialmente compactas (p. ej., Gaussianas) proporcionan una regularización y suavidad inherentes, pero sufren de un fuerte sesgo de baja frecuencia, lo que limita su capacidad para capturar contenido fino o de naturaleza oscilatoria.
• Los intentos existentes para resolver este compromiso (p. ej., WIRE, FINER, Reparametrización de Fourier) suelen introducir una sobrecarga computacional, requieren el ajuste de hiperparámetros específicos de la tarea o carecen de un mecanismo formal para adaptar el ancho de banda de forma robusta frente al ruido.

Los autores postulan que ningún método existente proporciona un mecanismo para adaptar dinámicamente el ancho de banda espectral de la red durante el entrenamiento para distinguir entre el contenido de la señal coherente y el ruido aleatorio sin regularización explícita.

2. Metodología: Oscilador Armónico Forzado Amortiguado (FDHO)

El método propuesto modela la activación de cada neurona como la respuesta en estado estacionario de un oscilador armónico amortiguado y forzado sinusoidalmente.

Definición de la Activación

Dados los parámetros aprendibles $\theta = (\omega, \omega_n, \xi, \varphi)$, donde $\omega$ es la frecuencia de forzamiento, $\omega_n$ es la frecuencia natural y $\xi$ es el factor de amortiguación, la función de activación $\sigma: \mathbb{R} \to \mathbb{R}$ se define como:
$$\sigma(z; \theta) = A(\omega, \omega_n, \xi) \sin(\omega z + \varphi)$$
La amplitud $A$ se deriva de la función de transferencia de un sistema lineal de segundo orden:
$$A(\omega, \omega_n, \xi) = \frac{\omega_n^2}{\sqrt{(\omega_n^2 - \omega^2)^2 + (2\xi\omega_n\omega)^2}}$$
Crucialmente, la amplitud no es un parámetro libre, sino que está físicamente acoplada a las frecuencias y al amortiguamiento. La red optimiza conjuntamente los parámetros del oscilador $\theta$ junto con los pesos estándar $(W, b)$.

Mecanismo de Puerta Espectral

La contribución teórica central es la derivación de una regularización espectral implícita a través de la dinámica de gradiente del factor de amortiguación $\xi$.

• Descomposición del Gradiente: El gradiente de la pérdida de reconstrucción $\mathcal{L}$ con respecto a $\xi$ se descompone en dos términos en competencia:
  1. Término de auto-interacción ($T_{self}$): Siempre negativo, empuja a $\xi$ a aumentar (estrechando el ancho de banda). Actúa como una fuerza regularizadora.
  2. Término de la señal ($T_{signal}$): Proporcional a la correlación entre la señal objetivo y la frecuencia portadora. Es positivo solo cuando la señal contiene energía coherente en la frecuencia portadora, empujando a $\xi$ a disminuir (ensanchando el ancho de banda).
• La Condición de Puerta: La puerta espectral se abre (permitiendo contenido de alta frecuencia) si y solo si la correlación de la señal supera un umbral determinado por la auto-interacción.
  • Señal Coherente: La puerta se abre, permitiendo que la red se ajuste a la frecuencia.
  • Ruido Aleatorio: La correlación es cercana a cero; el término de auto-interacción predomina, manteniendo la puerta cerrada y evitando la memorización del ruido.
  • Frecuencia Desajustada: La puerta permanece cerrada debido a la ortogonalidad.

Currículo de Aprendizaje de Grueso a Fino

El método se inicializa con parámetros que colocan al sistema en la "banda de parada" (baja amplitud, alto amortiguamiento). A medida que el entrenamiento progresa y el paisaje de pérdida demanda un contenido de frecuencia más rico, el ancho de banda se expande naturalmente. Esto crea un currículo de aprendizaje de grueso a fino sin programación (scheduling) explícita: la red captura primero las estructuras de baja frecuencia y admite los detalles de alta frecuencia solo cuando están justificados por el objetivo de reconstrucción.

Composición Multicapa

En redes profundas, la cascada de estas capas produce una señal modulada en frecuencia. El índice de modulación efectivo en la capa $\ell$ es $\beta_\ell = \omega_\ell w_\ell \prod_{k=1}^{\ell-1} A_k$. Dado que las amplitudes $A_k$ son aprendibles y dependen del amortiguamiento, la red obtiene un control explícito sobre su ancho de banda armónico en cada profundidad, extendiendo los armónicos gobernados por la función de Bessel observados en SIREN hacia un régimen aprendible.

3. Principales Contribuciones

1. Activación Basada en la Física: Una función de activación novedosa derivada de la respuesta en estado estacionario de un oscilador armónico amortiguado, que introduce un acoplamiento físico entre la amplitud y la frecuencia.
2. Puerta Espectral Implícita: Una prueba teórica (Corolario 1) que demuestra que la dinámica de gradiente del factor de amortiguación distingue naturalmente entre la señal coherente y el ruido aleatorio, rechazando el ruido sin penalizaciones de pérdida explícitas ni cambios arquitectónicos.
3. Ancho de Banda Adaptativo: Un mecanismo donde la red ajusta autónomamente su selectividad espectral durante el entrenamiento, eliminando la necesidad de ajustes de hiperparámetros específicos de la tarea.
4. Marco Unificado: Una arquitectura y un conjunto de parámetros únicos que rinden de manera competitiva en diversas tareas (ajuste de señales, eliminación de ruido, inpainting, super-resolución, reconstrucción de TC) sin modificaciones.

4. Resultados Experimentales

Los autores evaluaron FDHO frente a ocho INRs establecidos (SIREN, Gauss, WIRE, FINER, BACON, MFN, Fourier Features, FR) en múltiples tareas.

• Ajuste de Señales y Audio: FDHO alcanzó el PSNR final más alto en todas las señales 1D y clips de audio probados (Bach, Counting). A diferencia de SIREN, que a menudo mostraba una gran brecha entre el rendimiento pico y el final (indicando inestabilidad/sobreimpulso), FDHO demostró una convergencia estable.
• Ajuste de Imágenes: FDHO logró resultados de vanguardia o competitivos en cinco imágenes diversas, superando a menudo a SIREN y FINER por márgenes significativos (por ejemplo, hasta 10 dB en la imagen "Bikers"). Eliminó el comportamiento de "sobreimpulso y decaimiento" típico de SIREN.
• Eliminación de Ruido (Denoising): En tareas de eliminación de ruido de imagen (sin pérdidas de eliminación de ruido explícitas), FDHO superó significativamente a todos los modelos de referencia. Logró separar la señal del ruido puramente a través de su sesgo inductivo, mientras que SIREN y otros degradaron al nivel de los métodos con sesgo de baja frecuencia.
• Reconstrucción de TC (CT): FDHO lideró en la reconstrucción de escaneos de TC a partir de proyecciones ruidosas y dispersas, logrando casi 3 dB más de PSNR que el segundo mejor método (MFN), demostrando robustez tanto al ruido como a la naturaleza mal planteada del problema.
• Inpainting y Super-Resolución: FDHO se mantuvo competitivo, igualando o superando a SIREN en inpainting y logrando resultados superiores en super-resolución, aunque mostró un rendimiento ligeramente inferior en texturas altamente regulares y repetitivas donde los métodos de periodicidad variable (FINER) sobresalen.
• Ajuste de SDF: FDHO fue competitivo en la reconstrucción de formas 3D, particularmente en geometrías complejas donde superó a SIREN.

Costo Computacional: FDHO introduce una sobrecarga de parámetros insignificante (un aumento del 0.007% sobre SIREN) y un aumento moderado en el tiempo de entrenamiento (~1.4x SIREN), principalmente debido a la configuración del optimizador dual y la programación de la tasa de aprendizaje, pero permanece dentro del rango de las INR complejas existentes.

5. Significado y Reivindicaciones

El artículo afirma que FDHO resuelve el dilema espectral al integrar el control espectral directamente en la estructura diferenciable de la activación. La principal significancia reside en la robustez y adaptabilidad del método:

• Rechazo de Ruido: El método proporciona un mecanismo formal para el rechazo de ruido que no depende de techos espectrales fijos o regularización explícita.
• Estabilidad: Al acoplar la amplitud a la frecuencia mediante una función de transferencia física, el método evita las soluciones degeneradas y la deriva de parámetros observadas en las variantes de "SIREN adaptativa" donde los parámetros están desacoplados.
• Generalización: El enfoque requiere ningún ajuste de hiperparámetros específico de la tarea, y aun así logra resultados de vanguardia o competitivos en un amplio espectro de problemas inversos y tipos de señales.

Los autores concluyen que la interacción entre el diseño de la activación y la dinámica de entrenamiento es central para el rendimiento de las INR, y que derivar activaciones a partir de sistemas físicos con propiedades de puerta espectral demostrables ofrece un camino principista hacia adelante. Reconocen que, si bien el método sobresale en entornos ruidosos y mal planteados, puede ofrecer menos ventaja en escenarios con observaciones limpias, espacialmente incompletas o texturas altamente regulares donde la puerta espectral es menos crítica. El trabajo futuro incluye extender la formulación a parámetros por neurona y formalizar más la dinámica de gradiente multicapa.