Resumen Técnico: FiRe (Reparametrización de Frecuencia)

1. Planteamiento del Problema

Las Representaciones Neuronales Implícitas (INR) periódicas, como SIREN y FINER, están diseñadas para codificar señales continuas mediante la sustitución de las funciones de activación ReLU estándar por funciones sinusoidales. Sin embargo, estas arquitecturas sufren de sesgo espectral (spectral bias), un fenómeno donde el descenso de gradiente ajusta naturalmente primero los componentes de baja frecuencia de una señal, mientras que los detalles de alta frecuencia (texturas finas, bordes nítidos) se recuperan lentamente.

La limitación central de las INR periódicas existentes es que asignan un multiplicador de frecuencia global único ($\omega_0$) a cada neurona. Este enfoque asigna de manera ineficiente el presupuesto representacional porque diferentes partes de una señal (por ejemplo, un borde nítido frente a un fondo suave) requieren diferentes frecuencias locales. Aunque métodos como FINER intentan hacer que la frecuencia dependa de la entrada alimentando la envolvente de frecuencia con las magnitudes de la pre-activación, siguen dependiendo de parámetros globales fijos o estructuras de activación específicas. El desafío consiste en hacer que la frecuencia por neurona sea aprendible y dependiente de la entrada sin simplemente aumentar el multiplicador de frecuencia global (lo que cambiaría la clase de la función) o añadir parámetros excesivos.

2. Metodología: FiRe (Reparametrización de Frecuencia)

FiRe introduce un mecanismo para reparametrizar la frecuencia de las INR periódicas asignando una escala de frecuencia acotada y dependiente de la entrada a cada neurona.

Mecanismo Central

En lugar de integrar la frecuencia en la matriz de pesos principal, FiRe inserta una vía de compuerta de bajo rango (low-rank gating path) que multiplica la pre-activación antes de la función de activación.
Para una activación SIREN estándar $h = \sin(\omega_0(Wx + b))$, FiRe modifica esto a:
$$h = \sin(\omega_0 \cdot s(x) \odot (Wx + b))$$
Donde $s(x) \in (0, 2)$ es una compuerta aprendida implementada como un cuello de botella de bajo rango:
$$s(x) = 2 \sigma(U_{\uparrow} U_{\downarrow} x + b_{\uparrow})$$
Aquí, $U_{\uparrow}$ y $U_{\downarrow}$ son matrices de bajo rango, y $\sigma$ es la sigmoide logística. Esta estructura asegura que la frecuencia permanezca acotada y estable.

Inicialización y Controles

• Inicialización: La compuerta se inicializa de tal manera que $U_{\uparrow} = 0$ y $b_{\uparrow} = 1$, lo que resulta en un valor de compuerta constante $s_i \approx 1.46$ al inicio. Esto asegura que FiRe comience como una red periódica estándar con una frecuencia escalada.
• Ecualización de Frecuencia ($w_{scale}$): Para asegurar que las mejoras de rendimiento no se deban simplemente a un mayor multiplicador de frecuencia global, los autores emplean un control de reescalado de pesos. Los pesos de la red base se escalan por $1/1.46$ para que la frecuencia realizada por neurona de la red base coincida exactamente con la de FiRe en la inicialización.
• Igualdad de Parámetros: Las bases se ensanchan para igualar el recuento de parámetros de FiRe (añadiendo un exceso del 1.4% al 7.7% dependiendo del rango), asegurando que las ganancias no se deban a un aumento de la capacidad.

3. Mecanismo Teórico: Descomposición NTK

El artículo proporciona una explicación teórica basada en el Kernel de Tangente Neuronal (NTK).

• Descomposición Aditiva: Debido a que los parámetros de la vía de la compuerta ($\theta_g$) y los parámetros de la vía de la portadora/señal ($\theta_c$) son disjuntos, el NTK empírico ($K$) se descompone exactamente en una suma aditiva:
  $$K = K_c + K_g$$
• Preacondicionamiento Implícito: La vía de la compuerta contribuye con un bloque semidefinido positivo ($K_g$) al kernel. Aunque la compuerta es funcionalmente constante en la inicialización, su gradiente con respecto a sus propios parámetros es distinto de cero. Esto añade nuevas direcciones tangentes al paisaje de optimización sin alterar el mapa de la función (forward map).
• Efectos Espectrales: Por la desigualdad de Weyl, añadir $K_g$ eleva los autovalores del kernel total. Esto aumenta el rango efectivo del espacio tangente (un 23–44% en experimentos) y mejora el condicionamiento del problema de optimización en la inicialización.
• Implicación de Convergencia: En el régimen de NTK "perezoso" (lazy), un kernel con mayores autovalores y mayor rango efectivo permite que el error residual decaiga más rápido a lo largo de más direcciones propias. Esto explica por qué FiRe acelera la convergencia temprana de la optimización, específicamente para los componentes de alta frecuencia, que corresponden a los modos propios de decaimiento más lento.

4. Resultados Clave

Los autores evaluaron FiRe en tareas de ajuste de imágenes 2D utilizando los conjuntos de datos DIV2K y Kodak en varias resoluciones (256², 512², 1024²) y rangos.

• Aceleración de la Convergencia: FiRe supera significativamente a las bases con parámetros igualados en las etapas tempranas del entrenamiento (presupuestos cortos típicos del ajuste de INR).
  • A una resolución de 256², FiRe-SIREN y FiRe-FINER lograron ganancias de +0.5 a +0.7 dB en PSNR sobre las bases a las 2000 épocas.
  • La ventaja es más pronunciada en rangos bajos (1–4) y disminuye a medida que el rango aumenta (por ejemplo, rango 8), lo que sugiere que el beneficio proviene de un modo de preacondicionamiento coherente más que de la capacidad bruta.
• Dependencia de la Resolución: La ganancia de rendimiento disminuye a medida que aumenta la resolución de la imagen. Esto se atribuye al hecho de que las resoluciones más altas están más alejadas de la convergencia con un presupuesto fijo; el "impulso inicial" proporcionado por FiRe se convierte en una fracción menor del total de la optimización requerida.
• Localización Espectral: Las ganancias se concentran en la banda de alta frecuencia. El análisis espectral muestra que FiRe sigue más de cerca la potencia de alta frecuencia de la verdad de campo (ground truth) que la base, mientras que las frecuencias bajas/medias son ajustadas igualmente bien por ambos.
• Sin Ventaja Asintótica: Crucialmente, a medida que el entrenamiento progresa hacia la convergencia total (por ejemplo, 8000 épocas), la base con parámetros igualados eventualmente supera a FiRe. Esto confirma que FiRe no cambia la clase de la función ni la solución final, sino que actúa como un preacondicionador para la trayectoria de optimización.
• Estabilidad: La frecuencia realizada de FiRe permanece igualada a la de la base durante todo el entrenamiento, confirmando que las ganancias se deben a la reparametrización y no a un cambio oculto de frecuencia.

5. Significado y Reivindicaciones

El artículo posiciona a FiRe como un método para acelerar la optimización en lugar de para expandir la capacidad de representación de la red.

• Aislamiento del Mecanismo: Los autores enfatizan que las ganancias aparentes previas en la literatura de INR pueden haber sido confundidas por aumentos no controlados de la frecuencia global o del recuento de parámetros. Al controlar estrictamente estos factores, aíslan el efecto de la geometría de la optimización de la compuerta.
• Preacondicionamiento Implícito: Se identifica a FiRe como un preacondicionador implícito que mejora el condicionamiento del NTK en la inicialización. Esto proporciona un puente teórico entre la reparametrización y una convergencia más rápida en el régimen de alta frecuencia.
• Utilidad Práctica: El método es más valioso en escenarios donde las INR se entrenan con un presupuesto fijo y corto (común en la práctica) en lugar de hasta la convergencia total. En estos entornos, FiRe produce reconstrucciones de mayor calidad de detalles finos y texturas.
• Modestia: Los autores declaran explícitamente que FiRe no ofrece ventaja en la convergencia total y que la explicación basada en NTK depende de la aproximación del "régimen perezoso", la cual se debilita a medida que el entrenamiento progresa. El método está actualmente limitado al ajuste de imágenes 2D, y su extensión a 3D (SDFs, NeRF) sigue siendo una cuestión abierta.

En resumen, FiRe demuestra que reparametrizar la frecuencia de las neuronas periódicas mediante una compuerta de bajo rango puede mejorar significamente el condicionamiento del paisaje de optimización, lo que conduce a una convergencia más rápida y una mejor reconstrucción de alta frecuencia, siempre que la comparación se realice contra bases estrictamente igualadas en frecuencia y parámetros.