Resumen Técnico: Optimización del Rango para Representaciones Neuronales Implícitas de Alta Fidelidad

1. Planteamiento del Problema

Las Representaciones Neuronales Implícitas (INR) se han convertido en un marco versátil para modelar diversas modalidades de señales, incluyendo formas, imágenes, escenas y datos médicos. Sin embargo, se cree ampliamente que los Perceptrones Multicapa (MLP) convencionales con activaciones ReLU estándar sufren de un "sesgo espectral", una limitación arquitectónica intrínseca que les impide representar contenido de alta frecuencia de manera efectiva.

En consecuencia, el campo se ha centrado principalmente en intervenciones arquitectónicas para superar este sesgo, tales como embebimientos de coordenadas (por ejemplo, Características de Fourier) y funciones de activación especializadas (por ejemplo, SIREN, WIRE). Si bien estos métodos mejoran la expresividad, introducen nuevos desafíos: las arquitecturas altamente expresivas a menudo carecen de regularización implícita, lo que genera patrones oscilatorios en problemas inversos mal planteados, mientras que las arquitecturas con sesgo hacia bajas frecuencias pueden fallar al ajustar detalles finos.

Este artículo desafía la noción predominante de que el sesgo de baja frecuencia es un defecto arquitectónico inherente. En su lugar, los autores argumentan que es un síntoma de la degradación del rango estable durante el entrenamiento. Postulan que la incapacidad de los MLP convencionales para ajustar señales de alta frecuencia proviene del colapso de la dimensionalidad efectiva de las actualizaciones de los pesos, más que de la arquitectura de la red en sí.

2. Metodología: Una Perspectiva de Rango Estable

Los autores cambian el enfoque del diseño arquitectónico hacia la dinámica de optimización, utilizando el concepto de rango estable como una métrica unificadora.

2.1 Marco Teórico

El artículo establece un vínculo algebraico lineal entre las activaciones y las actualizaciones de los pesos. Para una capa $l$, el gradiente con respecto a los pesos se define como el producto exterior del gradiente ascendente y las activaciones de entrada: $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$.

• Restricción de Rango: El espacio fila de la actualización del peso está contenido en el subespacio de las activaciones por lote ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$).
• Degradación: En redes basadas en coordenadas, las activaciones de entrada suelen residir en subespacios de baja dimensión. A medida que las señales se propagan a través de las capas, las no linealidades pueden aumentar localmente el rango, pero sin intervenciones específicas, la red tiende a operar en subespacios progresivamente de menor dimensión, lo que conduce a un "colapso de rango".
• Rango Estable: Los autores utilizan el rango estable, $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$, para cuantificar la dimensionalidad efectiva de estas actualizaciones. Un rango estable bajo indica que la actualización está concentrada en unas pocas direcciones singulares, lo que limita la capacidad de la red para aprender detalles de alta frecuencia.

2.2 Reinterpretación de Intervenciones Existentes

Los autores reinterpretan las modificaciones arquitectónicas comunes a través de este prisma:

• A nivel de entrada (ej. Características de Fourier): Estas expanden la matriz de entrada por lote $H_0$, aumentando el límite superior del rango estable de la actualización de la primera capa.
• A nivel de activación (ej. SIREN, BatchNorm): Estas buscan mantener el espacio de las activaciones $H_l$ a través de la red, evitando que el rango disminuya con la profundidad.

2.3 Solución Propuesta: El Optimizador Muon

El artículo propone que el remedio más directo es intervenir a nivel del optimizador. Introducen Muon, un optimizador ortogonalizante diseñado para imponer explícitamente la isotropía en las actualizaciones de gradiente.

• Mecanismo: Para una matriz de actualización de pesos $U$, Muon la mapea a la matriz semi-ortogonal más cercana $Ortho(U)$ (mediante la iteración de Newton-Schulz, que aproxima la SVD). Esto fuerza a que la actualización se distribuya uniformemente en todas las direcciones singulares, maximizando el rango estable de la actualización a $\min(d_l, d_{l+1})$.
• Implementación: Muon se aplica a las matrices de pesos de las capas ocultas, mientras que se retiene el Adam estándar para los sesgos (biases) y los parámetros de entrada/salida para mantener la estabilidad y la eficiencia. Este enfoque es agnóstico al modelo y opera sobre los gradientes reales de cada paso.

3. Contribuciones Clave

1. El Rango Estable como Métrica Unificadora: El artículo propone el rango estable como una medida clave de la expresividad en las INR, argumentando que la degradación del rango durante el entrenamiento, y no las limitaciones arquitectónicas, es la causa principal del sesgo de baja frecuencia en los MLP convencionales.
2. Marco Unificador: Proporciona un marco que explica la efectividad de diversas modificaciones arquitectónicas (embebimientos de coordenadas, otras activaciones) como métodos para aumentar o preservar el rango estable.
3. Optimizador Muon: Los autores proponen Muon, un optimizador ortogonalizante que previene explícitamente el colapso de rango, sirviendo como un remedio natural para el aprendizaje de señales de alta fidelidad sin requerir cambios arquitectónicos.
4. Validación Empírica: Experimentos extensos demuestran que Muon mejora significativamente el rendimiento en todas las arquitecturas probadas (MLP con ReLU, SIREN, FINER, etc.) y modalidades (imágenes, audio, formas 3D, CT médica, NeRFs).

4. Resultados Experimentales

Los autores evaluaron Muon frente a Adam (y Lion) en cuatro dominios:

• Sobreajuste de Imágenes (Dataset Kodak):

  • Muon mejoró el PSNR de los MLP con ReLU vanilla en ~7–8 dB (de ~22.8 a ~30.0 dB), alcanzando la paridad con las Redes de Características de Fourier (FFN) entrenadas con Adam.
  • También se observaron ganancias significativas (2–4 dB) para Gaussian MLPs, SIREN y FINER.
  • El análisis de rango estable mostró que Muon mantiene un rango alto en las capas ocultas, mientras que Adam y Lion exhiben un colapso de rango significativo.

• Sobreajuste de Audio:

  • Muon logró una Relación Señal-Ruido (SNR) sustancialmente mayor en todas las arquitecturas. Para un FFN con ReLU, el SNR mejoró en +12.5 dB.
  • Los MLP con ReLU vanilla fallaron en reconstruir clips de audio largos con Adam, pero tuvieron éxito con Muon (en segmentos más cortos), lo que sugiere que el fallo se debió a la inestabilidad de la optimización y no a límites de capacidad.

• Campos de Distancia con Signo (SDF):

  • En los conjuntos de datos Armadillo y Thai Statue, Muon redujo la Distancia de Chamfer y mejoró el IoU, particularmente para arquitecturas pequeñas (8x32).

• Problemas Inversos:

  • Reconstrucción de CT: Muon mejoró el PSNR hasta en +7 dB para MLP con ReLU en la reconstrucción de CT de visión escasa, reduciendo los artefactos en estructuras heterogéneas.
  • Superresolución de Imagen Única (SISR): Muon hizo que los FFN con ReLU fueran particularmente efectivos, superando a arquitecturas con fuertes sesgos de alta frecuencia (como FINER) en algunas métricas, probablemente debido al sesgo de baja frecuencia beneficioso de ReLU combinado con actualizaciones ortogonales.
  • Campos de Radiancia Neuronal (NeRF): Muon redujo los artefactos de reconstrucción y mejoró el PSender en hasta +9 dB en escenas sintéticas (ej. Chair, Hotdog), logrando reconstrucciones de escena más fieles.

5. Significado y Reivindicaciones

El artículo afirma que la optimización es un tercer eje, poco explorado, del diseño de las INR, complementario a las intervenciones a nivel de entrada y de activación.

• Desafío al Determinismo Arquitectónico: Los resultados desafían la percepción de que los cambios arquitectónicos son el motor principal del rendimiento de las INR. Los autores demuestran que la optimización por sí sola puede impactar significativamente la fidelidad del modelo, permitiendo que los simples MLP con ReLU representen señales de alta frecuencia con alta fidelidad.
• Efectos Aditivos: El artículo argumenta que las intervenciones a nivel de entrada, de activación y de optimización actúan sobre ejes distintos y complementarios. Combinarlas (ej. usar Muon con Características de Fourier) produce las reconstrucciones más fieles.
• Impacto Práctico: Al usar Muon, los profesionales pueden lograr resultados de alta fidelidad con arquitecturas más simples y robustas (como los MLP con ReLU) que son menos propensas a los patrones oscilatorios que se ven a menudo en redes especializadas y altamente expresivas.

6. Limitaciones

Los autores reconocen varias limitaciones:

• Rango Objetivo: El marco de rango estable sirve como diagnóstico, pero no predice un rango objetivo óptimo. En algunos problemas inversos mal planteados, un rango estable inducido menor puede actuar como un regularizador implícito beneficioso.
• Aproximación: Muon utiliza la aproximación de Newton-Schulz para la ortogonalización. El artículo no estudia profundamente las implicaciones de esta aproximación, viendo a Muon como un punto dentro de un diseño más amplio en lugar de una solución final óptima.
• Complejidad de Ajuste: Muon introduce una complejidad de ajuste adicional respecto a los esquemas de tasa de aprendizaje (tasas separadas para los parámetros de Muon y los parámetros auxiliares de Adam).
• Brecha de Expresividad: Aunque Muon reduce la brecha, un MLP con ReLU entrenado con Muon sigue siendo menos expresivo que arquitecturas especializadas como SIREN o FINER en todos los entornos.