Resumen Técnico: Qué Codifican las INR de Cohorte y Dónde Congelarlas

Enunciado del Problema

Las Representaciones Neuronales Implícitas (INR) son perceptrones multicapa (MLP) basados en coordenadas que aprenden aproximaciones funcionales continuas de señales. Una limitación principal de las INR estándar es que cada red ajusta una sola señal desde cero, con características finamente sintonizadas a la morfología específica de esa señal. Esto resulta en altos costos de optimización por señal. Un trabajo reciente, específicamente STRAINER, intenta mitigar esto entrenando una "cohorte" de INR que comparten capas de codificador tempranas mientras mantienen decodificadores por señal. El codificador compartido se utiliza luego como inicialización para nuevas señales.

Sin embargo, dos preguntas críticas permanecen sin respuesta respecto a este paradigma de aprendizaje por transferencia:

1. Qué capas del codificador compartido realmente portan representaciones transferibles?
2. Qué codifican esas capas específicas?

Los protocolos actuales de STRAINER actualizan cada capa durante el ajuste en tiempo de prueba, lo que impide el aislamiento de la transferibilidad por capa. Además, mientras que el aprendizaje por transferencia en visión y lenguaje a menudo localiza características transferibles en capas intermedias, no está claro si esto se mantiene para las INR, particularmente dado que las arquitecturas base dominantes como SIREN y los MLP con características de Fourier (FFMLP) codifican posiciones de coordenadas a través de mecanismos fundamentalmente diferentes.

Metodología

Los autores proponen un enfoque diagnóstico de dos frentes para analizar INR entrenadas en cohorte en tres conjuntos de datos (CelebA-HQ, OASIS-MRI, Kodak) utilizando dos arquitecturas base (SIREN y FFMLP).

1. Localización de Representaciones Transferibles mediante el Rango Estable de Pesos

Para identificar qué capas transfieren mejor, los autores introducen un protocolo de barrido de congelación en tiempo de prueba. En lugar de actualizar todas las capas, congelan el codificador hasta una profundidad específica $\tau$ y reinicializan las capas restantes y la cabeza del decodificador. Evalúan el rendimiento (PSNR) de nuevas señales a través de todas las profundidades de congelación posibles.

Para predecir la profundidad óptima de congelación a priori, utilizan el rango estable de pesos ($sr(W_\ell)$) de las capas del codificador entrenado. A diferencia del rango de activación, que depende de la distribución de entrada específica, el rango estable de pesos es una propiedad intrínseca de los pesos aprendidos, que mide la dimensionalidad efectiva del subespacio abarcado por la matriz de pesos. La hipótesis es que la capa con el mayor rango estable de pesos representa la capa de "incrustación de coordenadas", que aprende la información estructural más reutilizable a través de la cohorte.

2. Caracterización de Representaciones Codificadas mediante Autoencoders Dispersos (SAE)

Para determinar qué codifican las capas transferibles, los autores aplican Autoencoders Dispersos (SAE) a las activaciones ocultas de los codificadores entrenados. Los SAE descomponen activaciones densas en un diccionario sobredeterminado de "átomos" dispersos.

• Arquitectura: Un SAE TopK con $n=4096$ átomos y dispersión $k=32$ se ajusta a las activaciones de cada capa oculta.
• Diagnósticos:
  • Mapas de Átomos: Visualización de los patrones de disparo espacial de los átomos a través del dominio de coordenadas.
  • Ablaciones de Átomo Único: Eliminación sistemática de átomos individuales (anulando su contribución) para medir el impacto causal en la reconstrucción final de la señal (caída de PSNR).

Resultados Clave

1. La Profundidad Óptima de Congelación Coincide con el Pico del Rango Estable de Pesos

Los experimentos revelan que la profundidad óptima de congelación $\tau^\star$ se alinea consistentemente con la capa que exhibe el pico del rango estable de pesos en el codificador entrenado en cohorte.

• SIREN: La profundidad óptima de congelación es $\tau^\star = 1$. La primera capa entrenable ($W_1$) actúa como una incrustación posicional emergente, logrando el mayor rango de pesos.
• FFMLP: La profundidad óptima de congelación es $\tau^\star = 0$. Dado que FFMLP utiliza una proyección de Fourier fija antes de la primera capa entrenable, la incrustación ocurre externamente, y la primera capa entrenable ($W_0$) opera sobre esta entrada de alto rango.
• Rendimiento: Congelar a esta profundidad específica iguala o mejora significativamente la receta estándar de STRAINER (que actualiza todas las capas). Notablemente, en el conjunto de datos de alta resolución Kodak, el protocolo de congelación produce ganancias de +3.1 dB para SIREN y +1.3 dB para FFMLP en promedio, ya que evita que el modelo desperdicie el presupuesto limitado de optimización en tiempo de prueba en reaprender la incrustación de coordenadas.

2. Diccionarios Cualitativamente Diferentes: Localización vs. Memorización

A pesar de lograr una calidad de ajuste en cohorte comparable, SIREN y FFMLP aprenden representaciones internas fundamentalmente diferentes:

• SIREN (Localizado): Los átomos del SAE están localizados espacialmente, mosaicando el plano de coordenadas. Cada átomo dispara en una región confinada independiente del contenido específico de la cohorte. Esto sugiere que SIREN aprende un código posicional independiente del contenido.
• FFMLP (Que abarca la imagen/Memorizado): Los átomos abarcan la imagen y son difusos. Rastrean los contornos de señales de cohorte memorizadas (por ejemplo, rasgos faciales en CelebA, anatomía cerebral en OASIS). El diccionario se concentra en unos pocos átomos de alta magnitud que cubren grandes porciones de la imagen.

3. Validación Causal mediante Ablación

Las ablaciones de átomo único confirman el papel causal de estos diccionarios:

• SIREN: Ablar un solo átomo causa caídas de PSNR (2–3 dB) confinadas estrictamente a la región espacial donde dispara ese átomo. Otros átomos compensan el resto de la imagen.
• FFMLP: Ablar un solo átomo causa degradación global, con caídas de PSNR de hasta 10.6 dB en toda la imagen. Esto indica que FFMLP depende de unos pocos "super-átomos" para reconstruir la estructura global de la señal, memorizando efectivamente el contenido de la cohorte.

Significado y Afirmaciones

El artículo afirma proporcionar el primer relato mecanicista de lo que se transfiere en INR entrenadas en cohorte.

• Herramienta Diagnóstica: La métrica de rango estable de pesos ofrece un método computable, libre de datos objetivo, para identificar la profundidad de capa transferible óptima, eliminando la necesidad de barridos de hiperparámetros.
• Interpretabilidad: Al descomponer las activaciones de INR en átomos dispersos, los autores convierten activaciones de "caja negra" en átomos de diccionario inspeccionables, revelando que SIREN codifica estructura posicional reutilizable mientras que FFMLP codifica contenido memorizado.
• Perspectiva Arquitectónica: Los hallazgos sugieren que la elección arquitectónica (SIREN vs. FFMLP) dicta si la red aprende priores estructurales generalizables o se ajusta en exceso a señales de cohorte memorizadas.
• Dirección Futura: Estas herramientas abren un camino hacia la caracterización de codificaciones INR y el diseño de arquitecturas específicamente para generalización en lugar de memorización.

Los autores señalan limitaciones, incluyendo que el análisis está actualmente restringido a las arquitecturas base SIREN y FFMLP y aún no caracteriza el significado semántico de átomos individuales (por ejemplo, bordes, colores) ni explora la dirección de reconstrucciones más allá de las ablaciones de átomo único.