Is Class Signal Clustered or Routed in Task-Induced Implicit Neural Representation Weight Spaces?

Resumen Técnico: ¿Están las Señales de Clase Agrupadas o Enrutadas en los Espacios de Pesos de Representaciones Neuronales Implícitas Inducidas por Tareas?

Enunciado del Problema
Las Representaciones Neuronales Implícitas (INR) codifican imágenes como los parámetros (pesos) de redes neuronales, transformando la clasificación de imágenes en un problema de clasificabilidad en el espacio de pesos. Una hipótesis geométrica predominante sugiere que la retroalimentación del clasificador debería organizar los pesos específicos de cada imagen en agrupaciones distintas y alineadas con la clase dentro de un espacio de coordenadas compartido (específicamente, una coordenada residual relativa a una inicialización compartida). Si esto es cierto, las propiedades geométricas crudas de estos pesos (por ejemplo, la consistencia del vecino más cercano, la estructura espectral) deberían correlacionarse directamente con la precisión de clasificación. Este artículo investiga si los pesos de las INR inducidos por la tarea están inherentemente "agrupados" por clase en su geometría nativa o si la clasificabilidad se "enruta" en su lugar a través del mecanismo de lectura aguas abajo.

Metodología
Los autores utilizan el marco del Transformador de Pesos Meta (MWT), que aprende meta una inicialización compartida de SIREN (Red de Representación Sinusoidal) y un programa de actualización de bucle interno. En este régimen, las SIREN específicas de cada imagen se ajustan mediante unos pocos pasos de gradiente desde un ancla compartida $\theta$, produciendo una coordenada residual $\Delta_x = \phi_x - \theta$. Un lector entrenado clasifica luego estos pesos.

El estudio contrasta dos hipótesis competitivas:

1. Hipótesis de Agrupamiento: La información de clase se escribe directamente en la coordenada anclada. Por lo tanto, los diagnósticos geométricos expuestos (consistencia del vecino más cercano, resúmenes de componentes, estadísticas espectrales) deberían rastrear monótonamente la precisión del lector entrenado. La presión de agrupamiento supervisada (por ejemplo, Pérdida Central) debería mejorar tanto la geometría local como el rendimiento del lector.
2. Hipótesis de Enrutamiento: La información de clase existe en los pesos, pero no está dispuesta como agrupaciones métricas simples en la coordenada cruda. En su lugar, el lector construye una geometría alineada con la clase a través de interacciones de tokens. La clasificabilidad depende de canales específicos y enrutados dentro de los tokens de pesos aumentados, en lugar de la estructura geométrica global.

Los autores emplean una serie de diagnósticos e intervenciones:

• Brecha entre Geometría y Precisión: Miden la geometría de coordenadas expuesta (por ejemplo, consistencia de clase del 5-NN) frente a la precisión Top-1 del lector entrenado bajo diferentes presiones de entrenamiento (agrupadas vs. no agrupadas).
• Diagnósticos de Flujo de Tokens: Rastrean vecindarios consistentes con la clase desde la entrada del lector a través de bloques transformadores sucesivos para identificar dónde la estructura de clase se vuelve legible.
• Intervenciones Causales: Apuntan a coordenadas específicas dentro del token aumentado, concretamente la entrada de sesgo de SIREN ($b$), para probar si sirve como una ruta de lectura causal.
• Controles de Respuesta Funcional: Comparan el lector de pesos con un "lector de respuesta funcional" que clasifica basándose en salidas dispersas de SIREN sin acceder a los pesos, para descartar la posibilidad de que el lector simplemente explote la función realizada en lugar de la geometría de los pesos.

Resultados Clave

1. La Brecha Geometría–Clasificabilidad: La geometría de coordenadas crudas expuesta no predice de manera confiable la precisión del lector entrenado. Crucialmente, aplicar "presión de agrupamiento" (pérdidas de compacidad supervisadas) mejora la consistencia del vecindario local (por ejemplo, la precisión del 5-NN aumenta), pero disminuye la precisión Top-1 del lector entrenado. Este desacoplamiento refuta la idea de que el agrupamiento geométrico crudo es el motor principal de la clasificabilidad.
2. Construcción de Geometría por el Lector: Los vecindarios alineados con la clase no están presentes en la entrada del lector. Los diagnósticos de flujo de tokens muestran que la consistencia de clase del vecino más cercano aumenta significativamente solo en estados tardíos del lector (por ejemplo, bloque $h^{(9)}$), lo que indica que el lector construye activamente representaciones alineadas con la clase en lugar de heredarlas de la coordenada de entrada.
3. La Ruta de la Columna de Sesgo: Los autores identifican la coordenada de sesgo de SIREN ($b$) dentro del token aumentado como una ruta de lectura causal y compacta. Las intervenciones que neutralizan o barajan la coordenada $b$ causan caídas significativas en la precisión (13.5–20.3 pp), mientras que intervenciones equivalentes en las coordenadas de pesos ($W$) tienen efectos insignificantes. La ruta de sesgo depende de la muestra y es distinta de los desplazamientos posicionales aprendidos.
4. Intervenciones No Aditivas: Las intervenciones dirigidas al mecanismo de enrutamiento (por ejemplo, lectores de ruta de sesgo explícita, enrutamiento de ajuste estocástico) a menudo superan la línea base, pero sus ganancias no se componen de forma aditiva. Esto sugiere que las ganancias dependen del estado específico del lector y de la interacción de las rutas, en lugar de ser mejoras modulares independientes.
5. Limitaciones de la Respuesta Funcional: Un lector que utiliza solo respuestas funcionales dispersas (sin acceso a pesos) no logra reproducir la clasificación de emisores alcanzada por el lector de pesos, confirmando que el lector de pesos depende de estructuras específicas de tokens de pesos (como la ruta de sesgo) y no solo de la salida de la función.

Contribuciones Clave

1. Formulación Agrupada-vs-Enrutada: El artículo establece una distinción formal entre la clasificabilidad como una propiedad geométrica heredada de los pesos versus una propiedad construida del procesamiento de tokens del lector.
2. Brecha Geometría–Clasificabilidad: Demuestra que la estructura de coordenadas expuesta (incluso cuando se fuerza a ser compacta) no explica el comportamiento del lector entrenado, desafiando la suposición de que el aprendizaje en el espacio de pesos depende de la geometría métrica cruda.
3. Explicación de Enrutamiento del Lector: Localiza un mecanismo específico y visible para el lector (la columna de sesgo de SIREN) que actúa como una ruta causal y de baja dimensión para las señales de clase, validado mediante intervenciones y controles dirigidos.

Significado y Afirmaciones
El artículo concluye que en los espacios de pesos globales de SIREN inducidos por tareas, las señales de clase están enrutadas en lugar de agrupadas. Los autores argumentan que la estructura de clase utilizable no es una propiedad intrínseca de vecindarios métricos crudos o sondas superficiales en la coordenada nativa. En su lugar, el lector entrenado construye una geometría alineada con la clase a través de interacciones de tokens en etapas tardías, utilizando canales específicos como la entrada de sesgo de SIREN como rutas de lectura causal.

El significado radica en desplazar el enfoque del aprendizaje en el espacio de pesos de la búsqueda de agrupaciones geométricas crudas a la comprensión de los mecanismos de lectura. Los hallazgos sugieren que las intervenciones deberían apuntar a las vías de enrutamiento y los estados del lector que hacen utilizable la información de clase, en lugar de intentar forzar la compacidad geométrica cruda en las coordenadas de los pesos. Los autores mantienen una postura modesta, señalando que sus afirmaciones son específicas del régimen MWT y de los espacios globales de SIREN inducidos por tareas, y no necesariamente se generalizan a todas las arquitecturas INR o geometrías de espacios cociente.