Stimulus symmetries can confound representational similarity analyses

Resumen Técnico: Las Simetrías de los Estímulos Pueden Confundir los Análisis de Similitud Representacional

Enunciado del Problema
El Análisis de Similitud Representacional (RSA) y métricas relacionadas, como la Matriz de Similitud Representacional (RSM) y la Alineación de Núcleos Centrada (CKA), se utilizan ampliamente para comparar códigos neuronales en redes biológicas y artificiales. Un supuesto fundamental en estas comparaciones es que las representaciones funcionalmente equivalentes —aquellas que realizan la misma tarea o codifican la misma información— deberían producir estadísticas resumidas similares. Aunque trabajos recientes han abordado las simetrías intrínsecas (por ejemplo, rotaciones globales de los pesos dentro de una capa de red que pueden ser compensadas por capas posteriores), existe una falta de comprensión sistemática sobre cómo las simetrías de los estímulos (simetrías de datos externas como rotación o traslación) afectan estos análisis.

El problema central identificado es que las simetrías de los estímulos pueden generar múltiples representaciones neuronales funcionalmente equivalentes que no están relacionadas por transformaciones ortogonales simples (rotaciones) en el espacio de representación. En consecuencia, estas configuraciones distintas pueden producir RSMs cualitativamente diferentes. Esto crea una "dependencia de gauge" donde la RSM varía en función de un parámetro arbitrario e irrelevante funcionalmente (el gauge), lo que podría llevar a los investigadores a concluir erróneamente que dos códigos funcionalmente equivalentes son distintos.

Metodología
Los autores emplean una combinación de formalización teórica, modelos analíticos simplificados y simulaciones empíricas con datos sintéticos y del mundo real para demostrar este fenómeno.

1. Formalización Teórica: El artículo formaliza el concepto de simetrías de datos actuando sobre un espacio latente $Z$ mediante un grupo compacto $G$. Define las "transformaciones de gauge" como acciones de $G$ sobre la función de codificación que dejan invariante la precisión de la decodificación. Los autores demuestran que, para que una RSM sea invariante de gauge, la codificación debe ser una representación lineal ortogonal del grupo de simetría (es decir, la transformación de gauge debe actuar como una rotación global en el espacio de representación). Demuestran que, para códigos no lineales generales, esta condición no se cumple.
2. Análisis de Modelo Simplificado: Se construye un modelo simplificado donde las neuronas teselan un anillo unidimensional ($S^1$) con campos receptivos (RF) localizados. La orientación global de esta teselación está definida por una variable de gauge $\phi$. Los autores derivan analíticamente la RSM para este escenario, mostrando que los elementos fuera de la diagonal dependen de $\phi$, lo que conduce a una RSM variable a pesar de una reconstrucción perfecta del estímulo.
3. Sensibilidad de Parámetros: El estudio investiga cómo factores como el número de neuronas, el ancho de sintonización de los RF y el ruido de amplitud afectan la magnitud de la variabilidad de la RSM. Derivan expresiones de forma cerrada para la variabilidad $\Delta$ en función del número de neuronas $n$ y del ancho de sintonización, mostrando que la variabilidad decae como $O(n^{-2})$ solo en el límite de teselación densa.
4. Dinámicas de Aprendizaje: Utilizando Descenso de Gradiente Estocástico (SGD) en autoencoders con activaciones ReLU, los autores simulan escenarios de aprendizaje. Demuestran que el SGD puede conducir a soluciones de "colapso" donde muchas neuronas se alinean, reduciendo efectivamente la red a una teselación dispersa (por ejemplo, 4 neuronas para un círculo), manteniendo así una alta variabilidad de la RSM. También muestran que la regularización energética (penalizaciones L1) puede inducir dispersión sin fijar el gauge.
5. Datos de Dimensiones Superiores y Reales: El marco se extiende a variedades esféricas de dimensiones superiores ($S^{d-1}$), prediciendo agrupaciones estructuradas de variabilidad de la RSM que corresponden a la dimensionalidad del grupo de gauge. Finalmente, los autores entrenan autoencoders en imágenes rotadas del conjunto de datos Kuzushiji-MNIST y analizan modelos de visión preentrenados (ResNet-18, ConvNeXt, DINOv2) para demostrar que las simetrías rotacionales latentes en los datos de imagen inducen una deriva sistemática de la RSM y dependencia de gauge en entornos realistas.

Contribuciones y Resultados Clave

• Dependencia de Gauge de las RSMs: El artículo establece que, para códigos neuronales no lineales, las representaciones funcionalmente equivalentes relacionadas por simetrías de estímulos generalmente no están relacionadas por transformaciones ortogonales. Por lo tanto, sus RSMs difieren, violando la invariancia asumida por las métricas de similitud estándar.
• Representaciones en Deriva: Los autores muestran que, incluso con un rendimiento de tarea estable (por ejemplo, baja pérdida de reconstrucción), las representaciones pueden "derivar" con el tiempo o entre diferentes ejecuciones de entrenamiento debido a la selección arbitraria de un gauge. Esta deriva se manifiesta como un cambio sistemático en la RSM, que se correlaciona con el ángulo de gauge inferido pero no con el error de reconstrucción.
• Dispersión y Variabilidad: Contrario a la intuición de que aumentar el número de neuronas suprime la variabilidad, los autores encuentran que la dispersión inducida por el aprendizaje (mediante ruido SGD o regularización L1) puede mantener una alta variabilidad de la RSM incluso en redes grandes.
• Variabilidad Estructurada en Dimensiones Superiores: Para variedades simétricas de dimensiones superiores, la variabilidad de la RSM no es ruido aleatorio, sino que sigue un patrón estructurado donde los elementos fuera de la diagonal se agrupan en conjuntos que varían juntos, reflejando el grupo de simetría continua subyacente.
• Validación Empírica: En experimentos con datos de imágenes rotadas, el ángulo de gauge inferido de las redes entrenadas predice fuertemente los elementos fuera de la diagonal de la RSM ($r$ de Pearson = 0.76) y la similitud entre diferentes ejecuciones (la similitud CKA disminuye a medida que aumenta la diferencia de gauge, $r = -0.91$), mientras que la pérdida de reconstrucción permanece no correlacionada con el gauge.

Significado y Afirmaciones
El artículo afirma que estos hallazgos destacan una limitación crítica en la comparación de códigos neuronales no lineales utilizando métricas basadas en RSM cuando están presentes simetrías de estímulos. Específicamente:

• Riesgo de Malinterpretación: Los investigadores pueden identificar erróneamente representaciones funcionalmente equivalentes como distintas simplemente porque ocupan diferentes "gauges" en el espacio de soluciones.
• Mecanismo de Deriva: El trabajo proporciona un mecanismo para la "deriva representacional" (observada tanto en cerebros como en redes artificiales) que es distinto de explicaciones anteriores basadas en simetrías internas; aquí, la deriva es impulsada por simetrías de estímulos extrínsecas y la falta de una base preferida única.
• Limitaciones de las Métricas Actuales: Las métricas estándar como CKA y RSM no son invariantes a las simetrías de los datos a menos que la red esté explícitamente restringida para ser equivariante (lo cual no ocurre en la mayoría de las redes estándar).
• Futuras Direcciones: Los autores sugieren que, para comparar representaciones de manera fiable en presencia de simetrías, se requieren nuevas métricas invariantes a las simetrías específicas de los estímulos. Señalan que tales métodos probablemente requerirían conocimiento de la distribución de los estímulos o el uso de métricas de retroceso en la variedad intrínseca de los datos, pero reconocen que, sin priores fuertes, abordar la invariancia de gauge sigue siendo un desafío abierto.

El artículo concluye con modestia, afirmando que, aunque los códigos de teselación de variedades sirvieron como un caso de prueba manejable, se espera la generalización de este fenómeno a otros códigos no lineales, ya que la mayoría de las representaciones no están restringidas para ser ortogonalmente equivariantes.