Gauge Freedom and Metric Dependence in Neural Representation Spaces

Este artículo demuestra que las representaciones neuronales poseen una libertad de gauge bajo transformaciones lineales invertibles, lo que implica que métricas comunes como la similitud del coseno dependen de la elección de coordenadas y pueden distorsionarse sin alterar la función del modelo, por lo que el análisis debe centrarse en cantidades invariantes o coordenadas canónicas.

Lo esencial

🌍 El Mapa y el Territorio: Por qué la "Geometría" de las Redes Neuronales es una Ilusión

Imagina que tienes un mapa del tesoro. En este mapa, el tesoro está marcado con una "X". Ahora, imagina que tomas ese mapa, lo estiras, lo encoges o lo giras un poco.

• ¿El tesoro se movió? No. Sigue estando en el mismo lugar real.
• ¿Las coordenadas cambiaron? ¡Sí! Si antes el tesoro estaba en "10 pasos al norte y 5 al este", ahora, tras estirar el mapa, podría estar en "100 pasos al norte y 2 al este".

El artículo de Jericho Cain nos dice algo fascinante sobre las Inteligencias Artificiales (IA): las redes neuronales funcionan como ese mapa estirable.

1. La Magia de la "Transformación Invertible" (El Truco de la Mágica)

Las redes neuronales aprenden a transformar datos (como una foto de un gato) en una lista de números (una "representación") para luego tomar una decisión (decir "es un gato").

El autor descubre que podemos aplicar un truco matemático a esos números intermedios:

1. Tomamos los números que la red generó y los multiplicamos por una matriz (una tabla de números) especial que los distorsiona (los estira o gira).
2. Inmediatamente después, ajustamos la siguiente parte de la red para que "des-haga" esa distorsión.

El resultado: La red sigue diciendo exactamente lo mismo ("es un gato") con la misma precisión. Pero, ¡los números intermedios que usó para pensar han cambiado por completo!

Analogía: Es como si tradujeras un libro al español, luego lo tradujeras al francés con un estilo muy exagerado, y luego lo volvieras a traducir al español con otro estilo. La historia (la predicción) es la misma, pero las palabras exactas (los números) son diferentes.

2. El Problema de la "Brújula" (La Similitud de Coseno)

Aquí es donde la gente suele confundirse. Para entender qué tan "parecidos" son dos conceptos en la IA (por ejemplo, un gato y un tigre), los científicos usan una herramienta llamada Similitud de Coseno.

Imagina que la Similitud de Coseno es una brújula que mide el ángulo entre dos flechas en el espacio.

• Si las flechas apuntan en la misma dirección, son muy similares.
• Si apuntan en direcciones opuestas, son muy diferentes.

El descubrimiento del artículo:
Como podemos estirar y torcer el "mapa" de la red neuronal sin cambiar su respuesta final, la brújula se vuelve loca.

• Antes del estiramiento, el gato y el tigre parecían muy cercanos (ángulo pequeño).
• Después de estirar el mapa (pero sin cambiar la red), el gato y el tigre pueden parecer que están muy lejos, o incluso en direcciones opuestas.

La lección: La "distancia" o "parecido" que vemos en los números de la IA no es una propiedad real de lo que la IA sabe. Es solo un efecto de cómo decidimos medirlo (el "gauge" o sistema de coordenadas). Es como decir que dos ciudades están "lejos" porque decidimos medir en millas en lugar de kilómetros, o porque decidimos usar un mapa que está muy deformado.

3. ¿Por qué nos importa esto? (El Caos de los Vecinos)

Los científicos usan estas medidas para cosas importantes:

• Agrupar ideas: "¿Qué palabras son sinónimos?"
• Buscar imágenes: "Encuéntrame fotos similares a esta".

El artículo demuestra con experimentos (usando redes que reconocen dígitos y fotos de gatos) que, si aplicamos este "truco de estiramiento":

• La red sigue funcionando perfecto.
• Pero, si buscas la foto más parecida a un gato, la red podría decirte que es un perro, solo porque el "mapa" se estiró de tal forma que la brújula de la similitud apuntó mal.

¡Más del 30% de los "mejores vecinos" (las cosas más parecidas) cambian solo por un cambio de perspectiva matemática!

4. La Solución: El "Blanqueado" (Whitening)

Si el mapa puede estirarse de mil maneras, ¿cómo encontramos la verdad?

El autor sugiere dos caminos:

1. Usar medidas que no cambien: En lugar de mirar la distancia exacta, mirar estructuras que se mantengan igual sin importar cómo estires el mapa (como comparar la forma general de las nubes, no su tamaño exacto).
2. Elegir un "Mapa Estándar": El artículo propone una técnica llamada "Blanchado" (Whitening).
   • Imagina que tienes un ovillo de lana muy enredado y estirado en una dirección. El "blanqueado" es como tomar ese ovillo, desenredarlo y darle una forma perfectamente redonda y simétrica.
   • Al hacer esto, eliminamos las distorsiones "naturales" que la red neuronal aprendió y creamos un sistema de coordenadas limpio y justo para comparar cosas.

🧠 En Resumen

Este artículo nos da un aviso muy importante para los científicos de datos:

"No confíes ciegamente en qué tan 'cercanos' se ven los números de una red neuronal."

Esos números son como coordenadas en un mapa que puede ser estirado, encogido o torcido sin cambiar el destino final. Si quieres entender realmente cómo piensa una IA, no mires solo la "brújula" (la similitud de coseno); necesitas entender la geometría real detrás del mapa o usar un mapa que ya esté estandarizado (como el "blanqueado").

Es un recordatorio de que, en el mundo de la IA, la forma en que medimos las cosas a veces es más importante que las cosas mismas.

Resumen técnico

Resumen Técnico

1. Planteamiento del Problema

El análisis de las representaciones internas de las redes neuronales (como embeddings de palabras, estados ocultos en transformadores o variables latentes) asume frecuentemente que las coordenadas de estos vectores poseen un significado geométrico intrínseco. Métricas comunes como la similitud del coseno o la distancia euclidiana se utilizan para medir la similitud semántica, la agrupación (clustering) y la estructura de los espacios de representación.

Sin embargo, el autor identifica una falla fundamental en este enfoque: las coordenadas de una representación neuronal no están unívocamente definidas. Si una representación oculta $h(x)$ se transforma mediante una matriz lineal invertible $D$, y los pesos de la capa siguiente se ajustan inversamente ($W' = WD^{-1}$), la función de la red neuronal (la salida final) permanece inalterada. Esto implica que las representaciones están definidas solo "hasta la acción del grupo lineal general" $GL(d)$. Esta libertad se denomina libertad de gauge (o simetría de gauge).

El problema central es que las medidas geométricas dependientes de la métrica, como la similitud del coseno, no son invariantes bajo estas transformaciones de gauge. Por lo tanto, dos sistemas de representación que codifican la misma información funcional pueden exhibir estructuras geométricas radicalmente diferentes (distintas similitudes angulares o relaciones de vecinos más cercanos) simplemente debido a la elección de coordenadas.

2. Metodología

El artículo aborda el problema desde una perspectiva geométrica y algebraica, combinando teoría con experimentos controlados:

• Marco Teórico (Simetría de Gauge):

  • Se formaliza la transformación de una representación $h(x)$ a $\tilde{h}(x) = Dh(x)$, donde $D \in GL(d)$.
  • Se demuestra que esta transformación induce un nuevo tensor métrico $G = D^\top D$ en el espacio de representación.
  • Bajo esta nueva métrica, la similitud del coseno cambia, ya que las relaciones angulares se distorsionan, aunque la información codificada sea idéntica.
  • Se propone el blanqueamiento (whitening) como una elección de gauge canónica, donde $D = \Sigma^{-1/2}$ (siendo $\Sigma$ la matriz de covarianza), transformando la distribución de representaciones para que sea isotrópica (covarianza identidad).

• Análisis de Direcciones de Características:

  • Se estudia cómo la superposición de características (feature superposition) y la geometría de los subespacios dependen de la métrica elegida. La matriz de Gram de las direcciones de características cambia bajo transformaciones de gauge, alterando la interpretación de la interferencia entre características.

• Dinámica de Representación:

  • Se analiza cómo las actualizaciones de parámetros durante el entrenamiento se mapean al espacio de representación a través del Jacobiano, definiendo una métrica inducida en el espacio de parámetros que también depende del gauge.

• Experimentación Empírica:

  • Se realizaron experimentos en dos arquitecturas: un Perceptrón Multicapa (MLP) en el conjunto de datos Digits (scikit-learn) y una Red Neuronal Convolucional (CNN) pequeña en CIFAR-10.
  • Procedimiento: Se entrenaron los modelos, se extrajeron representaciones de una capa oculta y se aplicó una transformación lineal invertible $D$ a dichas representaciones. Inmediatamente, se compensó la capa de clasificación final con $W' = WD^{-1}$.
  • Variables medidas: Se verificó que las predicciones del modelo no cambiaran (invarianza funcional) y se midió el impacto en:
    1. La similitud del coseno promedio entre pares de representaciones.
    2. La estabilidad de la estructura de vecinos más cercanos (nearest-neighbor).
    3. El efecto de variar la "fuerza" del gauge (número de condición $\kappa$ de la matriz $D$).

3. Contribuciones Clave

1. Formalización de la Libertad de Gauge: Establece que el espacio de representación neuronal debe tratarse como un espacio vectorial definido módulo transformaciones lineales invertibles, no como un espacio euclidiano fijo.
2. Desmitificación de la Similitud del Coseno: Demuestra que la similitud del coseno es una cantidad dependiente de la métrica y, por tanto, dependiente del gauge. No es una propiedad intrínseca de la representación aprendida.
3. Explicación Unificada de Fenómenos: Proporciona una interpretación común para observaciones previas en la literatura, como la inestabilidad de la similitud del coseno, la anisotropía en espacios de embedding y la necesidad de métodos de comparación como SVCCA y CKA (que son más robustos a transformaciones lineales).
4. Propuesta de Gauge Canónico: Identifica el blanqueamiento (whitening) como una elección natural de coordenadas para eliminar la anisotropía de segundo orden y definir una métrica isotrópica.

4. Resultados Experimentales

Los experimentos validaron la hipótesis central: es posible distorsionar drásticamente la geometría de las representaciones sin alterar la función del modelo.

• Invarianza Funcional: En todos los casos, tras la transformación y compensación, la precisión de predicción y la concordancia de salidas se mantuvieron en 1.0 (o con diferencias numéricas insignificantes de $\approx 10^{-5}$).
• Distorsión de Similitud del Coseno:
  • En el experimento con Digits, la similitud del coseno promedio cambió en un 13.28% ($\text{mean } |\Delta \cos| = 0.1328$).
  • En CIFAR-10, el cambio fue menor pero significativo (5.01%), mostrando que el fenómeno persiste en arquitecturas convolucionales.
• Inestabilidad de Vecinos Más Cercanos:
  • A pesar de la invarianza funcional, la estructura de vecinos más cercanos cambió sustancialmente. En Digits, el solapamiento Jaccard entre los conjuntos de vecinos (k=10) antes y después de la transformación fue de 0.72, lo que significa que casi el 28% de los vecinos más cercanos cambiaron.
  • En CIFAR-10, el solapamiento fue de 0.7228.
• Efecto de la Fuerza del Gauge: Al aumentar el número de condición ($\kappa$) de la matriz de transformación $D$, la distorsión geométrica creció. Para $\kappa = 20$, más de un tercio de los vecinos más cercanos cambiaron (tasa de inversión de vecinos de 0.37), demostrando que incluso transformaciones moderadas alteran la estructura de recuperación de información.
• Efecto del Blanqueamiento: La aplicación de la transformación de blanqueamiento colapsó el espectro de autovalores de la covarianza a 1, eliminando la anisotropía y fijando un gauge canónico donde la métrica es la identidad.

5. Significado e Implicaciones

Este trabajo tiene profundas implicaciones para la interpretación y el análisis de redes neuronales:

• Reevaluación de Métricas: Las conclusiones basadas en la similitud del coseno o la distancia euclidiana deben tomarse con precaución, ya que dependen de la elección de coordenadas (gauge) y no son invariantes del modelo. Dos redes con la misma función pueden parecer geométricamente muy diferentes.
• Nuevos Estándares de Análisis: Se recomienda que los estudios de geometría de representaciones:
  1. Utilicen cantidades invariantes bajo transformaciones lineales (como métodos basados en subespacios: CCA, CKA).
  2. O bien, fijen explícitamente un sistema de coordenadas canónico (como el blanqueamiento) antes de realizar cualquier análisis geométrico.
• Interpretabilidad: La "geometría" de las características (como la superposición de características) es una propiedad del espacio de representación bajo una métrica específica, no una propiedad absoluta de los neuronas individuales.
• Futuro: El autor sugiere que futuras investigaciones deben explorar cómo capas de normalización, conexiones residuales y arquitecturas más grandes (como Transformers) influyen en la elección práctica de gauges y si existen "gauges naturales" aprendidos durante el entrenamiento.

En conclusión, el artículo argumenta que para entender verdaderamente la geometría de las representaciones neuronales, debemos separar las propiedades de la función del modelo de las propiedades de la realización de coordenadas, tratando la libertad de gauge como una característica fundamental y no como un artefacto de implementación.