Resumen Técnico: La Relación Señal-Ruido y el Tamaño de la Muestra Gobernan la Alineación Representacional en Redes Neuronales

Declaración del Problema

Los modelos de aprendizaje profundo entrenados independientemente a menudo convergen hacia representaciones internas estructuralmente similares, un fenómeno conocido como alineación representacional. Si bien la evidencia empírica de esta "Hipótesis de la Representación Platónica" es robusta, los mecanismos teóricos que la gobiernan siguen siendo elusivos. Específicamente, persisten preguntas fundamentales sobre:

1. Cómo depende la alineación de la calidad (niveles de ruido) y la cantidad (tamaño de la muestra) de los datos de entrenamiento.
2. Si los mecanismos que impulsan la alineación difieren entre los regímenes subparametrizados y sobreparametrizados.
3. Si la alineación representacional es un predictor confiable de la calidad del modelo (error de generalización).

Los estudios existentes cuantifican principalmente la alineación utilizando herramientas como el Análisis de Similitud Representacional (RSA), el Análisis de Correlación Canónica de Vectores Singulares (SVCCA) y la Alineación de Núcleos Centrados (CKA). Sin embargo, estas métricas a menudo asumen correspondencias lineales y pueden ser inadecuadas para representaciones que residen en variedades no lineales altamente curvas. Además, no está claro si un mejor rendimiento de generalización implica necesariamente representaciones internas más alineadas.

Metodología

Marco Teórico y Métrica

Los autores proponen una nueva medida estadística para la alineación llamada Entropía de Copula Condicional (CCE). A diferencia de las medidas simétricas (por ejemplo, CKA), la CCE es asimétrica y cuantifica qué tan bien la estructura de vecindad de una representación predice la estructura de vecindad de otra.

• Definición: La CCE se deriva del Desequilibrio de Información (II) y se define como la entropía condicional negativa de las variables de copula: $CCE(A \to B) = -\lim_{\eta \to 0} H(c_B | c_A = \eta)$.
• Fundamento: Captura la alineación representacional local midiendo la reducción en la incertidumbre sobre las distancias en el espacio $B$ dado que los puntos están infinitesimalmente cerca en el espacio $A$.
• Tractabilidad Analítica: Crucialmente, para proyecciones unidimensionales de vectores gaussianos, la CCE admite una expresión en forma cerrada que depende del coeficiente de correlación $\rho$: $CCE = -\frac{1}{2}\log(1-\rho^2) - \frac{1}{2}\rho^2$.

Configuración Experimental

El estudio emplea un enfoque multinivel para validar la teoría:

1. Entorno Lineal Maestro-Alumno (Analítico):
   • Modelo: Una red lineal profunda de dos capas entrenada mediante descenso de gradiente en una tarea de regresión lineal ruidosa ($y = w^* \cdot x + \epsilon$).
   • Protocolo: Dos redes alumno idénticas se entrenan independientemente en conjuntos de datos independientes extraídos de la misma distribución maestra.
   • Análisis: Los autores derivan la correlación asintótica ($\rho^*$) entre las representaciones ocultas de las dos redes en el mínimo global. Esto permite el cálculo analítico de la CCE como función de la Relación Señal-Ruido (SNR) y la relación entre el número de muestras de entrenamiento y la dimensión de entrada ($\alpha = n/d$).
2. Simulaciones No Lineales (Numéricas):
   • Modelo: Redes de dos capas con funciones de activación ReLU.
   • Tarea: La misma tarea de regresión sintética que en el entorno lineal.
   • Comparación: Comparación directa de la alineación y el error de generalización entre redes lineales y redes ReLU entrenadas en los mismos datos.
3. Clasificación del Mundo Real:
   • Conjuntos de Datos: CIFAR-10 (utilizando una CNN) y MNIST (utilizando una Red Neuronal de Conexión Total).
   • Protocolo: Las redes se entrenan en subconjuntos independientes de datos con diversos niveles de ruido en las etiquetas (actuando como SNR inversa).
   • Métrica: Se calcula la CCE entre las representaciones de la penúltima capa.

Contribuciones Clave

1. Derivación Teórica: El artículo establece un marco teórico para analizar la alineación representacional en redes lineales profundas, derivando expresiones en forma cerrada para la CCE basadas en la correlación de los pesos aprendidos.
2. Factores de Gobernanza: Los autores demuestran que la alineación está gobernada por dos factores principales:
   • Relación Señal-Ruido (SNR): La alineación aumenta monótonamente con la SNR en todos los regímenes (lineal y no lineal, regresión y clasificación).
   • Tamaño de la Muestra: La alineación varía de forma no monótona con el tamaño de la muestra de entrenamiento. Atinge un mínimo cerca del umbral de interpolación ($n \approx d$ o $n \approx p$), reflejando el comportamiento de "doble descenso" observado en el error de generalización.
3. Desacoplamiento de la Alineación y la Generalización: El estudio proporciona evidencia de que un alto rendimiento de generalización no implica necesariamente una alta alineación representacional.
   • En el régimen subparametrizado, las redes con diferentes SNR pueden lograr errores de generalización idénticos pero exhibir diferentes grados de alineación.
   • En el régimen sobreparametrizado, las redes con menor SNR (mejor generalización) pueden tener representaciones menos alineadas que aquellas con mayor SNR.
4. Informatividad vs. Rendimiento: El artículo muestra que una red puede lograr un mayor rendimiento en la tarea mientras aprende representaciones internas menos informativas que una red con menor rendimiento. Esto destaca que el rendimiento en la tarea es un proxy insuficiente para la calidad de la representación.

Resultados

Redes Lineales

• Error de Generalización: Exhibe la característica curva de doble descenso, alcanzando un pico en el umbral de interpolación ($\alpha = 1$).
• Alineación (CCE): También exhibe una dependencia no monótona del tamaño de la muestra, alcanzando un mínimo (alineación cercana a cero) en el umbral de interpolación.
• Dependencia de la SNR: Una SNR más alta conduce consistentemente a una alineación más fuerte. Cabe destacar que, en el régimen subparametrizado ($\alpha > 1$), diferentes SNR producen el mismo error de generalización pero niveles de alineación distintos.

Redes No Lineales (ReLU)

• Similitud Cualitativa: El comportamiento de la CCE y el error de generalización en las redes ReLU refleja cualitativamente el caso lineal: dependencia no monótona del tamaño de la muestra con un mínimo cerca del umbral de interpolación, y mejora monótona con la SNR.
• Diferencias Cuantitativas: A diferencia del caso lineal, el error de generalización no diverge en el umbral de interpolación, y la CCE no colapsa a cero. En su lugar, converge a un valor dependiente de la SNR, lo que sugiere que incluso en el umbral, las redes no lineales retienen cierta información compartida.
• Comparación Lineal vs. ReLU: Cuando se entrenan en el mismo conjunto de datos, la red lineal logra un error de generalización más bajo (más cercano al aprendiz óptimo de Bayes para este problema lineal) pero aprende representaciones menos informativas (CCE más baja) en comparación con la red ReLU. La red ReLU, a pesar de un error más alto, captura información estructural más rica.

Datos del Mundo Real (CIFAR-10, MNIST)

• Ruido en las Etiquetas: Introducir ruido en las etiquetas (SNR inversa) aumenta el error de generalización y reduce la alineación representacional.
• Tamaño de la Muestra: La relación no monótona entre el tamaño de la muestra y la alineación se mantiene, con un mínimo cerca del umbral de interpolación.
• Consistencia: Los hallazgos se extienden desde entornos lineales sintéticos hasta tareas de clasificación complejas y del mundo real utilizando arquitecturas estándar.

Significado y Afirmaciones

El artículo afirma proporcionar una dependencia no trivial de la alineación en la calidad y la cantidad de datos, la cual está desacoplada del rendimiento de generalización. Al introducir la CCE, los autores ofrecen una métrica capaz de capturar la alineación en variedades altamente curvas donde las medidas lineales tradicionales (CKA, SVCCA) pueden fallar o reportar similitudes espurias.

El significado central radica en desafiar la suposición de que un mejor rendimiento en la tarea equivale a representaciones internas mejores o más alineadas. Los autores argumentan que:

• El rendimiento en la tarea es un proxy insuficiente para la calidad de la representación. Una red puede superar a otra en una tarea específica y, sin embargo, codificar representaciones internas menos estructuradas o informativas.
• La alineación no es un indicador universal de un aprendizaje "bueno". Los mecanismos que impulsan la alineación (SNR, tamaño de la muestra) operan independientemente de los mecanismos que impulsan el error de generalización en ciertos regímenes.

Estos hallazgos contribuyen a construir una teoría principista del aprendizaje de representaciones al identificar condiciones específicas (SNR y tamaño de la muestra en relación con la dimensionalidad) bajo las cuales las redes entrenadas independientemente convergen hacia representaciones internas estructuralmente similares. El trabajo sugiere que la convergencia "platónica" de las representaciones no está garantizada, sino que está estrictamente gobernada por las propiedades estadísticas de los datos y el régimen de entrenamiento.