🤖 machine learning

Learning reshapes power-law anisotropy in internal representations

Este artículo elucida el mecanismo detrás de la emergencia de la anisotropía de ley de potencia en las representaciones neuronales al demostrar que, a diferencia del régimen donde el exponente espectral permanece estático, el aprendizaje de características en redes lineales y no lineales impulsa una evolución no monotónica de este exponente a través de la interacción dinámica de las estadísticas de entrada y la estructura de la tarea.

Autores originales: Asahi Nakamuta, Jun-nosuke Teramae

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Asahi Nakamuta, Jun-nosuke Teramae

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Las redes neuronales, los motores detrás de la inteligencia artificial moderna, suelen describirse como cajas negras que transforman datos brutos en decisiones complejas. Para comprender cómo funcionan, los científicos miran en su interior hacia las "representaciones internas": los patrones de alta dimensión que la red crea mientras procesa la información. Una forma clave de medir la forma de estos patrones es observando cómo se distribuye la importancia de las diferentes direcciones de la información. En muchos sistemas, desde los cerebros de ratones hasta los modelos de lenguaje más avanzados, esta distribución sigue una regla específica: unas pocas direcciones contienen una enorme cantidad de información, mientras que el resto contiene cantidades progresivamente menores, descendiendo en una curva matemática predecible conocida como ley de potencia. Esta desigualdad, o anisotropía, se considera crucial para la eficiencia con la que una red aprende y generaliza. Durante mucho tiempo, los investigadores asumieron que este patrón era simplemente un reflejo estático de los datos con los que fue alimentada la red, como una huella dactilar dejada por la entrada. Sin embargo, un nuevo estudio desafía esta visión, sugiriendo que el patrón no es solo heredado, sino que es remodelado activamente por el propio proceso de aprendizaje.

Un equipo de investigadores de la Universidad de Kioto se propuso descubrir exactamente cómo ocurre esta remodelación. Se centraron en un modelo simplificado de una red neuronal —un sistema de dos capas con una capa oculta amplia— situado en un escenario de "maestro-alumno". En esta configuración, la red estudiante intenta aprender una tarea definida por un maestro, utilizando datos que ya poseen una estructura de ley de potencia. Los investigadores querían saber: ¿el estudiante simplemente copia el patrón del maestro, o el acto de aprender altera la geometría de la representación interna? Al resolver matemáticamente las ecuaciones que gobiernan cómo cambia la red a lo largo del tiempo, descubrieron que la respuesta depende enteramente de cómo se entrena la red. Encontraron que la red no se establece en un único patrón fijo. En su lugar, la forma de su información interna evoluciona dinámicamente, pasando por distintas fases a medida que aprende.

El estudio revela que la evolución de estos patrones no es una línea recta, sino un viaje a través de diferentes regímenes. Cuando la red es entrenada en un modo de "aprendizaje de características", donde reorganiza activamente su estructura interna para resolver la tarea, el patrón de información experimenta una transformación dramática. Inicialmente, el estado interno de la red refleja los datos de entrada. Pero a medida que el aprendizaje comienza, el patrón cambia. Los investigadores identificaron que la red pasa por hasta cuatro etapas diferentes de organización. En la fase más temprana del aprendizaje, el patrón se vuelve aún más sesgado, con la información concentrándose de manera aún más aguda en unas pocas direcciones. A medida que el aprendizaje continúa, esta inclinación se relaja y el patrón se establece en una nueva forma estable, determinada por la tarea específica que el maestro le pide a la red realizar. Esta nueva forma es una mezcla de la estructura de datos original y las demandas de la tarea, lo que resulta en un patrón final que es diferente tanto de la entrada bruta como del estado inicial.

Crucialmente, los investigadores demostraron que esta remodelación dinámica solo ocurre cuando se permite que la red aprenda las características profundamente. Si la red es entrenada en un régimen donde apenas cambia su estructura interna y depende principalmente de su configuración aleatoria inicial, el patrón permanece congelado. En este estado, la representación interna permanece casi exactamente como estaba al principio, refleando meramente los datos de entrada sin ninguna reorganización significativa. Esta distinción es vital porque demuestra que los patrones de ley de potencia observados en las redes neuronales reales no son consecuencias inevitables de los datos por sí solos. En su lugar, son el resultado de una interacción específica y activa entre la estadística de la entrada y los objetivos específicos de la tarea de aprendizaje.

Para asegurar que estos hallazgos no fueran solo una peculiaridad de su modelo matemático simplificado, el equipo probó su teoría en redes no lineales más complejas que se comportan más como la inteligencia artificial del mundo real. Los resultados se mantuvieron firmes: incluso en estos sistemas más realistas, las representaciones internas cambiaron su forma durante el entrenamiento en el régimen de aprendizaje de características, mientras que permanecieron estáticas en el régimen donde la red depende principalmente de su configuración aleatoria inicial. El estudio sugiere que la anisotropía de ley de potencia observada en cerebros biológicos y artificiales es una propiedad fluida, constantemente reescrita por el proceso de aprendizaje. No es un rasgo fijo de los datos, sino una firma dinámica de cómo un sistema se adapta a su entorno. Este trabajo proporciona una explicación analítica clara de cómo se forja la geometría microscópica del estado interno de una red, ofreciendo una nueva forma de entender la relación entre los datos que un sistema ve y la inteligencia que desarrolla.

Resumen Técnico: El aprendizaje reconfigura la anisotropía de ley de potencia en las representaciones internas

Planteamiento del problema
La anisotropía de ley de potencia en los espectros propios de las representaciones internas es una propiedad geométrica ubicua observada en diversos sistemas neurales, que van desde la corteza cerebral de ratón hasta los grandes modelos de lenguaje. Esta anisotropía, donde los autovalores decaen como una ley de potencia con respecto al rango, está vinculada a la eficiencia de codificación, la robustez y la generalización. Sin embargo, los marcos teóricos existentes tratan mayoritariamente el exponente de la ley de potencia como una cantidad fija heredada de las estadísticas de entrada o asumen que permanece estática durante el entrenamiento. En consecuencia, el mecanismo por el cual el aprendizaje impulsado por tareas reconfigura estos espectros, y cómo el exponente evoluciona dinámicamente en respuesta a la estructura de la entrada y las señales del profesor, sigue sin estar claro. Específicamente, se desconoce si las representaciones internas simplemente heredan las leyes de potencia de la entrada o si experimentan una deformación no trivial, y cómo tales cambios dependen del régimen de aprendizaje (aprendizaje de características frente a linealizado).

Metodología
Para abordar estas cuestiones, los autores analizan una red neuronal lineal de dos capas de ancho amplio en un entorno de profesor-estudiante. El modelo se define con una dimensión de entrada $D$ , un ancho oculto $N$ y una dimensión de salida $P$ , donde $P=D \ll N$ y $N \to \infty$ .

Estructura de la entrada y del profesor: Se asume que tanto la matriz de covarianza de la entrada como la matriz de Gram del profesor son diagonales en el mismo basis ortonormal, con autovalores que decaen como leyes de potencia con exponentes $\alpha$ (entrada) y $\beta$ (profesor).
Dinámica: La red se entrena mediante flujo de gradiente de población sobre el error cuadrático medio. Aunque el mapeo entrada-salida es lineal, el entrenamiento conjunto de los pesos induce dinámicas no lineales en la representación interna.
Enfoque analítico: Los autores derivan la evolución temporal exacta de los autovalores del núcleo de la representación interna (matriz de Gram de los pesos de la primera capa) en los límites de datos infinitos y ancho infinito. Ellos descomponen el espectro en un componente de inicialización (heredado de la entrada) y un componente derivado del profesor (formado a través del aprendizaje).
Análisis de regímenes: El estudio distingue entre el régimen de aprendizaje de características (donde los pesos cambian significativamente) y el régimen linealizado (don donde los pesos permanecen cerca de la inicialización), controlado por el parámetro $\gamma_0$ .
Validación: Las predicciones teóricas se validan mediante simulaciones numéricas de redes lineales de ancho finito y redes no lineales con funciones de activación no lineales.

Contribuciones clave y resultados
El artículo proporciona una caracterización analítica exacta de cómo evoluciona el exponente local de la ley de potencia de las representaciones internas durante el entrenamiento.

Descomposición espectral: Se demuestra que el espectro de la representación interna $\rho_k(t)$ consta de dos componentes aditivos: uno derivado de la covarianza de la entrada (presente en la inicialización) y otro inducido por la señal del profesor mediante el aprendizaje. La dominancia relativa de estos componentes determina la forma espectral.
Cuatro regímenes de exponentes asintóticos: En el régimen de aprendizaje de características, el exponente efectivo local de la ley de potencia $\alpha_{\text{eff}}(k, t)$ no es estático. A medida que el entrenamiento progresa, el espectro exhibe hasta cuatro regímenes asintóticos distintos dependiendo del índice del modo $k$ y el tiempo de entrenamiento $t$ :
- Región I (Dominada por la inicialización): $\alpha_{\text{eff}} \approx \alpha$ . Ocurre cuando el cambio inducido por el aprendizaje es insignificante en comparación con la inicialización.
- Región II (Aprendizaje temprano, primera capa dominante): $\alpha_{\text{eff}} \approx 3\alpha + \beta$ . Ocurre cuando el aprendizaje ha comenzado pero el modo aún no ha sido completamente aprendido, y la primera capa domina la actualización.
- Región IIIa (Aprendido, primera capa dominante): $\alpha_{\text{eff}} \approx \alpha + \beta$ . Ocurre cuando el modo es aprendido y la primera capa porta la señal de aprendizaje primaria.
- Región IIIb (Aprendido, ambas capas): $\alpha_{\text{eff}} \approx \alpha + \beta/2$ . Ocurre cuando el modo es aprendido y el aprendizaje se distribuye a través de ambas capas.
  La transición entre estos regímenes es no monótona; para un modo fijo, el exponente puede primero aumentar su pendiente (transitoriamente) y luego disminuir a medida que se incorpora la señal del profesor.
Estabilidad del régimen linealizado: En el régimen linealizado, el componente inducido por el aprendizaje nunca supera al componente de inicialización. En consecuencia, el exponente local permanece esencialmente inalterado ( $\alpha_{\text{eff}} \approx \alpha$ ) durante todo el entrenamiento, indicando que la representación interna no reconfigura significativamente la anisotropía de la entrada.
Generalizabilidad a redes no lineales: Experimentos numéricos con redes no lineales demuestran que las transiciones espectrales predichas y la distinción entre los regímenes de aprendizaje de características y linealizado persisten más allá del modelo lineal. En entornos de aprendizaje de características no lineales, el espectro transiciona de manera similar de $\alpha$ a $\alpha + \beta$ sobre rangos de modos finitos.

Significado
El artículo afirma proporcionar un mecanismo general que explica la formación de representaciones internas de ley de potencia. Los resultados sugieren que estas representaciones no son meramente reflejos estáticos de las estadísticas de entrada, sino que son reconfiguradas dinámicamente por la interacción entre la anisotropía de la entrada, la anisotropía de la señal del profesor y las escalas de tiempo de aprendizaje dependientes del modo.

Al demostrar que el exponente de la ley de potencia puede tomar múltiples valores asintóticos y evolucionar de forma no monótona, el trabajo desafía la suposición de un exponente fijo en los análisis teóricos. Establece que las propiedades geométricas de las representaciones internas son una consecuencia de la interacción específica entre la estructura de los datos y la dinámica de aprendizaje impulsada por tareas. Este marco analítico ofrece un punto de partida para comprender cómo la geometría espectral microscópica se relaciona con el rendimiento macroscópico y las leyes de escala en las redes neuronales.

Más como este