🔬 condensed matter

Weak Correlations as the Underlying Principle for Linearization of Gradient-Based Learning Systems

Este artículo propone que la linealización del aprendizaje basado en gradientes en redes neuronales profundas, particularmente en el límite de ancho infinito, surge de las correlaciones débiles entre las primeras derivadas y las derivadas de orden superior de la función de hipótesis, un principio utilizado para derivar cotas sobre las desviaciones de entrenamiento y caracterizado mediante un nuevo método para analizar tensores aleatorios.

Autores originales: Ori Shem-Ur, Khen Cohen, Aviv Orly, Yaron Oz

Publicado 2026-08-13

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ori Shem-Ur, Khen Cohen, Aviv Orly, Yaron Oz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando comprender una orquesta masiva y caótica. En el mundo de la inteligencia artificial, esta orquesta es una "red neuronal", un programa de computadora diseñado para aprender de los datos. Estas redes están hechas de millones de partes diminutas (llamadas parámetros) que se comunican entre sí. Por lo general, cuando aprenden, se comportan como una tormenta salvaje y no lineal —cambiando de formas complejas e impredecibles que son increíblemente difíciles de mapear—.

Sin embargo, los científicos han descubierto un truco extraño: si haces que la orquesta sea lo suficientemente grande (añadiendo tantos músicos que se aproxima al infinito), el caos de repente se calma. La red comienza a comportarse como una línea simple y recta. Esto se llama el límite del "Kernel de Tangente Neuronal" (NTK, por sus siglas en inglés). Piensa en esto como una bola de estambre enredada que, al estirarse a un tamaño masivo, de repente parece un hilo perfectamente recto. Durante años, los investigadores han sabido que esto sucede, pero se han estado rompiendo la cabeza preguntándose por qué. ¿Es magia? ¿Es solo un efecto secundario de las matemáticas? ¿Y por qué este comportamiento de "línea recta" a veces falla al predecir cómo se desempeñan las redes reales de tamaño finito en tareas complicadas?

Este artículo, titulado "Perspectiva del Kernel de Tangente Neuronal sobre las Simetrías del Espacio de Parámetros", se sumerge en este misterio. Los autores, un equipo de la Universidad de Tel Aviv, proponen una nueva forma de mirar el problema. Sugieren que la razón por la que estas redes gigantescas se convierten en líneas rectas es debido a las "correlaciones débiles". Imagina las partes de la red como un grupo de amigos. En una red normal y desordenada, todos están chismeando e influyendo en las decisiones de los demás. Pero en estas redes gigantes y lineales, los amigos apenas se hablan entre sí. El artículo argumenta que esta falta de conexión (correlación débil) entre las diferentes partes de la red es la causa fundamental del comportamiento de línea recta. No solo lo adivinaron; construyeron un nuevo conjunto de herramientas matemáticas para demostrarlo y mostraron que, cuando estas correlaciones son débiles, la red debe comportarse de manera lineal. También utilizaron simulaciones por computadora para mostrar que esta teoría se sostiene en la práctica, ayudando a explicar por qué algunas redes aprenden mejor que otras y por qué la teoría del "infinito" a veces no acierta en el mundo real.

La historia de la orquesta silenciosa

Para entender lo que descubrieron los autores, volvamos a nuestra orquesta. Cuando una red neuronal aprende, ajusta sus perillas internas (parámetros) para mejorar en una tarea, como reconocer un gato en una foto. Usualmente, girar una perilla afecta a muchas otras de una manera complicada y no lineal. Es como si el baterista, al cambiar su ritmo, de repente hiciera que el violinista cambiara su tono, lo que a su vez hiciera que el bajista cambiara de instrumento. Es un caos.

Pero los autores notaron algo especial sobre las redes "infinitas". Se dieron cuenta de que, para que la red actúe como una línea simple y recta, las "perillas" deben dejar de influenciarse entre sí de una manera profunda y enredada. A esto lo llaman correlaciones de derivadas débiles.

Aquí hay una forma sencilla de visualizarlo: imagina que intentas predecir el clima.

Correlación Fuerte (La Red Desordenada): Miras el viento y este te dice la temperatura. Pero la temperatura también le dice al viento, y la humedad les dice a ambos. Todo está conectado en una red gigante y enredada. Cambiar una sola cosa repercute en todo el sistema en una curva salvaje e impredecible.
Correlación Débil (La Red Lineal): Miras el viento y este te dice la temperatura. Pero a la temperatura ya no le importa realmente el viento. Son mayormente independientes. Si cambias el viento, la temperatura cambia de una manera simple y predecible, en línea recta.

El artículo demuestra que la linealidad es exactamente lo mismo que tener estas correlaciones débiles. Si las partes de la red están "débilmente correlacionadas" (no se hablan mucho entre sí), el sistema completo se vuelve lineal. Si están fuertemente correlacionadas, sigue siendo desordenado y no lineal.

El misterio del "Huevo o la Gallina"

Este descubrimiento resuelve un gran rompecabezas. Durante mucho tiempo, la gente pensó que la red se volvía lineal simplemente porque era enorme. Pero este artículo sugiere que es en realidad porque la forma específica en que se construyen estas redes enormes hace que sus partes sean independientes entre sí.

Los autores también abordan una pregunta difícil: ¿es esta independencia algo bueno o malo?

La Vista "Estática": Algunos podrían pensar que, debido a que las partes no se comunican entre sí, la red es "estática" y solo memoriza las cosas de una manera simple.
La Vista del "Sesgo": Los autores sugieren una idea más profunda. Argumentan que estas correlaciones débiles son en realidad una forma de eliminar el sesgo. Si las partes de la red están demasiado conectadas, podrían forzar a la red a aprender un patrón específico y extraño que en realidad no está en los datos. Al mantener las correlaciones débiles, la red se mantiene "abierta de mente" y aprende los datos en sí mismos.

Sin embargo, el artículo señala una parado laja. Aunque este comportamiento "estático" y lineal es matemáticamente hermoso y fácil de estudiar, las redes neuronales del mundo real (que son finitas, no infinitas) a menudo superan a estos modelos lineales. ¿Por qué? Los autores sugieren que tal vez las redes reales necesitan cierta conexión (cierta correlación) para aprender los patrones complicados y no lineales del mundo real. Si fuerzas a la red a ser demasiado lineal (demasiado descorrelacionada), podría perderse el "sabor" de los datos.

Lo que realmente hicieron

Los autores no solo hablaron de esto; construyeron un nuevo lenguaje matemático para describirlo. Introdujeron una forma de medir el "comportamiento asintótico" de los tensores aleatorios (que son solo cuadrículas de números multidimensionales muy sofisticadas que cambian a medida que la red crece). Piensa en esto como una nueva regla que puede medir qué tan "salvaje" o "calma" es una red a medida que se agranda.

Usando esta nueva regla, ellos:

Demostraron la Conexión: Demostraron matemáticamente que si las correlaciones son débiles, la red debe volverse lineal. Es una relación de "si y solo si".
Comprobaron las Matemáticas con Simulaciones: Realizaron experimentos computacionales en conjuntos de datos reales (como MNIST y CIFAR10) con diferentes tamaños de red y velocidades de aprendizaje. Midieron cuánto se desviaba la red real de la predicción de la "línea recta".
Encontraron los Límites: Descubrieron que la predicción de la "línea recta" funciona de maravilla cuando la red es enorme y la tasa de aprendizaje es la adecuada. Pero si haces la tasa de aprendizaje demasiado rápida o la red demasiado pequeña, la "correlación débil" se rompe y la red vuelve a ser desordenada y no lineal.

La Conclusión

El artículo sugiere que la "magia" de las redes neuronales anchas no es magia en absoluto. Es el resultado de que las partes de la red se vuelven tan numerosas que dejan de interferir entre sí. Este "silencio" entre las partes es lo que permite que la red se comporte como una línea simple y recta.

Pero aquí está el giro: los autores insinúan que este silencio podría ser la razón por la cual estas redes infinitas a veces pierden contra las redes reales y finitas. La vida real es desordenada y está conectada. Tal vez las mejores redes no son aquellas que son perfectamente silenciosas y lineales, sino aquellas que encuentran un punto ideal: donde son mayormente lineales pero aún conservan el suficiente "chisme" (correlación) para aprender los secretos complejos y no lineales del mundo.

En resumen, el artículo nos ofrece un nuevo lente para ver por qué las grandes redes neuronales se comportan de la manera en que lo hacen. Nos dice que la clave de su simplicidad es su falta de conexión, pero también nos advierte que demasiada simplicidad podría hacer que perdamos de vista lo importante.

Resumen Técnico: Perspectiva del Kernel de Tangente Neuronal sobre las Simetrías en el Espacio de Parámetros

Declaración del Problema

Los modelos de aprendizaje profundo, particularmente las redes neuronales sobreparametrizadas, suelen modelarse como sistemas dinámicos no lineales con numerosos grados de libertad que interactúan entre sí. Si bien el marco del Kernel de Tangente Neuronal (NTK) estableció que las redes neuronales de ancho amplio se comportan de manera lineal con respecto a sus parámetros en el límite de ancho infinito, los mecanismos fundamentales que impulsan esta linealización siguen sin comprenderse completamente. La literatura existente ha debatido la "paradoja de la inferioridad del NTK", donde el aprendizaje basado en NTK suele tener un rendimiento inferior al de las redes de ancho finito en datos del mundo real. Además, los análisis previos de la linealización se han visto restringidos a arquitecturas específicas, han dependido del promedio de valores de correlación en lugar de su comportamiento asintótico, o no han logrado proporcionar una equivalencia unificada entre la linealización y las propiedades estructurales subyacentes. Este artículo busca identificar la causa fundamental de la linealización en los sistemas de aprendizaje basados en el descenso de gradiente y proporcionar un marco riguroso y general para analizar las desviaciones de la linealidad durante el entrenamiento.

Metodología

Los autores introducen un nuevo marco analítico centrado en las correlaciones de derivadas débiles y una nueva herramienta matemática para caracterizar el comportamiento asintótico de tensores aleatorios.

Comportamiento Asintótico de Tensores Aleatorios: El artículo define una "Norma de Tensor Subordinada" combinada con una "Notación Big-O Estocástica" para caracterizar el comportamiento asintótico de los tensores aleatorios a medida que el tamaño del sistema (parámetro límite $n$ ) tiende al infinito. Esta notación permite acotar rigurosamente las secuencias de tensores aleatorios, abordando los desafíos relacionados con la estocasticidad y la complejidad de los componentes. Los autores demuestran la existencia y unicidad de límites asintóticos definidos para estos tensores utilizando el lema de Zorn.
Correlaciones de Derivadas: Los autores definen un conjunto de funciones de correlación, $C_{D,d}(\theta)$ , que miden la correlación entre la primera derivada de la función de hipótesis y sus derivadas de orden superior (específicamente, la interacción entre la derivada de orden $D$ y $d$ copias de la primera derivada). Estas correlaciones están normalizadas por la tasa de aprendizaje y términos factoriales.
Teoremas de Equivalencia: La contribución teórica central es el establecimiento de una equivalencia entre la linealidad de la dinámica de aprendizaje y la debilidad de estas correlaciones de derivadas en la inicialización.
- Teoremas 3.1 y 3.2: El artículo demuestra que, para el aprendizaje basado en el descenso de gradiente, el sistema exhibe un comportamiento lineal (donde la función de hipótesis y sus derivadas evolucionan linealmente) si y solo si las correlaciones entre la primera derivada y las derivadas de orden superior decaen a una tasa específica (por ejemplo, $O(1/\sqrt{n})$ o $O(1/n)$ ) cuando el ancho $n \to \infty$ .
- Las demostraciones utilizan expansiones en series de Taylor de la función de hipótesis y sus derivadas, demostrando que la evolución del sistema está gobernada por una combinación lineal de estas correlaciones.
Aplicación a Redes Neuronales: Utilizando el formalismo de "Programas de Tensores" (extendiendo el trabajo de Yang & Littwin), los autores aplican su marco a redes neuronales totalmente conectadas (FCNN). Demuestran mediante inducción que las FCNN anchas con una inicialización y funciones de activación apropiadas satisfacen la condición de ser "débilmente correlacionadas", probando así que son sistemas PGDML (Aprendizaje Automático Basado en Descenso de Gradiente Propiamente Normalizado).

Contribuciones Clave

Equivalencia Fundamental: El artículo establece que la linealización observada en las redes neuronales anchas es fundamentalmente equivalente a la existencia de correlaciones débiles entre la primera derivada y las derivadas de orden superior de la función de hipótesis en la inicialización. Esto proporciona una condición necesaria y suficiente para la linealización, yendo más allá de las condiciones suficientes encontradas en trabajos previos.
Marco General: A diferencia de las pruebas anteriores restringidas a arquitecturas específicas, este enfoque se aplica a cualquier sistema que pueda describirse como una composición de operaciones lineales globales y funciones no lineales punto a punto (incluyendo aquellos fuera del formalismo estricto de Programas de Tensores, como redes con distintas funciones de activación por neurona).
Límites de Desviación: Los autores derivan un límite para la desviación de la linealidad durante el entrenamiento con Descenso de Gradiente Estocástico (SGD) a lo largo del tiempo. Esto generaliza resultados previos para el descenso de gradiente determinista, mostrando que, para sistemas exponencialmente débilmente correlacionados, la desviación permanece acotada por $O(s^0/m(n))$ sobre $s$ pasos.
Nueva Herramienta Analítica: La introducción del formalismo de "Comportamiento Asintótico de Tensores Aleatorios" proporciona un método robusto para analizar el comportamiento límite de los tensores aleatorios, el cual los autores argumentan es aplicable más allá del aprendizaje profundo a diversos marcos matemáticos y físicos.

Resultados

Validación Teórica: El artículo demuestra que las redes neuronales anchas son $\sqrt{n}$ -débilmente correlacionadas y con potencia débilmente correlacionadas, confirmando que su comportamiento lineal surge de la composición estructural de submodelos débiles (las neuronas se vuelven independientes en el límite de ancho infinito).
Sensibilidad de la Arquitectura: El análisis revela cómo las modificaciones arquitectónicas afectan las tasas de linealización. Por ejemplo, la $n$ -ésima derivada de la función de activación $\phi^{[n]}$ debe satisfacer $\phi^{[n]} \le O((n+1)!)$ para asegurar que el sistema permanezca débilmente correlacionado.
Soporte Empírico: Experimentos numéricos en los conjuntos de datos MNIST, CIFAR10 y FMNIST validan las predicciones teóricas. Los experimentos comparan la dinámica de entrenamiento de redes no lineales contra sus aproximaciones lineales (NTK). Los resultados muestran que el error de linealización escala con el ancho de la red y el escalamiento de la tasa de aprendizaje, con pendientes de ley de potencia observadas consistentes con (aunque ligeramente más planas que) los límites teóricos superiores.
Dinámica de SGD: Los límites derivados confirman que, si bien la linealización se mantiene, la desviación de la medida lineal se acumula durante los pasos de entrenamiento, proporcionando una explicación teórica de por qué las redes de ancho finito pueden divergir de las predicciones de NTK durante horizontes de entrenamiento largos.

Significado y Reivindicaciones

El artículo postula que las correlaciones de derivadas débiles son la causa fundacional de los atributos de linealidad prevalentes en las redes neuronales anchas. Los autores argumentan que esta perspectiva redefine la comprensión de la "paradoja de la inferioridad del NTK": el aprendizaje lineal puede tener un rendimiento inferior al de las redes neuronales finitas no porque la linealidad sea inherentemente superior, sino porque las redes finitas retienen "sesgos" beneficiosos en forma de correlaciones de derivadas no nulas que les permiten priorizar estructuras de datos realistas sobre el límite lineal "excesivamente imparcial".

La importancia de este trabajo radica en su capacidad para:

Proporcionar un criterio universal para la linealización aplicable a sistemas de aprendizaje genéricos, no solo a redes neuronales.
Ofrecer una explicación unificada de por qué las redes anchas se linealizan, vinculándolo directamente con la independencia estadística de los parámetros en la inicialización.
Permitir el análisis de la dinámica de entrenamiento (desviación en el tiempo) en entornos estocásticos, lo cual es crucial para aplicaciones prácticas donde el SGD es el optimizador estándar.
Sugerir que la introducción de correlaciones específicas (no linealidades en la estructura del sesgo) podría ser una estrategia viable para mejorar el aprendizaje en escenarios donde la linealización estricta (límite NTK) es subóptima.

Los autores concluyen que su marco ofrece una comprensión más profunda y general de la transición de "aprendizaje de características" (feature learning) al límite NTK, cerrando la brecha entre los límites teóricos de ancho infinito y el éxito empírico del aprendizaje profundo de ancho finito.