📊 statistics

Quantitative Gaussian-Process limits of Tensor Programs

Este artículo establece una teoría de convergencia cuantitativa para los límites de procesos gaussianos de ancho infinito de redes neuronales aleatorias con arquitecturas arbitrarias, incluyendo esquemas de uso compartido de pesos, al proporcionar cotas de error de ancho finito explícitas de orden $O(1/\sqrt{N})$ en la distancia de Wasserstein utilizando el marco del programa tensorial.

Autores originales: Andrea Agazzi, Eloy Mosig García, Dario Trevisan

Publicado 2026-07-08

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andrea Agazzi, Eloy Mosig García, Dario Trevisan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás horneando un pastel gigante y complejo. En el mundo de la inteligencia artificial, este "pastel" es una red neuronal, un programa informático diseñado para aprender patrones. Los "ingredientes" son números llamados pesos, y las "capas" del pastel son donde ocurre la magia.

Normalmente, para hacer un pastel, necesitas una cantidad específica y finita de harina y azúcar. En la IA, esto se llama una red de ancho finito. Tiene un número determinado de neuronas (como un número determinado de cuencos para mezclar) en cada capa.

Pero a los matemáticos les encanta preguntarse: "¿Qué pasa si hacemos el pastel infinitamente ancho?". ¿Qué pasaría si tuviéramos un número infinito de cuencos para mezclar?

La Gran Idea: El Límite del "Pastel Infinito"

El artículo de Agazzi, García y Trevisan trata de entender la relación entre el pastel real y finito (el que realmente podemos construir y ejecutar en una computadora) y el pastel infinito teórico (un objeto matemático perfecto y suave llamado Proceso Gaussiano).

Durante mucho tiempo, supimos que a medida que añades más y más capas o haces las capas más anchas, la red finita empieza a parecerse cada vez más a este objeto matemático infinito y suave. Es como cuando una imagen pixelada se ve borrosa y dentada de cerca, pero se convierte en una imagen perfecta y suave cuando te alejas lo suficiente.

El Problema: Estudios previos nos dijeron que convergen, pero no nos dijeron qué tan rápido o qué tan cerca están en un tamaño específico. Era como decir: "Tu pastel eventualmente sabrá como el perfecto", sin decirte si necesitas 10 huevos extra o 1,000.

La Solución: Este artículo proporciona una receta cuantitativa. Ofrece una fórmula precisa para el "error" (la diferencia en el sabor) entre la red finita y el ideal infinito.

La Lente de los "Programas Tensoriales"

Para resolver esto, los autores utilizan una herramienta llamada Programas Tensoriales. Piensa en esto como un traductor universal.

La Analogía: Imagina que tienes diferentes tipos de sets de LEGO: una casa simple, una nave espacial compleja y un robot. Todos se ven diferentes, pero todos se construyen utilizando las mismas reglas básicas: encajar bloques (Multiplicación de Matrices) y pintarlos (funciones no lineales).
El Truco del Artículo: En lugar de analizar cada set de LEGO individualmente, los autores crearon un "lenguaje maestro" (Programas Tensoriales) que describe cualquier estructura de red, ya sea una red feed-forward simple, una red recurrente (como un bucle de memoria) o incluso partes de un Transformer (la tecnología detrás de los chatbots de IA modernos).
Por qué importa: Esto les permite demostrar un gran teorema que cubre todas estas diferentes arquitecturas a la vez, en lugar de escribir una nueva prueba para cada nuevo tipo de red inventada.

El Resultado Principal: La Regla de la "Raíz Cuadrada"

El hallazgo más importante del artículo es una regla específica sobre el error.

Si tienes una red con un ancho de $n$ (el número de neuronas en una capa), la diferencia entre tu red finita y la perfecta infinita disminuye a un ritmo de $1/\sqrt{n}$ .

La Metáfora: Imagina que intentas adivinar la altura promedio de las personas en una ciudad.
- Si preguntas a 4 personas, tu suposición podría estar muy errada.
- Si preguntas a 100 personas, estás mucho más cerca.
- Si preguntas a 10,000 personas, estás muy cerca.
- El artículo demuestra que para estas redes neuronales, la "cercanía" mejora exactamente tan rápido como la raíz cuadrada del aumento en el número de neuronas. Si cuadruplicas el tamaño de tu red, reduces el error a la mitad.

Manejando las Partes "Truculentas"

El artículo también aborda dos complicaciones específicas que hacen que las redes del mundo real sean desordenadas:

Compartición de Pesos (Weight Sharing): En algunas redes (como aquellas que recuerdan cosas a través del tiempo, o "Redes Neuronales Recurrentes"), el mismo conjunto de pesos se reutiliza múltiples veces, como usar la misma cuchara para revolver diferentes cuencos. Los autores demuestran que su matemática sigue funcionando perfectamente incluso cuando se usa la misma "cuchara" una y otra vez.
Mecanismos de Atención: La IA moderna (como los modelos que escriben ensayos o código) utiliza la "Atención" para enfocarse en partes específicas de la entrada. Esto implica calcular "kernels" (esencialmente, cuánto le importa una parte de los datos a otra). Los autores extendieron su matemática para incluir estos variables "escalares", demostrando que incluso estas arquitecturas complejas y modernas siguen la misma regla de $1/\sqrt{n}$ .

La Estrategia de la "Prueba": Construyendo Línea por Línea

¿Cómo demostraron esto? No intentaron mirar todo el pastel gigante a la vez. En su lugar, lo miraron línea por línea.

Imagina que la red es una línea de ensamblaje larga.

Comienzan al principio (la entrada).
Demuestran que si el primer paso es cercano al ideal, el segundo paso también será cercano.
Utilizan una técnica llamada acoplamiento (coupling). Imagina que tienes dos panaderos: uno haciendo el pastel real (finito) y otro haciendo el pastel perfecto (infinito). Los autores muestran cómo hacer que ambos usen exactamente los mismos ingredientes aleatorios (ruido) en cada paso. Debido a que usan el mismo ruido aleatorio, cualquier diferencia en el pastel final se debe puramente al tamaño de la red, no a la suerte aleatoria.

Lo que Probaron (Los Experimentos)

Para asegurarse de que su matemática no era solo teoría, realizaron simulaciones por computadora. Construyeron redes de diferentes tamaños (superficiales, profundas, recurrentes y residuales) y midieron qué tan cerca estaba la salida de la ideal teórica.

Encontraron que a medida que hacían las redes más anchas, la "distancia" entre la salida real y la salida perfecta caía exactamente como su matemática predecía. Los gráficos mostraron una línea clara y recta en una escala logarítmica, confirmando que la regla de $1/\sqrt{n}$ se mantiene incluso para las estructuras de IA complejas y modernas.

Resumen

En resumen, este artículo es una garantía matemática. Nos dice que no importa cuán compleja sea la arquitectura de tu red neuronal (siempre que encaje dentro de sus reglas de "Programas Tensoriales"), si la haces más ancha, se acercará a un objeto matemático perfecto y suave. Y te dice exactamente qué tan ancha necesitas que sea para obtener un nivel específico de precisión. Convierte una promesa vaga de "más grande es mejor" en una regla precisa y calculable.

Resumen Técnico: Límites Cuantitativos de Procesos Gaussianos de Tensores

Planteamiento del Problema
El artículo aborda la convergencia de las redes neuronales aleatorias hacia Procesos Gaussianos (GP) en el límite de ancho infinito. Si bien los resultados cualitativos del Teorema del Límite Central (TLC) para redes totalmente conectadas y el régimen del Kernel de Tangente Neuronal (NTK) están bien establecidos, existe la necesidad de obtener tasas de convergencia cuantitativas rigurosas para una clase más amplia de arquitecturas. Específicamente, los autores pretenden proporcionar cotas de error explícitas para anchos finitos en redes que involucran esquemas de uso compartido de pesos (por ejemplo, redes recurrentes, transformadores) y grafos computacionales complejos, yendo más allá de las estructuras simples de alimentación hacia adelante (feed-forward). El objetivo es cuantificar la distancia entre las ejecuciones de redes de ancho finito y sus contrapartes de procesos gaussianos de ancho infinito utilizando la métrica de Wasserstein.

Metodología
Los autores utilizan el formalismo de los Programas de Tensores, específicamente el lenguaje Netsor, para abstraer las arquitectas de redes neuronales. Este marco trata las redes como secuencias de operaciones elementales (MatMul y NonLin) que actúan sobre variables de tipos específicos (variables H para estados ocultos, variables A para pesos y variables G para pre-activaciones).

La metodología central consiste en:

Reglas de Ejecución Dual: Definir dos modos de ejecución para un programa Netsor:
- Ancho finito: Multiplicación de matriz por vector estándar con pesos inicializados gaussianamente ( $W_{ij} \sim N(0, 1/m)$ ).
- Ancho infinito: Un límite donde las multiplicaciones de matrices son reemplazadas por sus aproximaciones de límite central gaussiano, tratando las variables G como variables aleatorias conjuntamente gaussianas con covarianzas definidas por kernels recursivos.
Acoplamiento Cuantitativo: La demostración emplea un acoplamiento explícito línea por línea sobre la estructura del programa. Los autores construyen un acoplamiento explícito entre las ejecuciones de ancho finito e infinito.
- Para las operaciones NonLin, el error se controla mediante la continuidad de Lipschitz de las funciones de activación.
- Para las operaciones MatMul, ambas ejecuciones son condicionalmente gaussianas dada la presencia de los estados ocultos previos. Los autores acoplan sus leyes condicionales utilizando el mismo ruido gaussiano estándar. El error resultante se reduce a estimar la diferencia entre las medias condicionales y las raíces cuadradas de las covarianzas condicionales.
Lemas Estructurales: La demostración se apoya en lemas estructurales que muestran que las medias y covarianzas condicionales son funciones de dimensión finita de las matrices de Gram de las variables padre. Los autores utilizan la diferenciabilidad de estas funciones en el punto de ancho infinito (tras reducir los casos degenerados) y aplican una Ley de los Grandes Números (LLN) de Kernel cuantitativa para acotar las desviaciones.
Extensión a NetsorK: Para cubrir mecanismos de atención y capas de normalización, el marco se extiende a NetsorK, que introduce variables de kernel escalares y no linealidades paramétricas escalares. Esto requiere el manejo de condiciones de Lipschitz local y asegurar la no degeneración de los límites gaussianos.

Contribuciones Clave

TLC Cuantitativo para Programas de Tensores: El resultado principal (Teorema 1.2) establece que para un programa Netsor con $L$ líneas, la distancia de Wasserstein ( $W_p$ ) entre la ejecución de ancho finito escalada y el proceso gaussiano de ancho infinito está acotada por $O(\sum_{m \in n_{hidd}} m^{-1/2})$ , donde $n_{hidd}$ representa los anchos ocultos. Esto proporciona una tasa de convergencia de raíz cuadrada inversa explícita.
Marco Agnóstico a la Arquitectura: Los resultados se aplican a cualquier arquitectura expresable como un programa Netsor, incluyendo redes de alimentación hacia adelante, redes neuronales recurrentes (RNN) con uso compartido de pesos, y redes evaluadas simultáneamente en múltiples entradas.
LLN de Kernel: El artículo deriva una Ley de los Grandes Números cuantitativa para kernels empíricos (Corolario 1.3), mostrando que los productos internos empíricos de los estados ocultos convergen a sus expectativas de ancho infinito con la misma tasa $O(n^{-1/2})$ .
Extensión a la Atención: La introducción del lenguaje NetsorK y el Teorema 2.4 extiende estas garantías cuantitativas a arquitecturas que involucran variables de kernel escalares (como puntuaciones de atención) y no linealidades paramétricas escalares (como LayerNorm, Softmax), siempre que se cumplan condiciones específicas de no degeneración y Lipschitz.

Resultados

Tasas de Convergencia: Los límites teóricos confirren que el error entre las redes de ancho finito y sus límites de GP escala como la inversa de la raíz cuadrada de los anchos de las capas ocultas.
Validación Numérica: La Sección 5 presenta experimentos numéricos en Perceptrones Multicapa (MLP), RNNs con tiempo desplegado (time-unrolled) y Redes Residuales. Utilizando la distancia de Sliced Wasserstein-1, los autores observan tasas de convergencia (pendientes log-log) que son estrictamente más pronunciadas que $-0.5$ (el piso de ruido de muestreo), confirmando que la señal de convergencia arquitectónica es visible. Por ejemplo, los MLP profundos mostraron una pendiente de $-0.916$, y las Redes Residuales mostraron $-0.797$.
Manejo de la Degeneración: El artículo demuestra cómo reducir las líneas MatMul degeneradas (donde la varianza condicional se anula) a líneas NonLin, asegurando la validez de los límites cuantitativos bajo supuestos de no degeneración.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como un contraparte cuantitativa de la teoría de límite cualitativa proporcionada por el Teorema Maestro de Yang para programas de tensores. Mientras que el teorema de Yang ofrece una descripción cualitativa amplia de los límites de ancho infinito, este artículo proporciona cotas de error explícitas y verificables para una rica clase de arquitecturas.

La significancia radica en:

Análisis Riguroso de Ancho Finito: Ir más allá de las declaraciones asintóticas para proporcionar estimaciones de error concretas para redes de ancho finito prácticas.
Manejo del Uso Compartido de Pesos: Abordar las limitaciones de los TLC independientes capa por capa al capturar la estructura gaussiana condicional esencial para las arquitecturas recurrentes y de pesos compartidos.
Fundamento para Trabajos Futuros: Al establecer un marco cuantitativo para Netsor y NetsorK, este artículo sienta las bases para analizar arquitecturas modernas más complejas (como los Transformadores) y potencialmente extender estos límites a la dinámica de entrenamiento, aunque el trabajo actual se centra estrictamente en el régimen de inicialización (pasada hacia adelante).

El artículo mantiene sus reivindicaciones con modestia, señalando que el lenguaje Netsor aún no cubre todas las operaciones de las arquitecturas modernas sin extensión, y que los límites cuantitativos dependen de supuestos de regularidad específicos (continuidad de Lipschitz) y condiciones de no degeneración.