🔬 condensed matter

Criticality in Neural Network Function Space through Wilsonian Fixed Points and Finite-Width Corrections

Este artículo propone un marco wilsoniano que interpreta las redes neuronales de ancho finito como teorías de campos cuánticos interactuantes que emergen de un punto fijo gaussiano, donde la criticidad surge de las correcciones de ancho finito que introducen interacciones no gaussianas, vinculando así la arquitectura de la red y la dinámica de entrenamiento con la emergencia de la complejidad, la expresividad y los comportamientos de tipo fase en el espacio de funciones.

Autores originales: Eric Howard, Iftekher S. Chowdhury, Hardique Dasore, Hom Nath Dhungana

Publicado 2026-08-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eric Howard, Iftekher S. Chowdhury, Hardique Dasore, Hom Nath Dhungana

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El aprendizaje profundo ha transformado la forma en que las máquinas ven, hablan y razonan, sin embargo, la maquinaria matemática detrás de estos sistemas sigue siendo una caja negra para la mayoría. En el corazón de este misterio subyace una pregunta fundamental: ¿qué sucede realmente dentro de una red neuronal cuando aprende? Tradicionalmente, los científicos han visto estos sistemas como vastas colecciones de números ajustables, o parámetros, donde el objetivo es sintonizar estos números para minimizar el error. Sin embargo, ha surgido una perspectiva más abstracta que sugiere que una red neuronal se entiende mejor no por sus ajustes internos, sino por la distribución de probabilidad de las funciones que puede producir. En esta visión, la red es un generador de posibilidades, y su comportamiento está definido por la forma de las funciones que crea más que por las perillas específicas que gira. Este cambio de perspectiva permite a los investigadores aplicar herramientas de la física estadística y la teoría cuántica de campos para comprender cómo estos sistemas se organizan, particularmente cuando son extremadamente anchos o cuando son empujados al borde de la estabilidad.

Un equipo de investigadores de la Universidad de Macquarie y la Universidad de Charles Sturt ha tomado esta visión abstracta y ha desarrollado un nuevo marco para explicar por qué las redes neuronales se comportan de la manera en que lo hacen. Proponen que el comportamiento de estas redes puede entenderse a través del lente de la "criticalidad", un estado encontrado en sistemas físicos donde la materia se posiciona entre el orden y el caos. En su análisis, tratan a la red neuronal idealizada e infinitamente ancha como una base simple y predecible, similar a un paisaje tranquilo y plano. Luego examinan qué sucede cuando la red es finita en tamaño, lo que introduce pequeñas y complejas interacciones que rompen esta simplicidad. Los investigadores argumentan que estos efectos de tamaño finito no son meros errores técnicos que deban ignorarse, sino que son en realidad la fuente de la capacidad de la red para aprender patrones complejos y expresar comportamientos ricos.

El núcleo de su trabajo implica reinterpretar la relación entre el tamaño de una red y su complejidad. Durante años, la intuición prevalente en el campo ha sido que añadir más parámetros hace que un sistema sea más complejo y difícil de controlar. Los autores desafían esto demostrando que, en el lenguaje del espacio de funciones, hacer una red más ancha en realidad simplifica su comportamiento. A medida que la red crece infinitamente ancha, su salida se vuelve perfectamente predecible y sigue una regla estadística simple conocida como proceso gaussiano, donde todas las interacciones complejas desaparecen. En este límite infinito, la red es esencialmente "libre" y carece de las conexiones intrincadas necesarias para modelar problemas del mundo real difíciles. Los investigadores sugieren que el verdadero poder de una red neuronal proviene del tamaño finito de sus capas, lo que reintroduce estas interacciones necesarias.

Para dar sentido a esto, los autores utilizan un método tomado de la física llamado el enfoque Wilsoniano, que estudia cómo los sistemas cambian a medida que se observan desde diferentes escalas. Identifican el límite de ancho infinito como un punto fijo, un estado estable hacia el cual el sistema tiende. El ancho finito de las redes del mundo real actúa como una perturbación, un pequeño empuje lejos de esta estabilidad perfecta. Los investigadores clasifican estos empujes en tres categorías: algunos se desvanecen a medida que la red se ensancha, otros crecen hasta dominar el sistema, y otros se sitúan en una frontera delicada donde pueden ser sintonizados para crear un comportamiento crítico. Encuentan que las propiedades más interesantes y útiles de las redes neuronales —como su capacidad para generalizar a partir de datos limitados y su capacidad para aprender estructuras complejas— emergen cuando la red opera cerca de esta frontera crítica.

El artículo proporciona varias formas concretas de medir este comportamiento. Los investigadores muestran que, a medida que una red se vuelve más ancha, la diferencia entre su salida real y la predicción idealizada de ancho infinito se reduce de una manera predecible, siguiendo un decaimiento matemático específico. Demuestran que las partes "conectadas" de la red, que representan interacciones no lineales complejas entre diferentes entradas, se debilitan a medida que el ancho aumenta. Esto confirma que la sobreparametrización, a menudo considerada como una adición de complejidad, es en realidad un proceso de supresión de estas interacciones y de movimiento del sistema hacia un estado gaussiano más simple. Por el contrario, una red con ancho finito retiene estas interacciones, permitiéndole romper las reglas estadísticas simples y capturar los matices de los datos reales.

Un hallazgo clave del estudio es la redefinición del "borde del caos", un concepto que describe la frontera entre una red que es demasiado rígida para aprender y una que es demasiado caótica para controlar. Los autores mapean este límite en su marco de trabajo, mostrando que corresponde a una superficie crítica donde las correlaciones entre entradas y salidas persisten a través de muchas capas sin colapsar ni explotar. En este régimen cercano a la criticidad, la red es lo suficientemente sensible para aprender nuevos patrones pero lo suficientemente estable para retener lo que ha aprendido. Argumentan que entrenar una red neuronal es, efectivamente, un proceso de deformación de su estructura estadística subyacente, moviéndola desde un punto de partida aleatorio hacia una región donde estas interacciones críticas están equilibradas.

Los investigadores también abordan el misterio de la generalización, o por qué las redes grandes a menudo funcionan mejor con datos no vistos a pesar de tener más parámetros que ejemplos de entrenamiento. Su marco sugiere que la generalización ocurre cuando el entrenamiento suprime las interacciones específicas y ruidosas que se ajustan demasiado a los datos de entrenamiento, mientras preserva las estructuras más amplias y estables que se aplican al mundo real. El sobreajuste (overfitting), por el contrario, ocurre cuando la red amplifica estas interacciones específicas e inestables. Al ver la red a través del lente de la teoría de campos efectivos, los autores proporcionan una forma de distinguir entre la complejidad útil y el ruido dañino, sugiriendo que las redes con mejor desempeño son aquellas que se sitúan en un régimen crítico controlado, donde los efectos de ancho finito son lo suficientemente fuertes para ser expresivos pero no tanto como para causar inestabilidad.

En última instancia, este trabajo ofrece un nuevo vocabulario para comprender las redes neuronales, desplazando el enfoque del número de parámetros hacia la estructura de las funciones que producen. Sugiere que la magia del aprendizaje profundo no proviene de tener más perillas para girar, sino de encontrar el equilibrio adecuado donde el sistema es lo suficientemente complejo para aprender pero lo suficientemente simple para generalizar. Los autores proponen que la investigación futura debería centrarse en medir estas propiedades críticas directamente, observando cómo evolucionan las correlaciones e interacciones durante el entrenamiento, en lugar de solo rastrear la función de pérdida. Al tratar a las redes neuronales como sistemas físicos interactuantes, este enfoque abre la puerta a una comprensión más sistemática de cómo aprende la inteligencia artificial, ofreciendo un camino para diseñar mejores arquitecturas y métodos de entrenamiento basados en los principios fundamentales de la criticidad y la escala.

Resumen Técnico: Criticidad en el Espacio de Funciones de Redes Neuronales mediante Puntos Fijos Wilsonianos y Correcciones de Ancho Finito

Planteamiento del Problema
La teoría actual del aprendizaje profundo analiza predominantemente las redes neuronales a través de la lente del espacio de parámetros, centrándose en los vectores de pesos, los paisajes de pérdida y la dinámica de optimización. Si bien el límite de ancho infinito de las redes neuronales se entiende bien como una convergencia hacia Procesos Gaussianos (GP), esta perspectiva trata a las redes de ancho finito simplemente como aproximaciones imperfectas de dicho límite. En consecuencia, los efectos no gaussianos, las correlaciones de orden superior y las interacciones complejas inherentes a las redes de ancho finito y del mundo real suelen descartarse como errores de aproximación en lugar de reconocerse como características estructurales fundamentales. El artículo aborda la necesidad de un marco teórico que trate a las redes neuronales de ancho finito no como GPs defectuosos, sino como teorías de campo efectivo interactuantes donde la "criticidad" emerge de la interacción entre el punto fijo gaussiano y las perturbaciones de ancho finito.

Metodología
Los autores emplean un marco de grupo de renormalización (RG) de Wilson aplicado a la correspondencia entre redes neuronales y teoría cuántica de campos (QFT). Los cambios metodológicos centrales incluyen:

Formulación en el Espacio de Funciones: La red no se define por sus parámetros $\theta$ , sino como una distribución de probabilidad sobre funciones $P_N[f]$ . Esta distribución se formaliza mediante una acción efectiva $S_N[f]$ , donde $P_N[f] \propto e^{-S_N[f]}$ .
Identificación del Punto Fijo: El límite de ancho infinito ( $N \to \infty$ ) se identifica como un punto fijo de campo libre ( $S_\infty[f]$ ), caracterizado por una acción efectiva cuadrática y una distribución gaussiana determinada totalmente por un núcleo de covarianza de dos puntos (el propagador).
Ancho Finito como Perturbación: Los efectos de ancho finito se tratan como términos de interacción ( $\Delta S_N[f]$ ) añadidos a la acción libre. Estos términos introducen operadores no gaussianos (por ejemplo, $\lambda_k^{(N)} f(x_1)\dots f(x_k)$ para $k \geq 3$ ) que generan funciones de correlación de orden superior conectadas.
Clasificación Wilsoniana: Los autores clasifican los operadores de ancho finito basándose en su comportamiento de escala bajo el flujo de RG:
- Relevantes: Crecen bajo el refinamiento (coarse-graining), dominando el comportamiento a gran escala.
- Irrelevantes: Decaen bajo el refinamiento, volviéndose insignificantes a medida que el ancho aumenta.
- Marginales: Permanecen en el límite, controlando potencialmente el comportamiento crítico.
Diagnósticos: El marco utiliza diagnósticos matemáticos específicos para medir la desviación del límite gaussiano, incluyendo cumulantes conectados de orden superior, exponentes de escala de las funciones de correlación y el flujo de los acoplamientos efectivos.

Contribuciones Clave

Reencuadre de la Sobreparametrización: El artículo argumenta que la sobreparametrización (aumentar el ancho $N$ ) no necesariamente aumenta la complejidad funcional. En cambio, en el espacio de funciones, aumentar el ancho suprime los términos de interacción de ancho finito, impulsando el sistema hacia el simple punto fijo gaussiano. Así, una red altamente sobreparametrizada puede exhibir "simplicidad funcional" (gaussianidad), mientras que una red más estrecha o entrenada puede exhibir "complejidad funcional" (interacciones fuertes).
Definición de Criticidad: La criticidad se redefine no solo como "borde del caos" en un sentido dinámico, sino como un régimen en el espacio de funciones donde los operadores de ancho finito se vuelven relevantes o marginales. En este régimen, la distribución de funciones inducida se vuelve sensible a la estructura dependiente de la escala, y las funciones de correlación conectadas de orden superior son no despreciables pero controladas.
Teoría de Campo Efectivo del Entrenamiento: El entrenamiento se conceptualiza como una deformación de la acción efectiva ( $S_{init} \to S_{trained}$ ). La generalización se vincula con la supresión de interacciones no universales (irrelevantes), mientras que el sobreajuste (overfitting) corresponde a la amplificación de acoplamientos específicos de los datos que no definen un comportamiento estable en el espacio de funciones.
Universalidad Arquitectónica: El marco propone que diferentes arquitecturas (CNNs, Transformers, RNNs) pueden clasificarse por sus puntos fijos gaussianos y el conjunto específico de perturbaciones de ancho finito relevantes/marginales que admiten, en lugar de basarse únicamente en su recuento de parámetros o rendimiento empírico.

Resultados
El artículo presenta una serie de diagnósticos teóricos y análisis esquemáticos:

Convergencia de Kernels: Los kernels empíricos convergen al kernel analítico de ancho infinito con un error de escala de $O(N^{-1/2})$ , confirmando el acercamiento al propagador de campo libre.
Escala de Cumulantes: Los cumulantes conectados de orden superior (por ejemplo, el cuarto cumulante y la curtosis excedente) escalan como $O(N^{-1})$ . Esto confirma que las correcciones de ancho finito actúan como términos de interacción perturbativos que desaparecen cuando $N \to \infty$ , pero que son no nulos y estructuralmente significativos en el ancho finito.
Propagación de Correlación: El análisis del parámetro de sensibilidad $\chi$ (relacionado con la varianza de los pesos y las derivadas de activación) muestra que cerca del límite crítico ( $\chi = 1$ ), la escala de profundidad de la correlación diverge. Esto respalda la visión de que las redes cerca del punto crítico preservan las estructuras de correlación a lo largo de muchas capas, equilibrándose entre regímenes ordenados (colapso) y caóticos (explosión).
Estructura de Fases: Los diagramas de fase esquemáticos ilustran cómo el aumento del ancho suprime los acoplamientos efectivos, moviendo el sistema desde un régimen de interacción hacia el punto fijo gaussiano. El comportamiento crítico se identifica como un régimen intermedio donde las interacciones son lo suficientemente fuertes como para generar expresividad, pero lo suficientemente controladas como para evitar la inestabilidad.

Significancia y Reivindicaciones
El artículo afirma proporcionar una base teórica para estudiar la entrenabilidad, la generalización y la universalidad arquitectónica a través de la lente de los puntos fijos de Wilson y las superficies críticas. Su principal significancia radica en desplazar el enfoque analítico del espacio de parámetros al espacio de funciones, ofreciendo un lenguaje matemático riguroso (acciones efectivas, funciones beta, exponentes de escala) para describir el comportamiento de las redes neuronales.

Los autores declaran explícitamente que este marco:

Unifica conceptos: Conecta los límites de ancho infinito, las correcciones de ancho finito, la sobreparametrización y el "borde del caos" en una única teoría de campo efectivo.
Clarifica la complejidad: Resuelve la paradoja de por qué los modelos grandes generalizan bien, distinguiendo entre complejidad en el espacio de parámetros (alta) y complejidad en el espacio de funciones (potencialmente baja/gaussiana).
Reinterpreta los efectos de ancho finito: Eleva las correcciones de ancho finito de ser simples "errores" al mecanismo que permite la expresividad y el comportamiento crítico en las redes neuronales reales.

El trabajo mantiene la modestia respecto a su alcance actual, reconociendo que es un marco conceptual. Señala que definir las transformaciones de refinamiento específicas para diversos tipos de datos (imágenes, texto, grafos) y derivar funciones beta exactas para arquitecturas modernas (con mecanismos de atención, conexiones residuales, etc.) son problemas abiertos para investigaciones futuras. El trabajo no propone nuevos protocolos experimentales, sino que establece un vocabulario teórico para futuros diagnósticos empíricos y matemáticos de la criticidad en redes neuronales.

Más como este