Neural Network Field Theory at Finite Width

Resumen Técnico: Teoría de Campos de Redes Neuronales a Ancho Finito

Planteamiento del Problema
El artículo investiga las limitaciones de representar la Mecánica Cuántica (MC) y las Teorías de Campos Cuánticos (TCC) utilizando redes neuronales (RN) con un número finito de parámetros ($N < \infty$). Mientras que trabajos previos establecieron que cualquier MC o TCC con una medida no negativa admite una representación exacta mediante una red neuronal con un número incontablemente infinito de parámetros aleatorios, las propiedades de tales representaciones cuando se truncan a un ancho finito permanecen poco claras. La cuestión central es: ¿qué propiedades fundamentales de las TCC euclidianas convencionales (como la positividad de reflexión, la descomposición de cúmulos y la naturaleza específica de las configuraciones de campo) pueden preservarse exactamente a $N$ finito, y cuáles deben ser violadas?

Una sutileza clave abordada es que, a través del teorema de isomorfismo de Borel, un único parámetro aleatorio puede codificar formalmente una cantidad infinita de información. Por lo tanto, los autores distinguen entre "finito" en un sentido de conteo de parámetros frente a "finito" en un sentido computacional o arquitectónico. El análisis se centra en arquitecturas de ancho finito naturales, como redes de una sola capa con características fijas o pesos de entrada aleatorios, que no pueden ocultar computaciones infinitas dentro de un conjunto finito de parámetros.

Metodología
Los autores emplean una combinación de análisis funcional, teoría espectral y técnicas de TCC constructiva para analizar conjuntos de redes neuronales de ancho finito. La metodología procede en dos etapas principales:

1. Mecánica Cuántica (1D): Los autores analizan procesos estocásticos $x(t)$ que representan trayectorias cuánticas. Utilizan la expansión de Kosambi-Karhunen-Loève (KKL), que proporciona una descomposición ortogonal óptima de un proceso estocástico basada en los autofunciones de su operador de covarianza. Comparan la naturaleza de rango infinito del núcleo de covarianza en la MC estándar (derivada de los axiomas de Osterwalder-Schrader) frente a la naturaleza de rango finito de cualquier red neuronal de ancho finito.
2. Teoría de Campos Cuánticos ($d \ge 2$): El análisis se desplaza hacia campos aleatorios generalizados (distribuciones de Schwartz). Los autores examinan tres obstrucciones específicas:
   • Límites de Puntos Coincidentes: Analizan el comportamiento de las funciones de dos puntos cuando los puntos coinciden ($x \to y$), lo cual típicamente diverge en TCC debido a las singularidades ultravioletas (UV).
   • Análisis en el Espacio de Momentos: Investigan el soporte de la transformada de Fourier de las configuraciones de campo, utilizando la propiedad de descomposición de cúmulos (mezcla) para determinar el contenido de momento de las muestras de campo típicas.
   • Neuronas Distribucionales: Evalúan si permitir que las neuronas mismas sean distribuciones de Schwartz (en lugar de funciones ordinarias) puede resolver el desajuste entre las redes de ancho finito y las configuraciones de campo de la TCC.

Contribuciones Clave y Resultados

1. Obstrucción en la Mecánica Cuántica (N Finito)
El artículo demuestra que una red neuronal de ancho finito no puede reproducir exactamente las funciones de correlación de un sistema de mecánica cuántica convencional que satisfaga los axiomas de Osterwalder-Schrader (OS).

• Argumento de Conteo de Dimensiones: Las integrales de trayectoria de la MC estándar están soportadas en trayectorias continuas y no diferenciables (ej. movimiento browniano). Una suma finita de funciones diferenciables por tramos (neuronas estándar) genera trayectoras que son diferenciables casi en todas partes, fallando en capturar la naturaleza no diferenciable de la medida real.
• Argumento de Optimidad de KKL: El núcleo de covarianza de un sistema de MC no trivial tiene infinitos autovalores estrictamente positivos (rango infinito). Una red de ancho finito corresponde a una proyección sobre un subespacio de dimensión finita. Debido a la optimalidad de la expansión KKL, cualquier truncamiento finito incurre en un error cuadrático medio no nulo. Específicamente, los autores muestran que para cualquier espacio de características finito, existe una dirección en el espacio de funciones donde la red tiene varianza cero, mientras que el proceso de MC real tiene varianza estrictamente positiva en toda dirección no nula (Lema 2).

2. Obstrucciones en la Teoría de Campos Cuánticos (N Finito)
Para $d \ge 2$, los autores identifican que las redes de ancho finito violentan genéricamente al menos un axioma de OS.

• Divergencias de Puntos Coincidentes: Las TCC convencionales con representaciones de Källén-Lehmann no triviales presentan funciones de dos puntos divergentes en puntos coincidentes (logarítmicas en $d=2$, ley de potencia en $d>2$).
  • Resultado: Cualquier arquitectura de ancho finito donde las salidas de las neuronas tengan varianza puntual acotada (una condición satisfecha por activaciones estándar como ReLU o funciones acotadas con parámetros de momentos finitos) produce una varianza suavizada finita. En consecuencia, tales redes no pueden reproducir las divergencias UV requeridas de una TCC no trivial.
  • Excepción: Los autores muestran que si se relaja la condición de varianza finita (ej. usando distribuciones de parámetros de cola pesada o amplitudes singulares), una red de ancho finito (incluso de ancho 1) puede reproducir la función de dos puntos correcta y la positividad de reflexión. Sin embargo, esto requiere estadísticas de parámetros "no físicas" para el muestreo de Monte Carlo práctico.
• Obstrucción en el Espacio de Momentos (Descomposición de Cúmulos):
  • Resultado: Bajo el supuesto de descomposición de cúmulos (mezcla), una muestra típica de campo en una TCC debe tener soporte de Fourier sobre todo el espacio de momentos $\mathbb{R}^d$.
  • Obstrucción: Una red de capa única de ancho finito $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ tiene una transformada de Fourier soportada solo en la unión de $N$ líneas (proporcionales a los pesos de entrada $a_i$). Dado que una unión finita de líneas es un subconjunto de medida cero en $\mathbb{R}^d$ para $d \ge 2$, la red no puede reproducir el soporte de momento completo requerido por una TCC con cúmulos. Esto conduce a una violación de la descomposición de cúmulos o de la positividad de reflexión en las funciones de orden superior.
• Neuronas Distribucionales: Incluso si las neuronas se generalizan a distribuciones de Schwartz (permitiendo que la salida de la red sea una distribución en lugar de una función), la obstrucción de rango finito persiste. Una suma finita de distribuciones sigue dejando un núcleo infinito-dimensional donde el campo es determinista, lo que contradice la covarianza de Källén-Lehmann no trivial que requiere fluctuaciones en todas las direcciones.

Significancia y Reivindicaciones
El artículo concluye que las representaciones de la MC y la TCC mediante redes neuronales de ancho finito son fundamentalmente incompatibles con el conjunto completo de los axiomas de Osterwalder-Schrader.

• Realización Exacta: Para realizar exactamente una TCC convencional mediante una red neuronal, se debe tomar el límite de ancho infinito ($N \to \infty$) o emplear arquitecturas/densidades de parámetros que violen explícitamente los supuestos físicos estándar (ej. usando parámetros de varianza infinita o sacrificando la descomposición de cúmulos).
• Naturaleza de las Teorías de N Finito: Las teorías definidas por redes neuronales de $N$ finito no son meras "aproximaciones" de las TCC estándar; son teorías "exóticas" distintas que necesariamente carecen de propiedades como la covarianza euclidiana, la positividad de reflexión o la descomposición de cúmulos.
• Implicaciones Prácticas: Aunque las redes de ancho finito no pueden reproducir exactamente las TCC estándar, los autores señalan que las aproximaciones truncadas se utilizan en estudios numéricos (ej. teoría de Liouville, teoría de Maxwell). Sin embargo, las propiedades estadísticas de estas aproximaciones no están garantizadas para coincidir con la teoría objetivo, y los errores no son meramente numéricos sino estructurales.

El trabajo no propone nuevas aplicaciones experimentales, sino que sirve como una caracterización teórica rigurosa de las limitaciones de las redes neuronales de ancho finito como representaciones de sistemas cuánticos en el continuo. Sugiere que la investigación futura debe centrarse en cuantificar el grado de violación de los axiomas de OS en función de $N$ y clasificar qué combinaciones de axiomas pueden preservarse a ancho finito.