Resumen Técnico: Comprensión Cuantitativa de los Ajustes de PDF y sus Incertidumbres

Planteamiento del Problema

Las Funciones de Distribución de Partones (PDF) son esenciales para describir datos experimentales en colisionadores de hadrones y para comprender la estructura del nucleón. A medida que el Gran Colisionador de Hadrones (LHC) entra en una era de mediciones de alta precisión, la demanda de determinaciones de PDF robustas con una cuantificación de incertidumbre fiable se ha vuelto crítica. La extracción de las PDF es un problema inverso mal planteado: inferir una función continua a partir de un conjunto finito de puntos de datos. Este proceso carece inherentemente de una solución única, apoyándose en suposiciones y conocimiento previo para regularizar el problema.

Aunque las determinaciones de vanguardia suelen utilizar enfoques paramétricos con formas funcionales específicas, la colaboración NNPDF fue pionera en el uso de Aprendizaje Automático (ML), específicamente Redes Neuronales (NN), para parametrizar las PDF de una manera flexible y no paramétrica. Sin embargo, una comprensión teórica rigurosa de la dinámica de entrenamiento de estas redes, particularmente sobre cómo las incertidumbres se propagan desde los datos hacia la función ajustada y cómo la arquitectura de la red influye en el proceso de aprendizaje, sigue siendo esquiva. La literatura existente suele depender de la validación empírica (por ejemplo, pruebas de clausura) en lugar de marcos analíticos para diagnosticar la robustez de estas metodologías de ajuste.

Metodología

Este trabajo desarrolla un marco teórico basado en el Kernel de Tangente Neuronal (NTK) para analizar la dinámica de entrenamiento de las redes neuronales utilizadas en los ajustes de PDF. Los autores adoptan un entorno simplificado para asegurar la tractabilidad analítica:

• Datos: Una combinación de un solo sabor de PDF ($T_3$) utilizando datos de Dispersión Inelástica Profunda (DIS), donde las predicciones teóricas dependen linealmente de las PDF.
• Optimación: Gradiente Descendiente (GD) convencional con una aproximación de flujo continuo.
• Arquitectura: La arquitectura estándar de NNPDF (capas 2-25-20-8 con activación tanh) inicializada mediante la distribución normal de Glorot.
• Enfoque: El proceso de entrenamiento se reformula en el espacio funcional en lugar del espacio de parámetros. La evolución de la salida de la red está gobernada por el NTK, que codifica la dependencia de la arquitectura de la red y los parámetros.

El estudio utiliza "pruebas de clausura" con datos sintéticos (Nivel-0, Nivel-1 y Nivel-2) para rastrear la evolución del espectro del NTK y sus autovectores durante el entrenamiento. El análisis distingue entre dos regímenes: una fase inicial de entrenamiento "rica" donde el NTK evoluciona significativamente, y un régimen de entrenamiento "perezoso" (lazy) posterior donde el NTK se estabiliza.

Contribuciones Clave

1. Descripción Analítica de la Dinámica de Entrenamiento

El artículo deriva una solución analítica para la salida de la red $f_t$ durante el régimen de entrenamiento perezoso (donde el NTK $\Theta_t$ se vuelve aproximadamente constante). La solución se expresa como:
$$f_t = U(t)f_0 + V(t)Y$$
donde $f_0$ es la salida inicial de la red, $Y$ representa los datos de entrenamiento, y $U(t)$ y $V(t)$ son matrices dependientes del tiempo derivadas explícitamente del NTK y la covarianza de los datos. Esta expresión descompone el resultado final en una contribución de la condición inicial (información previa) y una contribución de los datos (mediciones experimentales), haciendo explícito el papel de los priors y los datos.

2. Análisis Espectral del NTK

Los autores proporcionan un análisis espectral detallado del NTK:

• Inicialización: El espectro del NTK es altamente jerárquico, con solo unos pocos autovalores grandes significativamente distintos de cero. Esto implica que, inicialmente, la red explora un subespacio reducido del vasto espacio funcional.
• Evolución del Entrenamiento: Durante la fase "rica", los autovalores subdominantes crecen entre uno y dos órdenes de magnitud. Esto indica que la red descubre dinámicamente nuevas características y expande el subespacio de funciones aprendibles.
• Alineación: El estudio demuestra una alineación entre los autovectores del NTK (dependientes del modelo) y los autovectores de la matriz $M$ (dependientes de los datos). A medida que el entrenamiento progresa, las direcciones aprendibles de la red se alinean con las direcciones que más contribuyen a los observables (la función de pérdida).

3. Propagación Cuantitativa de la Incertidumbre

Al derivar la evolución analítica de la salida de la red, los autores proporcionan una descripción cuantitativa de cómo las incertidumbres se propagan desde los datos experimentales hacia las PDF ajustadas. El marco permite calcular la covarianza de la salida de la NN durante el entrenamiento, cerrando la breza entre la regresión paramétrica (NNPDF) y otros métodos para resolver problemas inversos.

4. Mecanismo de Regularización

El artículo elucida cómo la parametrización (la red neuronal) regulariza el problema inverso mal planteado. En el espacio funcional, la matriz de datos $M$ es singular, con un núcleo que contiene direcciones hacia las cuales los datos no son sensibles. La parametrización de la red neuronal restringe la solución a la imagen del NTK. En el régimen perezoso, el componente de la solución en el núcleo del NTK queda "congelado" en su valor inicial, lo que significa que la incertidumbre en estas direcciones no restringidas está dictada enteramente por la distribución previa (inicialización) en lugar de los datos.

Resultados

• Desviación del Entrenamiento Perezoso Estándar: Contrario a la imagen de "entrenamiento perezoso" que se discute a menudo en la literatura de ML (donde el NTK es constante desde el principio), el entrenamiento de NNPDF exhibe una fase "rica" distintiva. Durante esta fase inicial (aprox. los primeros 20,000 épocas), el NTK experimenta cambios significativos y los autovalores subdominantes crecen, permitiendo que la red aprenda nuevas características.
• Estabilidad del Régimen Perezoso: Tras la fase transitoria inicial, el NTK se estabiliza y el entrenamiento entra en el régimen perezoso. En este régimen, la solución analítica es válida y la función de pérdida disminuye suavemente.
• Capacidad de Reconstrucción: El estudio muestra que el subconjunto de autovectores del NTK ortogonales al núcleo puede reconstruir eficazmente la función de entrada, siempre que se incluyan los modos descubiertos durante la fase rica.
• Independencia de la Arquitectura: La estructura jerárquica del espectro del NTK y el comportamiento cualitativo de la dinámica de entrenamiento son mayoritariamente independientes del ancho de la red, aunque la varianza del NTK disminuye con tamaños de red más grandes.

Significado y Reivindicaciones

Los autores posicionan este trabajo no como un reemplazo para el ajuste de PDF estándar, sino como una potente herramienta de diagnóstico para evaluar la robustez de las metodologías de ajuste actuales.

• Marco Unificado: La metodología proporciona un marco unificado para comparar diferentes determinaciones de PDF (por ejemplo, aquellas basadas en formas funcionales específicas frente a NNs) mediante el análisis de sus respectivos NTKs y dinámicas de entrenamiento.
• Transparencia: El enfoque analítico clarifica el papel de la arquitectura de la NN y el impacto de los datos experimentales de una manera transparente, desmitificando la naturaleza de "caja negra" del proceso de entrenamiento.
• Banco de Pruebas para la Teoría de ML: El artículo afirma que el análisis de las determinaciones de PDF sirve como un banco de pruebas para aplicar ideas teóricas sobre el proceso de aprendizaje desarrolladas en la comunidad de ML a la física de altas energías.
• Alcance Modesto: Los autores declaran explícitamente que sus resultados se derivan en un entorno simplificado (un solo sabor, dependencia lineal, GD convencional) y están destinados a ser una exploración de cuestiones teóricas fundamentales. Las extensiones a la complejidad total de los ajustes globales de PDF modernos (múltiples sabores, dependencias no lineales, optimizadores avanzados) se dejan para trabajos futuros.

En resumen, el artículo establece que la dinámica de entrenamiento de NNPDF puede entenderse analíticamente a través de la lente del NTK, revelando una interacción dinámica entre la capacidad de la red para aprender nuevas características y la capacidad de los datos para restringir la solución, proporcionando finalmente una base rigurosa para comprender la cuantificación de la incertidumbre en los ajustes de PDF impulsados por ML.