Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models

Resumen Técnico: Equivalencia determinista de dos puntos para dinámicas de gradiente estocástico en modelos lineales

Enunciado del Problema
El aprendizaje profundo moderno exhibe leyes de escalado predecibles donde el rendimiento mejora con aumentos en los datos, el tamaño del modelo y la capacidad de cómputo. Aunque trabajos recientes han analizado el comportamiento de escalado de métodos de kernel y modelos de características aleatorias entrenados con Descenso de Gradiente Estocástico (SGD), los marcos teóricos existentes a menudo tratan efectos específicos —como el tamaño finito del conjunto de datos, el ancho finito del modelo y el ruido del SGD— de forma aislada o dependen de enfoques complejos de teoría de campo medio dinámica (DMFT). Un marco analítico unificado capaz de capturar la interacción entre datos limitados, características limitadas y ruido del SGD en modelos lineales de alta dimensión, particularmente para dinámicas dependientes del tiempo y configuraciones fuera de distribución (OOD), sigue siendo un desafío. Específicamente, las técnicas estándar de matrices aleatorias a menudo se basan en resolventes de "un punto", que son insuficientes cuando las matrices que gobiernan las dinámicas (por ejemplo, covarianza empírica, covarianza poblacional y matrices de características) no conmutan.

Metodología
Los autores desarrollan un marco analítico novedoso basado en equivalencias deterministas de dos puntos para resolventes de matrices aleatorias. El núcleo de la metodología implica:

1. Configuración del Modelo: El artículo considera regresión lineal y modelos de características aleatorias lineales ($f(x) = x^\top F v$) entrenados mediante SGD con un tamaño de lote $B$ sobre un conjunto de datos de tamaño $P$. El análisis opera en el límite de alta dimensión donde la dimensión de entrada $D$, el ancho de características $N$ y el tamaño del conjunto de datos $P$ crecen conjuntamente hacia infinito con ratios fijos.
2. Dinámicas Reducidas: Siguiendo trabajos previos, los autores derivan un modelo reducido para la evolución de los errores de entrenamiento y generalización. Esto implica rastrear la covarianza de la discrepancia de los pesos ($\Delta w_t \Delta w_t^\top$) y expresar las dinámicas de riesgo como una ecuación integral de Volterra. Esta ecuación consiste en un "término de forzamiento" (componente de flujo de gradiente) y un "término de kernel" (componente de ruido del SGD).
3. Análisis en el Espacio de Fourier: Los autores transforman las dinámicas en el dominio del tiempo al espacio de Fourier. Esto revela que los términos de forzamiento involucran productos de dos resolventes evaluados en argumentos diferentes (frecuencias), es decir, $(\lambda + AB)^{-1} M (\lambda' + BA)^{-1}$.
4. Equivalencia Determinista de Dos Puntos: La innovación técnica principal es la derivación de un equivalente determinista para estos productos de resolventes de dos puntos. Utilizando la teoría de probabilidad libre, específicamente las propiedades de la transformada S y una expansión diagramática planar, los autores evalúan el comportamiento asintótico de estos productos. Distinguen entre contribuciones "desconectadas" (que se factorizan en equivalentes de un punto) y contribuciones "conectadas" que involucran cumulantes mixtos, lo que conduce a una ecuación autoconsistente para la función de dos puntos.
5. Aplicación al Riesgo: Estas equivalencias se aplican para derivar expresiones asintóticas precisas tanto para los riesgos de entrenamiento como de prueba (generalización), incluyendo escenarios con desplazamiento de covariables (donde los datos de prueba siguen una distribución diferente a la del conjunto de entrenamiento).

Contribuciones Clave

• Equivalencia Determinista Novedosa: El artículo deriva una nueva clase de "equivalencias deterministas de dos puntos" para resolventes de matrices aleatorias evaluados en pares arbitrarios de argumentos. Esto extiende los resultados previos de "un punto" para manejar matrices que no conmutan, lo cual es esencial para dinámicas de tiempo finito y tamaños de conjuntos de datos finitos.
• Derivación Unificada: El marco proporciona una derivación unificada del rendimiento para regresión lineal de alta dimensión, regresión de kernel y modelos de características aleatorias lineales. Recupera asintóticas previamente conocidas (por ejemplo, de enfoques DMFT en [16] y técnicas de equivalencia de un punto en [17]) mientras proporciona resultados novedosos para dinámicas dependientes del tiempo.
• Caracterización del Ruido del SGD: Los autores modelan explícitamente la interacción de datos limitados, características limitadas y ruido del SGD. Derivan asintóticas precisas para el "término de kernel del SGD", mostrando cómo el ruido contribuye a las dinámicas de riesgo a lo largo del tiempo.
• Análisis de Desplazamiento de Covariables: La metodología se extiende a configuraciones fuera de distribución, proporcionando fórmulas asintóticas exactas para el error de generalización cuando las covariables de prueba siguen una distribución Gaussiana diferente a la del conjunto de entrenamiento.
• Conexión con DMFT: El artículo establece un vínculo directo entre las cantidades de matrices aleatorias derivadas y la Teoría de Campo Medio Dinámica. Interpreta la transformada S de la probabilidad libre como una función de respuesta e identifica las equivalencias deterministas de dos puntos con las funciones de correlación utilizadas en DMFT.

Resultados
Los autores obtienen fórmulas asintóticas explícitas y precisas para:

• Pérdida de Entrenamiento y Prueba: Expresiones para la evolución temporal del error de entrenamiento y generalización en modelos de características aleatorias lineales, descompuestas en contribuciones de flujo de gradiente (forzamiento) y ruido del SGD (kernel).
• Términos de Flujo de Gradiente: Equivalentes de dos puntos novedosos para los términos de forzamiento, que capturan la naturaleza no conmutativa de las covarianzas empírica y poblacional en tiempo finito.
• Términos de Kernel del SGD: Expresiones asintóticas para los kernels que gobiernan la acumulación de ruido del SGD, incluyendo correcciones para tamaños de lote finitos y dimensiones de características.
• Límites Estáticos: Los resultados recuperan los límites estáticos conocidos (tiempo infinito), como el rendimiento de la regresión sin regularización (ridgeless), validando el enfoque dinámico.
• Rendimiento OOD: Asintóticas en forma cerrada para el error de generalización bajo desplazamiento de covariables, recuperando y extendiendo resultados estáticos previos al entorno dinámico.

Significado
El artículo afirma su importancia al proporcionar una herramienta analítica unificada y rigurosa para comprender las leyes de escalado y las dinámicas de aprendizaje de modelos lineales de alta dimensión. Al introducir equivalencias deterministas de dos puntos, los autores cierran la brecha entre la teoría de matrices aleatorias estática y la naturaleza dinámica y no conmutativa del entrenamiento con SGD. Esto permite la caracterización precisa de cómo los datos finitos, el ancho finito del modelo y el ruido estocástico interactúan para determinar el rendimiento. El trabajo sugiere que la transformada S y los métodos diagramáticos planares ofrecen una alternativa poderosa a la DMFT para derivar estos resultados, simplificando potencialmente el análisis de dinámicas de aprendizaje complejas mientras se mantiene el rigor matemático en el límite de alta dimensión. Los autores señalan que, aunque no prueban cotas de error cuantitativas para dimensiones finitas, se espera que las fórmulas asintóticas proporcionen buenas aproximaciones basadas en resultados conocidos en configuraciones estáticas y evidencia numérica de la literatura previa.