Resumen Técnico: Regularización Canónica de Redes Neuronales de Aprendizaje de Características Amplias

Enunciado del Problema

Las redes neuronales amplias que operan en el régimen de aprendizaje de características—donde la red aprende activamente representaciones en lugar de comportarse como una máquina de kernels fija—son el motor del aprendizaje profundo moderno. Sin embargo, la comprensión teórica de estas redes se retrasa significativamente respecto al régimen de kernels (formalizado por el Kernel Tangente de la Red Neuronal, NTK). Existe una brecha crítica con respecto a la regularización implícita y el prior en el espacio de funciones inducidos por el entrenamiento mediante flujo de gradiente.

En el régimen de kernels, está bien establecido que el flujo de gradiente selecciona la solución única que minimiza la distancia al cuadrado en el espacio de parámetros desde la inicialización (ridge anclado, $\|\theta - \theta_0\|^2$). Esta propiedad sustenta la correspondencia Red Neuronal–Proceso Gaussiano (NN-GP), permitiendo una modelización del ruido y una cuantificación de la incertidumbre fundamentadas. Sin embargo, los practicantes a menudo aplican por defecto la descomposición de pesos estándar ($\|\theta\|^2$) o el ridge anclado a redes de aprendizaje de características. Este artículo argumenta que estos regularizadores están geométricamente desalineados en el régimen de aprendizaje de características, lo que conduce a un sesgo "silencioso" que distorsiona el sesgo inductivo de la red, particularmente en escenarios de aprendizaje por transferencia donde las características preentrenadas son informativas.

Metodología y Marco Teórico

Los autores desarrollan un marco geométrico para caracterizar la dinámica en el espacio de parámetros de redes sobreparametrizadas que satisfacen una suposición de Condicionamiento Uniforme del Jacobiano (Suposición 2.1). Esta suposición postula que el Jacobiano $J(\theta)$ tiene valores singulares acotados lejos de cero e infinito en una vecindad de las soluciones de interpolación.

1. Descomposición Geométrica

Los autores descomponen el espacio de parámetros $\Theta$ alrededor de un interpolador en tres objetos clave:

• Órbita de Flujo ($O_{flow}$): El conjunto de todos los parámetros alcanzables mediante flujo de gradiente desde una inicialización $\theta_0$. En el régimen de aprendizaje de características, esto puede ser un conjunto sub-riemanniano de alta dimensión.
• Variedad de Flujo con Fijación de Gauge ($M_{flow}(\theta_0)$): Una subvariedad específica de dimensión $n$ dentro de la órbita de flujo que contiene la trayectoria realizada del flujo de gradiente. Sirve como un mapa en el espacio de parámetros para el espacio de funciones cerca del interpolador.
• Fibras de Salida ($\Theta(c)$): Direcciones transversales a la variedad de flujo donde las predicciones de entrenamiento $g(\theta)$ permanecen constantes, pero las predicciones sobre entradas no vistas pueden cambiar drásticamente.

2. La Patología de la Regularización Ridge

El artículo demuestra que en el régimen de aprendizaje de características, la variedad de flujo $M_{flow}(\theta_0)$ es curva, a diferencia del subespacio afín del régimen de kernels.

• Fallo del Ridge Anclado: El gradiente del ridge anclado, $-2(\theta - \theta_0)$, es una cuerda euclidiana. Sobre una variedad curva, este gradiente adquiere un componente a lo largo de las fibras de salida (ortogonales a la dirección del flujo).
• Consecuencia: A medida que la fuerza de regularización $\lambda \to 0$, la solución no converge al límite de flujo de gradiente sin regularizar $\theta^*$. En cambio, el gradiente de regularización arrastra los parámetros a lo largo de las fibras, distorsionando el prior implícito y potencialmente destruyendo sesgos inductivos útiles aprendidos durante el preentrenamiento. Esto se formaliza en el Teorema 3.1.

3. Derivación Axiomática del Regularizador Canónico

Para resolver esto, los autores axiomatizan la energía canónica en el espacio de funciones como la energía mínima de control necesaria para transportar las salidas de la red desde la inicialización hasta un objetivo bajo la dinámica de flujo de gradiente.

• Unicidad: Al imponer axiomas de invarianza isométrica y aditividad ortogonal, demuestran que en el régimen de kernels, esta energía corresponde únicamente a la norma al cuadrado del RKHS (recuperando el ridge anclado).
• Generalización: Al elevar esta energía al espacio de parámetros mediante la Definición 4.3, se obtiene el regularizador Ridge Geodésico:
  $$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$$
  Esto mide la distancia geodésica al cuadrado a lo largo de la variedad de flujo más la distancia geodésica a lo largo de la fibra de salida.
• Prior Implícito: El prior correspondiente en el espacio de funciones se identifica como un Proceso de Gibbs Riemanniano, que generaliza el Proceso Gaussiano NTK a geometrías curvas.

4. Arc Ridge: Un Sustituto Práctico

Dado que calcular distancias geodésicas es intratable a gran escala, los autores proponen Arc Ridge como un sustituto robusto minimax.

• Definición: Arc ridge es la longitud de trayectoria total al cuadrado de la trayectoria de entrenamiento: $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$.
• Propiedades: Acota superiormente al ridge geodésico, conserva la propiedad de "sin sesgo" a lo largo de la dirección del flujo de gradiente realizada, y es formalmente equivalente al parada temprana bajo flujo de gradiente exacto. No requiere información de segundo orden, acumulando únicamente un escalar (longitud de trayectoria) durante el entrenamiento.

Resultados Clave

1. Sesgo de los Regularizadores Estándar: El artículo demuestra que tanto el ridge estándar como el ridge anclado sesgan el límite de flujo de gradiente en el régimen de aprendizaje de características (Teorema 3.1). Este sesgo persiste incluso cuando la fuerza de regularización desaparece, causando que la solución se desplace a lo largo de fibras de salida invisibles para la pérdida de entrenamiento.
2. Ridge Geodésico como Solución Canónica: Los autores derivan el ridge geodésico como el único regularizador que se alinea con la geometría de las redes de aprendizaje de características, asegurando que el límite de regularización nula recupere la solución de flujo de gradiente sin regularizar (Teorema 4.2).
3. Equivalencia de Arc Ridge: Se demuestra que arc ridge es una cota superior ajustada y tratable del ridge geodésico. Crucialmente, se demuestra que es equivalente a la parada temprana en el límite de flujo de gradiente exacto (Proposición F.4), proporcionando una justificación teórica para la parada temprana como una técnica de regularización consciente de la geometría.
4. Validación Empírica: Los experimentos en tareas de aprendizaje por transferencia (regresión de edad en UTKFace usando ResNet18; regresión de puntuación de reseñas en Yelp usando DistilBERT) demuestran que:
   • A altas fuerzas de regularización, el ridge estándar y el ridge anclado causan una degradación significativa en el rendimiento de prueba debido a la destrucción del prior preentrenado.
   • Arc ridge se degrada solo levemente, consistente con un subentrenamiento benigno.
   • A bajas fuerzas de regularización, todos los métodos convergen, ya que la parada temprana domina el sesgo.

Significado y Afirmaciones

El artículo afirma proporcionar el primer marco fundamentado para comprender y corregir el sesgo implícito del flujo de gradiente en redes amplias de aprendizaje de características. Sus contribuciones principales son:

• Insight Geométrico: Identifica la curvatura de la variedad de flujo como la causa raíz del fallo de los regularizadores basados en euclidianos (como el ridge anclado) en regímenes de aprendizaje de características.
• Unificación Teórica: Generaliza la correspondencia NN-GP al régimen de aprendizaje de características identificando el Proceso de Gibbs Riemanniano como el prior canónico y el ridge geodésico como el regularizador canónico.
• Resolución Práctica: Propone arc ridge (longitud de trayectoria al cuadrado) como una alternativa escalable y robusta minimax que se alinea con la geometría del entrenamiento. Esto revela una relación profunda, previamente no formalizada, entre la parada temprana y la regularización canónica, sugiriendo que la parada temprana no es meramente una heurística, sino una estrategia de regularización que preserva la geometría.

Los autores enfatizan que, aunque su teoría asume un condicionamiento uniforme del Jacobiano (verificado empíricamente en el Apéndice H), la intuición geométrica explica fenómenos como la degradación de las representaciones preentrenadas durante el ajuste fino y el fenómeno de "grokking", ofreciendo un camino hacia estrategias de regularización más robustas en el aprendizaje profundo.