An Improved Adaptive PID Optimizer with Enhanced Convergence and Stability for Deep Learning

Resumen Técnico: Un Optimizador PID Adaptativo Mejorado con Convergencia y Estabilidad Potenciadas para Aprendizaje Profundo

Enunciado del Problema
El entrenamiento de aprendizaje profundo depende en gran medida de algoritmos de optimización, principalmente construidos sobre el Descenso de Gradiente Estocástico (SGD) basado en momento. Aunque el momento acelera el entrenamiento, adolece de dos desventajas fundamentales: (1) gradientes ruidosos y variables a través de los parámetros, que una única tasa de aprendizaje global no puede gestionar eficazmente, y (2) un fenómeno de "sobrepaso" donde el momento acumulado hace que los parámetros oscilen alrededor del óptimo.

Para abordar esto, se propusieron optimizadores PID Adaptativos (AdaPID), que combinan el mecanismo de tasa de aprendizaje adaptativa de Adam con la estructura Proporcional-Integral-Derivada (PID) basada en teoría de control para mitigar las oscilaciones. Sin embargo, los autores identifican que AdaPID hereda dos limitaciones críticas de su base en Adam:

1. Problemas de Convergencia: Al igual que Adam, AdaPID puede no garantizar la convergencia debido a la naturaleza de su promedio móvil exponencial de gradientes al cuadrado.
2. Problemas de Estabilidad: AdaPID aún puede exhibir inestabilidad durante el entrenamiento, lo que lleva a un rendimiento fluctuante.

Metodología
El artículo propone un nuevo optimizador, IAdaPID-ADG (AdaPID Mejorado AMSDiffGrad), que integra mejoras específicas de dos extensiones existentes de Adam—AMSGrad y DiffGrad—en el marco de AdaPID.

1. Abordando la Convergencia (Integración de AMSGrad):
   Para asegurar una tasa de aprendizaje efectiva no decreciente y garantizar la convergencia, los autores integran la idea central de AMSGrad. En lugar de utilizar el promedio móvil exponencial estándar de gradientes al cuadrado ($v_t$) y diferencias de gradientes al cuadrado ($d_t$), el optimizador mantiene un máximo en ejecución de estos valores ($v^{\max}_t$ y $d^{\max}_t$). Estos valores máximos se utilizan en el denominador de la regla de actualización, evitando que la tasa de aprendizaje efectiva aumente de manera inesperada.

2. Abordando la Estabilidad (Integración de DiffGrad):
   Para mitigar la inestabilidad y las oscilaciones, los autores incorporan un factor de modulación inspirado en DiffGrad. Este factor, $\mu_t$, se calcula basándose en la diferencia absoluta entre los gradientes actuales y anteriores ($\Delta g_t$) utilizando una función sigmoidea: $\mu_t = \frac{1}{1 + e^{-|\Delta g_t|}}$. Este factor escala la tasa de aprendizaje dinámicamente; cuando la diferencia de gradiente es grande, el factor de modulación ajusta el tamaño del paso para estabilizar la actualización.

3. La Regla de Actualización Combinada:
   La regla de actualización final de IAdaPID-ADG combina los términos integrales ($I_t$) y derivativos ($D_t$) del PID con la escalabilidad adaptativa de AMSGrad (usando $v^{\max}$ y $d^{\max}$) y la modulación de estabilidad de DiffGrad ($\mu_t$). La actualización de pesos se define como:
   $$w_t = w_{t-1} - \eta \mu_t \left( \frac{K_i I_t}{\sqrt{\hat{v}^{\max}_t} + \sigma} + \frac{K_d D_t}{\sqrt{\hat{d}^{\max}_t} + \sigma} \right)$$
   donde $\eta$ es la tasa de aprendizaje, $K_i$ y $K_d$ son coeficientes de ganancia, y $\sigma$ es una constante de estabilidad.

Contribuciones Clave

• Diseño de Nuevo Optimizador: La introducción de IAdaPID-ADG, que fusiona de manera única las garantías de convergencia de AMSGrad y los mecanismos de estabilidad de DiffGrad en la estructura de control PID.
• Evaluación Exhaustiva: Pruebas extensas en cuatro conjuntos de datos:
  • Conjuntos de Datos de Referencia: MNIST (dígitos escritos a mano) y CIFAR-10 (imágenes en color).
  • Conjuntos de Datos Médicos del Mundo Real: IARC y AnnoCerv (clasificación de imágenes de cáncer de cuello uterino).
• Estudio de Ablación: Un análisis sistemático en el conjunto de datos MNIST que demuestra que tanto el componente AMSGrad (convergencia) como el componente DiffGrad (estabilidad) contribuyen positivamente al rendimiento final cuando se añaden a AdaPID base.

Resultados Experimentales
El optimizador propuesto se evaluó frente a AMSGrad, DiffGrad y AdaPID estándar utilizando pérdida de entrenamiento, precisión de entrenamiento y precisión de prueba.

• Conjuntos de Datos de Referencia:
  • MNIST: IAdaPID-ADG logró una pérdida de entrenamiento de $2 \times 10^{-5}$ (significativamente menor que la de $4 \times 10^{-3}$ de los competidores), con una precisión de entrenamiento del 100% y una precisión de prueba del 98.68%.
  • CIFAR-10: El optimizador alcanzó una pérdida de entrenamiento de $3 \times 10^{-6}$ y una precisión de prueba del 80.09%, superando a todas las líneas base.
• Conjuntos de Datos Médicos (IARC y AnnoCerv):
  • Probado en arquitecturas ResNet50, ResNet101 y ResNet152.
  • En IARC, IAdaPID-ADG logró pérdidas de entrenamiento entre $4 \times 10^{-5}$ y $7 \times 10^{-4}$, en comparación con las de DiffGrad de $2 \times 10^{-2}$ a $5 \times 10^{-2}$. La precisión de prueba alcanzó hasta un 97.35%.
  • En AnnoCerv, el optimizador alcanzó precisiones de prueba entre 94.96% y 95.39%, con pérdidas de entrenamiento órdenes de magnitud menores que DiffGrad.
• Observaciones Generales: En todos los conjuntos de datos, IAdaPID-ADG demostró pérdidas de entrenamiento que fueron de 2 a 3 órdenes de magnitud menores que los optimizadores competidores. Las curvas de aprendizaje mostraron una convergencia más rápida y una reducción significativa de la oscilación en comparación con las líneas base.

Significado y Afirmaciones
El artículo afirma que IAdaPID-ADG supera sustancialmente a los optimizadores existentes al resolver simultáneamente los problemas de convergencia y estabilidad inherentes a los métodos PID adaptativos. Los autores afirman que la integración de una tasa de aprendizaje efectiva no decreciente y un factor de modulación basado en la diferencia de gradientes resulta en un optimizador que no solo es más preciso, sino también más estable durante el proceso de entrenamiento.

El estudio concluye que el método propuesto ofrece una mejor generalización y eficiencia de optimización tanto en referencias estándar como en tareas complejas de imágenes médicas del mundo real. Como trabajo futuro, los autores sugieren aplicar el optimizador a sistemas de información complejos como motores de recomendación y analizar aún más sus propiedades de convergencia mediante métodos numéricos iterativos como los enfoques de subespacio de Krylov.