Training Neural Networks with Optimal Double-Bayesian Learning

Resumen Técnico: Entrenamiento de Redes Neuronales con Aprendizaje Bayesiano Doble Óptimo

Enunciado del Problema
El entrenamiento de redes neuronales sigue siendo en gran medida un proceso empírico, donde hiperparámetros como la tasa de aprendizaje y el momento se seleccionan típicamente basándose en reglas prácticas, experiencia o búsquedas sistemicas en cuadrícula, en lugar de una derivación teórica. Si bien la importancia de estos parámetros para evitar el sobreajuste y garantizar una generalización imparcial es ampliamente reconocida, no existe una teoría concluyente para determinar sus valores óptimos. La literatura actual a menudo se basa en tasas de aprendizaje adaptativas (por ejemplo, Adam) o métodos de segundo orden, sin embargo, el "veredicto final" sobre el método de entrenamiento óptimo y los valores específicos de hiperparámetros permanece sin resolver. La sensibilidad de los resultados del entrenamiento a la tasa de aprendizaje, donde valores pequeños arriesgan óptimos locales y valores grandes causan oscilación, crea un compromiso difícil de negociar sin un marco principista.

Metodología: El Marco Bayesiano Doble
El artículo propone un marco teórico fundamentado en un mecanismo de decisión "bayesiano doble" que involucra dos procesos bayesianos antagónicos. Este enfoque aborda la incertidumbre inherente en las mediciones modelando el proceso de entrenamiento como una resolución de incertidumbre entre un objeto de medición y su valor de medición.

1. Fundamento Teórico:

   • Procesos Duales: El marco postula dos procesos paralelos: uno que estima la certeza de un valor de medición ($P(A)$) y el otro que estima la certeza del objeto de medición ($P(B)$). Estos procesos están vinculados por el teorema de Bayes pero operan con interpretaciones distintas de las probabilidades condicionales ($P(A|B)$ y $P(B|A)$).
   • Ecuaciones Interna y Externa: El marco deriva dos ecuaciones. La "ecuación bayesiana externa" relaciona las probabilidades a priori con la razón de las probabilidades a posteriori mediante una base logarítmica $\lambda$. La "ecuación bayesiana interna" se deriva invirtiendo la entrada y la base del logaritmo, moviendo la expresión logarítmica a las probabilidades a priori.
   • Puntos Fijos e Incertidumbre: Utilizando la teoría de la información, el artículo trata el aprendizaje como la búsqueda de un punto fijo donde la estimación de entrada se mapea al valor objetivo. El modelo introduce un principio de "incertidumbre intrínseca": conocer el ángulo $\phi$ (que representa la incertidumbre del valor de medición) perfectamente implica una incertidumbre máxima sobre la base $\lambda$ (que representa la incertidumbre del objeto), y viceversa.

2. Derivación de Hiperparámetros Óptimos:

   • La Proporción Áurea: La solución a la ecuación bayesiana interna ocurre cuando los términos de probabilidad se alinean con la proporción áurea ($\phi \approx 0.62$).
   • Momento ($\alpha$): Al satisfacer la ecuación interna en $\phi = \pi/4$ y tener en cuenta el gradiente de la ecuación externa, el artículo deriva un peso de momento teórico: $\alpha = \sqrt{2} \cdot \phi \approx 0.874$.
   • Tasa de Aprendizaje ($\eta$): A través de una derivación de proceso dual, la tasa de aprendizaje se calcula como $\eta = (1 - \alpha)^2 \approx 0.016$.
   • Mecanismo de Entrenamiento: El marco sugiere que el entrenamiento implica alternar entre satisfacer la ecuación bayesiana interna (minimizando la incertidumbre en una variable) y no satisfacer la ecuación externa (maximizando la incertidumbre en la contraparte), utilizando efectivamente $\alpha$ como el término de momento para la iteración anterior y $\eta$ como la tasa de aprendizaje para la iteración actual.

Validación Experimental
Para validar los valores derivados teóricamente ($\eta \approx 0.016$, $\alpha \approx 0.874$), los autores realizaron extensos experimentos de búsqueda en cuadrícula a través de cuatro tareas distintas:

• Clasificación de Dígitos Manuscritos: Conjunto de datos MNIST utilizando una CNN personalizada de 11 capas.
• Clasificación de Tuberculosis: Radiografías de tórax (conjunto de datos TBX11K) utilizando DenseNet121.
• Segmentación Pulmonar: Radiografías de tórax (conjunto de datos COVID-19) utilizando YOLOv8m-seg.
• Detección de Células de Malaria: Imágenes de frotis de sangre utilizando YOLOv8m.

Los experimentos variaron sistemáticamente las tasas de aprendizaje (de 0.0001 a 0.2) y los valores de momento (de 0.0 a 0.925) y compararon el Descenso de Gradiente Estocástico (SGD) contra el optimizador Adam. Las evaluaciones incluyeron variar los tamaños de los conjuntos de entrenamiento (100%, 75%, 50%, 25%) y la introducción de ruido en los conjuntos de prueba para medir la generalización y la robustez.

Resultados Clave

• Hiperparámetros Óptimos: Los resultados de la búsqueda en cuadrícula mostraron consistentemente que la tasa de aprendizaje derivada teóricamente ($\eta \approx 0.016$) y el valor cercano de 0.01 produjeron el mejor o casi el mejor rendimiento en tareas de clasificación, segmentación y detección. El valor de momento derivado ($\alpha \approx 0.874$) también cayó dentro del rango de mejor rendimiento para SGD.
• SGD vs. Adam:
  • Rendimiento: SGD, cuando se ajustó con los hiperparámetros derivados, superó consistentemente a Adam en términos de precisión final de prueba, IoU y mAP50 en la mayoría de las tareas y tamaños de conjuntos de entrenamiento.
  • Convergencia: Adam convergió significativamente más rápido (2–3 veces menos épocas) hacia su pérdida de validación mínima, explicando su popularidad. Sin embargo, esta velocidad a menudo vino a costa de la generalización.
  • Sobreajuste: En varios casos, Adam logró una pérdida de validación más baja pero no logró el mejor rendimiento en el conjunto de prueba, indicando una mayor tendencia al sobreajuste en comparación con SGD.
• Robustez al Ruido: Bajo condiciones de prueba ruidosas (intensidades de píxeles invertidas aleatoriamente), los modelos entrenados con SGD demostraron una robustez superior. La brecha de error entre SGD y Adam se amplió a medida que aumentaban los niveles de ruido, manteniendo SGD consistentemente tasas de error más bajas.

Significado y Afirmaciones
El artículo afirma proporcionar una justificación teórica para la selección de hiperparámetros en el entrenamiento de redes neuronales, yendo más allá de las heurísticas empíricas. Sus contribuciones principales son:

1. Derivación Teórica: Ofrece una tasa de aprendizaje específica derivada teóricamente ($\approx 0.016$) y un peso de momento ($\approx 0.874$) basados en un marco bayesiano doble, vinculando la teoría de la información y los procesos de decisión bayesianos con el entrenamiento de redes.
2. Reinterpretación del Momento: El marco proporciona una nueva explicación para el término de momento, sugiriendo que no es meramente un factor de suavizado, sino un componente necesario para resolver incertidumbres intrínsecas entre dos procesos bayesianos paralelos.
3. Superioridad en Generalización: Los resultados sugieren que, si bien los métodos adaptativos como Adam ofrecen una convergencia más rápida, SGD ajustado óptimamente produce modelos menos sesgados con mejor generalización, particularmente en entornos ruidosos.
4. Modelo de Toma de Decisiones: El enfoque bayesiano doble se presenta como un modelo de toma de decisiones novedoso donde el conocimiento se distribuye entre dos procesos, y el estado "óptimo" es un equilibrio de incertidumbres, análogo al Principio de Incertidumbre de Heisenberg.

Los autores concluyen que su marco ofrece nuevas perspectivas sobre el concepto de optimalidad en el entrenamiento de redes y respalda el uso de SGD con hiperparámetros específicos y fundamentados teóricamente para lograr modelos imparciales y robustos.