Training Neural Networks with Optimal Double-Bayesian Learning

Résumé technique : Entraînement des réseaux de neurones par apprentissage double-bayésien optimal

Énoncé du problème
L'entraînement des réseaux de neurones reste largement un processus empirique, les hyperparamètres tels que le taux d'apprentissage et la quantité de mouvement étant généralement sélectionnés sur la base de règles empiriques, d'expérience ou de recherches systématiques par grille plutôt que d'une dérivation théorique. Bien que l'importance de ces paramètres pour éviter le surapprentissage et assurer une généralisation non biaisée soit largement reconnue, il n'existe aucune théorie concluante pour déterminer leurs valeurs optimales. La littérature actuelle s'appuie souvent sur des taux d'apprentissage adaptatifs (par exemple, Adam) ou des méthodes du second ordre, pourtant le « verdict final » concernant la méthode d'entraînement optimale et les valeurs spécifiques des hyperparamètres demeure non résolu. La sensibilité des résultats d'entraînement au taux d'apprentissage — où de petites valeurs risquent des optima locaux et de grandes valeurs provoquent des oscillations — crée un compromis difficile à négocier sans cadre fondé sur des principes.

Méthodologie : Le cadre double-bayésien
L'article propose un cadre théorique ancré dans un mécanisme de décision « double-bayésien » impliquant deux processus bayésiens antagonistes. Cette approche traite l'incertitude inhérente aux mesures en modélisant le processus d'entraînement comme une résolution d'incertitude entre un objet de mesure et sa valeur de mesure.

1. Fondement théorique :

   • Processus duals : Le cadre postule deux processus parallèles : l'un estimant la certitude d'une valeur de mesure ($P(A)$) et l'autre estimant la certitude de l'objet de mesure ($P(B)$). Ces processus sont liés par le théorème de Bayes mais opèrent avec des interprétations distinctes des probabilités conditionnelles ($P(A|B)$ et $P(B|A)$).
   • Équations intérieure et extérieure : Le cadre dérive deux équations. L'« équation bayésienne extérieure » relie les probabilités a priori au rapport des probabilités a posteriori via une base logarithmique $\lambda$. L'« équation bayésienne intérieure » est dérivée en inversant l'entrée et la base du logarithme, déplaçant l'expression logarithmique vers les a priori.
   • Points fixes et incertitude : En utilisant la théorie de l'information, l'article traite l'apprentissage comme la recherche d'un point fixe où l'estimation d'entrée correspond à la valeur cible. Le modèle introduit un principe d'« incertitude intrinsèque » : connaître parfaitement l'angle $\phi$ (représentant l'incertitude de la valeur de mesure) implique une incertitude maximale sur la base $\lambda$ (représentant l'incertitude de l'objet), et vice versa.

2. Dérivation des hyperparamètres optimaux :

   • Le nombre d'or : La solution de l'équation bayésienne intérieure se produit lorsque les termes de probabilité s'alignent avec le nombre d'or ($\phi \approx 0,62$).
   • Quantité de mouvement ($\alpha$) : En satisfaisant l'équation intérieure à $\phi = \pi/4$ et en tenant compte du gradient de l'équation extérieure, l'article dérive un poids théorique de quantité de mouvement : $\alpha = \sqrt{2} \cdot \phi \approx 0,874$.
   • Taux d'apprentissage ($\eta$) : Par une dérivation de processus dual, le taux d'apprentissage est calculé comme $\eta = (1 - \alpha)^2 \approx 0,016$.
   • Mécanisme d'entraînement : Le cadre suggère que l'entraînement implique d'alterner entre la satisfaction de l'équation bayésienne intérieure (minimisation de l'incertitude dans une variable) et la non-satisfaction de l'équation extérieure (maximisation de l'incertitude dans la contrepartie), utilisant efficacement $\alpha$ comme terme de quantité de mouvement pour l'itération précédente et $\eta$ comme taux d'apprentissage pour l'itération actuelle.

Validation expérimentale
Pour valider les valeurs dérivées théoriquement ($\eta \approx 0,016$, $\alpha \approx 0,874$), les auteurs ont mené des expériences extensives de recherche par grille sur quatre tâches distinctes :

• Classification de chiffres manuscrits : Jeu de données MNIST utilisant un CNN personnalisé à 11 couches.
• Classification de la tuberculose : Radiographies thoraciques (jeu de données TBX11K) utilisant DenseNet121.
• Segmentation pulmonaire : Radiographies thoraciques (jeu de données COVID-19) utilisant YOLOv8m-seg.
• Détection de cellules palustres : Images de frottis sanguins utilisant YOLOv8m.

Les expériences ont fait varier systématiquement les taux d'apprentissage (de 0,0001 à 0,2) et les valeurs de quantité de mouvement (de 0,0 à 0,925) et ont comparé la descente de gradient stochastique (SGD) à l'optimiseur Adam. Les évaluations ont inclus la variation des tailles d'ensemble d'entraînement (100 %, 75 %, 50 %, 25 %) et l'introduction de bruit dans les ensembles de test pour mesurer la généralisation et la robustesse.

Résultats clés

• Hyperparamètres optimaux : Les résultats de la recherche par grille ont montré de manière cohérente que le taux d'apprentissage dérivé théoriquement ($\eta \approx 0,016$) et la valeur proche de 0,01 ont produit les meilleures performances ou des performances quasi optimales à travers les tâches de classification, de segmentation et de détection. La valeur de quantité de mouvement dérivée ($\alpha \approx 0,874$) s'est également inscrite dans la plage de performances supérieures pour SGD.
• SGD contre Adam :
  • Performance : SGD, lorsqu'il est réglé avec les hyperparamètres dérivés, a systématiquement surpassé Adam en termes de précision finale de test, d'IoU et de mAP50 sur la plupart des tâches et tailles d'ensemble d'entraînement.
  • Convergence : Adam a convergé significativement plus vite (2 à 3 fois moins d'époques) vers sa perte de validation minimale, expliquant sa popularité. Cependant, cette vitesse s'est souvent faite au détriment de la généralisation.
  • Surapprentissage : Dans plusieurs cas, Adam a atteint une perte de validation plus faible mais n'a pas réussi à obtenir les meilleures performances sur l'ensemble de test, indiquant une tendance plus forte au surapprentissage par rapport à SGD.
• Robustesse au bruit : Dans des conditions de test bruyantes (intensités de pixels inversées aléatoirement), les modèles entraînés avec SGD ont démontré une robustesse supérieure. L'écart d'erreur entre SGD et Adam s'est élargi à mesure que les niveaux de bruit augmentaient, SGD maintenant systématiquement des taux d'erreur plus faibles.

Signification et revendications
L'article revendique fournir une justification théorique pour la sélection des hyperparamètres dans l'entraînement des réseaux de neurones, dépassant les heuristiques empiriques. Ses contributions principales sont :

1. Dérivation théorique : Il offre un taux d'apprentissage spécifique et dérivé théoriquement ($\approx 0,016$) et un poids de quantité de mouvement ($\approx 0,874$) basés sur un cadre double-bayésien, reliant la théorie de l'information et les processus de décision bayésiens à l'entraînement des réseaux.
2. Réinterprétation de la quantité de mouvement : Le cadre fournit une nouvelle explication pour le terme de quantité de mouvement, suggérant qu'il n'est pas simplement un facteur de lissage mais un composant nécessaire pour résoudre les incertitudes intrinsèques entre deux processus bayésiens parallèles.
3. Supériorité de généralisation : Les résultats suggèrent que, bien que les méthodes adaptatives comme Adam offrent une convergence plus rapide, un SGD optimisé produit des modèles moins biaisés avec une meilleure généralisation, en particulier dans des environnements bruyants.
4. Modèle de prise de décision : L'approche double-bayésienne est présentée comme un modèle de prise de décision novateur où la connaissance est distribuée entre deux processus, et l'état « optimal » est un équilibre d'incertitudes, analogue au principe d'incertitude de Heisenberg.

Les auteurs concluent que leur cadre offre de nouvelles perspectives sur le concept d'optimalité dans l'entraînement des réseaux et soutient l'utilisation de SGD avec des hyperparamètres spécifiques et fondés théoriquement pour obtenir des modèles non biaisés et robustes.