A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training

Résumé Technique : Une Méthode de Région de Confiance Préconditionnée Non-Monotone pour l'Entraînement de Réseaux de Neurones

Énoncé du Problème
L'entraînement de réseaux de neurones (RN) profonds à grande échelle présente des défis concernant le réglage des hyperparamètres, l'exploitation des pipelines multi-périphériques et la gestion de fonctions objectif non convexes et bruyantes. Si les méthodes du premier ordre comme la Descente de Gradient Stochastique (SGD) et Adam sont standards, elles reposent fortement sur un réglage manuel de la taille de pas et de la planification de l'élan, et n'exploitent pas naturellement le parallélisme de modèle où un réseau est divisé en blocs séquentiels répartis sur plusieurs périphériques. À l'inverse, les méthodes de Décomposition de Domaine (DD) offrent un moyen de partitionner les paramètres en sous-domaines pour des mises à jour parallèles, mais elles nécessitent des stratégies de globalisation robustes pour assurer la convergence dans des contextes non convexes. Les approches précédentes, telles que la Stratégie de Région de Confiance Préconditionnée Additivement (APTS), utilisent des mécanismes de région de confiance (RC) mais souffrent souvent de taux de rejet élevés pour les étapes de l'espace grossier, entraînant un recalcul coûteux des directions de recherche.

Méthodologie : NAPTS
L'article propose la Stratégie de Région de Confiance Préconditionnée Additivement Non-Monotone (NAPTS), une extension du cadre APTS intégrant les principes de région de confiance non monotone (NRC). La méthode opère à travers trois phases distinctes par itération :

1. Mises à jour Parallèles des Sous-domaines : L'espace des paramètres du RN est partitionné en sous-domaines non chevauchants $\{C_d\}_{d=1}^N$. À chaque itération $k$, un passage avant et arrière global met en cache les valeurs d'activation et les gradients en aval. Chaque sous-domaine effectue ensuite $\ell$ étapes locales d'Adam contraint (CAdam) en parallèle. Ces étapes locales sont calculées en utilisant les informations de frontière mises en cache pour approximer les gradients par blocs, garantissant que les sous-domaines opèrent indépendamment tout en respectant les informations globales. Les étapes locales sont relevées et combinées de manière additive pour former une étape d'essai globale $s_k$.
2. Globalisation Non-Monotone : Contrairement aux méthodes RC standards qui exigent une décroissance monotone stricte de la fonction objectif, NAPTS emploie une fenêtre glissante des $\nu$ itérations réussies les plus récentes. Elle définit un indice de référence $r(k)$ correspondant à la valeur objectif la plus élevée au sein de cette fenêtre. L'acceptation de l'étape est déterminée par un ratio d'accord combiné $\rho_k = \max\{\rho^c_k, \rho^h_k\}$, où :
   • $\rho^c_k$ mesure l'accord entre la diminution réelle et la diminution prédite pour l'étape courante.
   • $\rho^h_k$ mesure l'accord par rapport à la valeur de référence historique $f(\theta_{r(k)})$ et à un terme d'histoire cumulative $\sigma^h_k$.
     Ce mécanisme permet l'acceptation d'étapes qui augmentent temporairement la fonction objectif ($f(\theta_k + s_k) > f(\theta_k)$) si elles s'alignent sur des tendances de descente à long terme, réduisant ainsi le rejet de directions de l'espace grossier efficaces.
3. Correction et Lissage : Si l'étape d'essai est rejetée, une étape de correction $c_k$ est calculée comme une combinaison convexe d'une étape de descente la plus raide et de la proposition originale, évitant ainsi le gaspillage des informations de gradient préalablement calculées. Une mise à jour finale NRC affine l'itéré et ajuste le rayon de la région de confiance $\Delta_k$.

Contributions Clés

• APTS Non-Monotone (NAPTS) : La contribution principale est l'intégration des principes NRC dans le cadre APTS. Cela adresse spécifiquement le problème du rejet agressif des étapes de l'espace grossier dans les paysages d'entraînement de RN non convexes et bruyants.
• Non-Monotonie Contrôlée : L'article introduit un critère d'acceptation fenêtré qui permet des augmentations contrôlées de l'objectif. Cela empêche l'acceptation « indiscriminée » des étapes tout en permettant à l'algorithme de persister avec des directions de l'espace grossier qui pourraient être temporairement non améliorantes mais globalement bénéfiques.
• Parallélisme Efficace : La méthode maintient la structure de Schwarz additive, permettant un entraînement parallèle des sous-domaines sans communication inter-sous-domaine pendant les itérations locales, ne nécessitant qu'une synchronisation globale pour la mise en cache des gradients et l'agrégation des étapes.

Résultats
Des expériences ont été menées sur l'ensemble de données CIFAR-10 en utilisant un RN convolutif (1,2 million de paramètres) entraîné sur quatre GPU Nvidia A100.

• Performance : NAPTS a atteint un temps d'entraînement de 115,88 secondes par époque, représentant une réduction de 30 % du temps CPU par rapport à l'APTS standard (169,14 s/époque) et une amélioration supplémentaire par rapport à la variante à acceptation agressive APTS$_A$ (152,39 s/époque).
• Taux de Rejet : La méthode a considérablement réduit le nombre d'étapes rejetées. NAPTS a enregistré environ 1 921 itérations rejetées au total, contre 13 972 pour APTS et 6 648 pour APTS$_A$. Cela indique que le mécanisme non monotone conserve avec succès les propositions de l'espace grossier efficaces qui seraient autrement rejetées.
• Précision : Alors que les méthodes RC et NRC de base peinaient à atteindre une haute précision de validation, les variantes préconditionnées (APTS et NAPTS) ont atteint des précisions de validation substantiellement plus élevées et des pertes d'entraînement plus faibles, suggérant une optimisation améliorée sans compromettre la généralisation.

Signification
L'article affirme que NAPTS offre une stratégie de globalisation robuste particulièrement adaptée à la nature non convexe et bruyante de l'entraînement de réseaux de neurones à grande échelle. En assouplissant l'exigence de monotonie stricte, la méthode évite le coût computationnel du rejet et du recalcul répétés des directions de recherche. Les auteurs postulent que cette approche exploite efficacement la décomposition de domaine pour le parallélisme de modèle tout en fournissant une adaptation automatique de la taille de pas via les régions de confiance, réduisant ainsi le besoin de réglage manuel des hyperparamètres associé aux méthodes du premier ordre. Les résultats suggèrent que NAPTS préserve la précision des méthodes préconditionnées tout en améliorant substantiellement l'efficacité computationnelle.