Résumé technique : Régularisation adaptative pour le contrôle de la parcimonie dans les optimiseurs basés sur Bregman

Énoncé du problème

L'entraînement parcimonieux offre une voie pour réduire les coûts de mémoire et de calcul des réseaux de neurones profonds (DNN). Cependant, un défi majeur de l'optimisation parcimonieuse réside dans le contrôle indirect du taux de parcimonie final. Les méthodes reposant sur des pénalités explicites $\ell_1$ ou sur des optimiseurs basés sur Bregman (tels que LinBreg et AdaBreg) contrôlent généralement la parcimonie via un paramètre de régularisation $\lambda$. La correspondance entre une valeur spécifique de $\lambda$ et le taux de parcimonie résultant est non triviale et hautement sensible.

Les auteurs observent que cette sensibilité est particulièrement prononcée dans les optimiseurs basés sur Bregman. Par exemple, LinBreg et AdaBreg peuvent nécessiter des valeurs de $\lambda$ différant jusqu'à deux ordres de grandeur pour atteindre le même taux de parcimonie final. Cela nécessite des balayages manuels coûteux par essais et erreurs pour trouver un $\lambda$ « oracle » répondant à un objectif de parcimonie spécifié par l'utilisateur, entravant le déploiement pratique de ces méthodes. De plus, les approches adaptatives existantes reposent souvent sur des pertes régularisées en $\ell_1$ ou nécessitent un réentraînement, les rendant coûteuses en calcul ou incompatibles avec la configuration de la Descente Miroir (MD) utilisée dans l'entraînement parcimonieux moderne.

Méthodologie

L'article propose un schéma de régularisation adaptative intégré au cadre d'apprentissage Bregman (spécifiquement LinBreg et AdaBreg) pour ajuster automatiquement $\lambda$ pendant l'entraînement.

Cadre central

La méthode s'appuie sur l'approche de l'espace d'échelle inverse introduite par Bungert et al. [7]. Le problème d'optimisation est formulé comme la minimisation d'une fonction de perte $L(\theta)$ soumise à une contrainte de parcimonie $|\theta|_0 \leq a^*$. L'algorithme met à jour itérativement les paramètres $\theta$ en utilisant une perte linéarisée et un fonctionnel de régularisation $R$ basé sur la divergence de Bregman.

Pour favoriser la parcimonie, les auteurs emploient le fonctionnel Elastic Net :
$$EN_\lambda(\theta) := \frac{1}{2}|\theta|_2^2 + \lambda|\theta|_1$$
Ce choix assure une convexité forte et permet l'utilisation d'opérateurs proximaux. La règle de mise à jour implique une étape de sous-gradient suivie d'une étape proximale :

1. Étape de sous-gradient : $p^{(k+1)} = p^{(k)} - \tau \nabla L(\theta^{(k)})$
2. Étape proximale : $\theta^{(k+1)} = \nabla EN^*_{\lambda(k)}(p^{(k+1)})$

Stratégie adaptative

La contribution clé est l'adaptation dynamique de $\lambda$ basée sur le défaut de parcimonie $\epsilon^{(k)} = s^* - s(\theta^{(k)})$, où $s^*$ est la parcimonie cible et $s(\theta)$ la parcimonie actuelle.

La règle de mise à jour de $\lambda$ est appliquée tous les $f$ itérations :
$$\lambda^{(k+1)} = \begin{cases} \lambda^{(k)} (1 + \alpha |\epsilon^{(k)}|)^{\text{sgn}(\epsilon^{(k)})} & \text{si } k \pmod f = 0 \\ \lambda^{(k)} & \text{sinon} \end{cases}$$
Où $\alpha$ est un facteur d'accélération.

Mécanismes de stabilité :

• Amortissement : À mesure que le défaut de parcimonie $|\epsilon^{(k)}|$ approche un seuil de tolérance faible $\zeta_d$, la fréquence de mise à jour $f$ et le facteur d'accélération $\alpha$ sont réduits (amortis) pour prévenir les oscillations haute fréquence autour de la parcimonie cible.
• Analyse théorique : Les auteurs fournissent un lemme montrant que, sous des hypothèses de régularité $L$-lisse, la perte décroît avec un terme d'erreur contrôlé par l'ampleur du changement de $\lambda$. Ils analysent également la variation relative bornée de $\lambda$ pour garantir la stabilité.

Contributions clés

1. Contrôle automatique de la parcimonie : L'article étend le cadre Bregman [7] avec un mécanisme adaptatif de $\lambda$ qui guide de manière fiable les modèles vers des objectifs de parcimonie spécifiés par l'utilisateur (allant de 75 % à 99 %) sans réglage manuel des hyperparamètres.
2. Parité de performance avec le réglage oracle : Les résultats empiriques démontrent que les modèles entraînés avec le schéma automatique convergent vers des solutions performant au même niveau, voire mieux, que ceux entraînés avec un $\lambda$ fixe réglé par oracle.
3. Préservation de la robustesse : L'étude examine la robustesse hors distribution (OOD) des modèles parcimonieux. Elle constate que la parcimonie induit une robustesse et que le schéma adaptatif préserve cette propriété, surpassant souvent les bases denses sur des données OOD (par exemple, CNCeleb).
4. Analyse de l'allocation de la parcimonie : Les auteurs identifient un problème d'allocation sous-optimale de la parcimonie où les optimiseurs Bregman tendent à maintenir la couche de classificateur plus dense que le reste du réseau. À des niveaux de parcimonie extrêmes (par exemple, 99 %), cela force les couches intermédiaires vers une parcimonie quasi totale, dégradant les performances. L'article suggère que le recalibrage par couche de $\lambda$ peut atténuer ce phénomène.

Résultats expérimentaux

La méthode a été évaluée sur des tâches de vérification automatique du locuteur (ASV) utilisant les ensembles de données VoxCeleb et CNCeleb avec les architectures ECAPA-TDNN et ResNet34.

• Contrôle de la parcimonie : La méthode adaptative a atteint avec succès des niveaux de parcimonie cibles entre 75 % et 99 % pour les deux optimiseurs et architectures.
• Convergence : Les modèles adaptatifs ont convergé plus rapidement que les bases non adaptatives ($\lambda$ fixe) au début de l'entraînement.
• Performance (Taux d'erreur égalisé - EER) :
  • Sur des données dans le domaine (VoxCeleb), les modèles parcimonieux adaptatifs ont égalé ou surpassé le taux d'erreur égalisé (EER) des bases non adaptatives réglées par oracle.
  • Sur des données OOD (CNCeleb-E), les modèles parcimonieux ont généralement montré une meilleure généralisation que les bases denses, confirmant l'hypothèse de robustesse.
  • Sensibilité à l'architecture : ECAPA-TDNN a bien performé jusqu'à 95 % de parcimonie mais s'est dégradé brusquement à 99 % en raison du fait que le classificateur absorbait trop du budget de parcimonie. ResNet34 a montré des tendances similaires mais était plus sensible à la part des paramètres du classificateur.
• Comparaison avec l'élagage : Les bases d'élagage progressif ont performé de manière similaire aux modèles denses, tandis que les optimiseurs Bregman (en particulier AdaBreg) ont atteint des performances supérieures sur ECAPA-TDNN à des niveaux de parcimonie élevés.

Importance et affirmations

L'article affirme que son schéma adaptatif réduit considérablement le coût de l'ingénierie de la production de modèles parcimonieux en éliminant le besoin de recherches de $\lambda$ par objectif. Cela réduit l'empreinte énergétique associée à la sélection de modèles et facilite le déploiement sur des appareils aux ressources limitées.

Les auteurs notent modestement que, bien que la méthode contrôle avec succès la parcimonie et préserve la robustesse, elle ne résout pas entièrement le problème de l'allocation sous-optimale de la parcimonie dans la couche de classificateur à des niveaux de parcimonie extrêmes. Ils identifient la dérivation de bornes théoriques pour les oscillations de parcimonie et le développement de stratégies d'allocation de parcimonie par couche comme des directions importantes pour les travaux futurs. L'article ne prétend pas modifier l'équité inhérente ou les risques de mauvaise utilisation biométrique de la vérification du locuteur, notant que ceux-ci restent de la responsabilité de l'étape de déploiement.