Convex training of Lipschitz-regularized shallow neural networks

Résumé Technique : Entraînement Convexe de Réseaux de Neurones Peu Profonds Régularisés par la Constante de Lipschitz

Énoncé du Problème
L'entraînement des réseaux de neurones peu profonds (SNN - Shallow Neural Networks) repose généralement sur la descente de gradient stochastique (SGD), qui n'offre aucune garantie de convergence vers un optimum global et est sensible au réglage des hyperparamètres. De plus, les modèles standard entraînés sont souvent vulnérables aux attaques adverses — de petites perturbations, dans le pire des cas, appliquées aux données d'entrée qui modifient les prédictions. Bien que l'entraînement adverse et la régularisation de Lipschitz puissent améliorer la robustesse, les méthodes existantes font face à des défis importants :

1. Non-convexité : Les programmes d'entraînement intégrant des contraintes de Lipschitz (par exemple, via la programmation semi-définie ou ADMM) sont non convexes, ce qui signifie qu'ils manquent de garanties de convergence.
2. Sensibilité aux motifs d'activation : Les reformulations convexes précédentes pour les SNN (par exemple, Pilanci & Ergen, 2020) nécessitent l'échantillonnage de motifs d'activation. Si ces motifs sont sous-optimaux, le programme convexe résultant peut produire des solutions moins bonnes que le réseau initial entraîné par SGD.
3. Expansion du modèle : Les approches convexes existantes nécessitent souvent de doubler le nombre d'unités cachées pour garantir qu'une solution initiale soit admissible au sein de la restriction convexe, ce qui peut conduire au surapprentissage ou rendre les comparaisons de performance directes difficiles.

Méthodologie
Les auteurs proposent une procédure d'entraînement de post-traitement qui transforme un problème d'entraînement non convexe, régularisé par la constante de Lipschitz, en une séquence de restrictions convexes. La méthodologie centrale implique :

1. Construction de la Restriction Convexe :

   • Les auteurs fixent les signes des poids de la couche externe et les motifs d'activation des unités cachées basés sur un SNN pré-entraîné.
   • En fixant ces variables discrètes, le problème non convexe original (qui inclut la régularisation $\ell_2$ ou de Lipschitz) est restreint à un sous-problème convexe.
   • Crucialement, cette restriction est construite de telle sorte que la solution initiale pré-entraînée reste admissible. Par conséquent, l'optimum global de cette restriction convexe est mathématiquement garanti comme étant au moins aussi bon que la solution initiale.

2. Minimisation Alternée (AM) Itérative :

   • Pour les problèmes régularisés par la constante de Lipschitz, les auteurs proposent un algorithme itératif (Algorithme 1).
   • Étape 1 : Étant donné les poids actuels, résoudre un programme semi-défini (SDP) pour estimer la borne supérieure de Lipschitz la plus étroite (constante de Lipschitz) et mettre à jour la matrice auxiliaire $T$.
   • Étape 2 : Avec $T$ fixé, résoudre la restriction convexe (un programme quadratique avec des contraintes de inégalité matricielle linéaire) pour mettre à jour les poids de la couche cachée tout en maintenant les motifs d'activation extraits.
   • Ce processus se répète, diminuant de manière monotone la valeur de l'objectif (perte + pénalité de Lipschitz) jusqu'à la convergence.

3. Gestion des Multisets de Motifs :

   • Contrairement aux travaux précédents qui échantillonnent les motifs de manière aléatoire ou exigent des motifs uniques, cette méthode utilise les motifs d'activation exacts (multisets) extraits du réseau pré-entraîné.
   • Les auteurs prouvent que si les motifs extraits correspondent aux motifs de la solution optimale, le programme convexe est équivalent au problème non convexe original. Même avec des motifs sous-optimaux, la solution est garantie de s'améliorer par rapport au point initial.

Contributions Clés

1. Méthode d'Entraînement Convexe : Développement d'une méthode d'entraînement convexe pour les SNN régularisés par la constante de Lipschitz avec des activations ReLU. Les auteurs démontrent que fixer les signes des poids de la couche externe et les motifs d'activation des unités cachées produit une restriction convexe du problème non convexe original.
2. Amélioration Garantie : Un algorithme itératif est proposé qui résout une séquence de ces restrictions convexes vers l'optimalité globale. Les auteurs prouvent que la valeur de l'objectif diminue de manière monotone et que la solution finale est garantie d'être au moins aussi bonne que le réseau pré-entraîné initial.
3. Restrictions Convexes Plus Fortes : Le papier introduit des techniques pour construire ces restrictions en extrayant les motifs d'activation et les poids de la couche externe de n'importe quel SNN pré-entraîné. Cela répond au défi de trouver de "bons" motifs d'activation, car la méthode garantit une amélioration quel que soit la qualité du motif initial.
4. Validation Empirique : Des expériences sur des jeux de données UCI et synthétiques (fonction de Rastrigin) démontrent que la méthode de post-traitement proposée produit des réseaux avec des valeurs d'objectif plus faibles et une robustesse améliorée contre les attaques adverses PGD (Projected Gradient Descent) par rapport aux méthodes existantes comme l'entraînement de Lipschitz basé sur ADMM et la SGD standard.

Résultats

• Réduction de la Valeur de l'Objectif : Sur plusieurs jeux de données (Solar, Machine, Servo, Wine), les solutions convexes proposées (notées $(\cdot)$-C-lip) ont atteint une erreur quadratique moyenne (MSE) médiane plus faible sous conditions adverses par rapport aux modèles de référence entraînés via SGD, PGD ou ADMM.
• Robustesse : La méthode a produit des modèles qui étaient à la fois plus précis et plus robustes aux attaques adverses de différentes amplitudes ($\epsilon = 0, 0.1, 0.2$).
• Comparaison avec les Références :
  • La restriction convexe a systématiquement surpassé les modèles pré-entraînés initiaux.
  • En revanche, les méthodes qui n'échantillonnaient qu'une fraction des motifs d'activation (par exemple, 50 sur 100) n'ont pas réussi à garantir l'amélioration et ont souvent produit des solutions moins bonnes que les références, soulignant l'importance d'utiliser l'ensemble complet des motifs extraits.
  • La méthode proposée a montré des améliorations significatives par rapport à l'entraînement de Lipschitz basé sur ADMM, particulièrement sur les jeux de données "Servo" et "Machine".

Signification et Revendications
Le papier affirme que sa principale signification réside dans la fourniture d'un cadre convexe et traitable pour l'entraînement de SNN adverses robustes, qui surmonte les problèmes de convergence des méthodes non convexes (comme ADMM) et l'incertitude de la qualité de la solution des approches convexes existantes.

• Garantie de Robustesse : En minimisant la constante de Lipschitz via une restriction convexe, la méthode favorise la robustesse adverse sans les garanties de convergence de l'entraînement standard non convexe.
• Utilité de Post-traitement : L'approche sert de étape de post-traitement fiable. Elle prend n'importe quelle solution réalisable (par exemple, issue de SGD ou ADMM) et garantit une solution de qualité égale ou supérieure, affinant efficacement les modèles existants sans risque de dégrader les performances.
• Évolutivité et Praticité : La méthode utilise des solveurs de points intérieurs standards (par exemple, MOSEK) et évite le besoin d'un échantillonnage de motifs heuristique qui peut mener à des résultats sous-optimaux.

Les auteurs notent modestement que bien que la méthode garantisse une amélioration par rapport à la solution initiale, elle ne garantit pas de trouver l'optimum global du problème non convexe original, à moins que les motifs d'activation extraits ne se trouvent être optimaux. Des travaux futurs sont suggérés pour étendre cela aux réseaux de neurones profonds et pour développer des méthodes pour améliorer séquentiellement la sélection du multiset de motifs.