Résumé Technique : Gel Progressif par Couche pour les Réseaux Binaires à Profondeur Évolutive

Énoncé du Problème

L'entraînement des réseaux de neurones binaires (BNN), où les poids et les activations sont contraints à $\{-1, +1\}$, reste un défi majeur, particulièrement lorsque la profondeur du réseau augmente. L'approche dominante repose sur l'estimateur de passage direct (Straight-Through Estimator ou STE), qui substitue une fonction de signe non dérivable dans la passe avant par un gradient de substitution (généralement l'identité) lors de la passe arrière. Bien qu'efficace pour les réseaux peu profonds, le STE souffre d'un décalage fondamental entre l'avant et l'arrière. À mesure que les réseaux s'approfondissent, ce décalage entraîne une dégradation sévère de la précision.

La littérature existante tente principalement d'atténuer ce problème en affinant le STE lui-même (par exemple, via de meilleurs gradients de substitution, le façonnage de gradient ou l'échelle apprise). Cependant, ces méthodes conservent la structure centrale d'un opérateur d'avant dur couplé à une passe arrière de substitution. Cet article identifie un autre axe de défaillance : les blocages de gradient induits par l'activation. Dans les BNN complets, une fois qu'une activation est « gelée » (engagée vers une valeur binaire stricte), sa dérivée devient nulle presque partout. Si les activations sont gelées à des profondeurs arbitraires pendant l'entraînement, le flux de gradient vers les couches antérieures est interrompu, empêchant un apprentissage efficace dans les architectures profondes. Ce problème est spécifique aux BNN complets ; les réseaux à poids binaires (BWN), où les activations restent continues, ne souffrent pas de ce blocage.

Méthodologie : StoMPP

Les auteurs introduisent StoMPP (Stochastic Masked Partial Progressive Binarization), un échafaudage d'entraînement qui contrôle quand et où la binarisation est imposée, plutôt que d'améliorer l'estimateur de gradient lui-même.

Mécanisme Central

StoMPP maintient des variables réelles sous-jacentes pour les poids et les pré-activations. Un masque binaire détermine si chaque entrée est traitée comme discrète (gelée) ou continue (non gelée). La méthode emploie deux stratégies clés :

1. Programmation Progressive par Couche : Contrairement à la quantification progressive globale (où les paramètres sont gelés de manière aléatoire dans tout le réseau), StoMPP gèle les couches séquentiellement de l'entrée vers la sortie.

   • Préfixe Gelé : Les couches $1$à$\ell-1$ sont entièrement binarisées.
   • Couche de Transition : La couche $\ell$ est partiellement gelée, évoluant du continu vers le binaire.
   • Suffixe Non Gelé : Les couches $\ell+1$ à $N$ restent entièrement continues.
   • Raisonnement : Cela garantit que la couche subissant actuellement la binarisation dispose toujours d'un suffixe en aval non gelé, préservant ainsi un chemin de gradient valide vers la fonction de perte. Cela empêche les blocages de gradient causés par le gel prématuré des activations en aval.

2. Gel Partiel Masqué Stochastique avec Rafraîchissement Doux : Au sein de la couche de transition, le masque n'est pas défini de manière déterministe. Au lieu de cela, une fraction $p(\tau)$ des entrées est gelée selon un calendrier (par exemple, cubique). Crucialement, l'ensemble gelé subit un « rafraîchissement doux » à chaque étape : un petit sous-ensemble d'indices ($1/r$) est rééchantillonné selon une distribution de Bernoulli. Cela empêche l'engagement prématuré dans une configuration gelée spécifique et permet au modèle de s'adapter au motif binaire émergent.

Gestion du Gradient

La méthode est agnostique au traitement du gradient des entrées gelées, supportant deux régimes :

• StoMPP sans STE : Les entrées gelées reçoivent un gradient nul ($Surr(u) = 0$). Cela fournit une procédure d'entraînement entièrement exempte de STE.
• StoMPP + STE : Les entrées gelées reçoivent un gradient d'identité STE standard ($Surr(u) = 1$). Cela combine la structure de progression avec les gradients de substitution.

Les auteurs mènent des études d'ablation dans le régime sans STE pour isoler la contribution de l'ordre de progression des bénéfices des gradients de substitution.

Contributions Clés

1. Cadre StoMPP : Une procédure de gel progressif par couche avec masquage stochastique et rafraîchissement doux. Il supporte à la fois un entraînement entièrement sans STE et un entraînement hybride avec STE sur les entrées gelées.
2. Rôle Décisif de l'Ordre de Progression : L'article établit que pour les BNN complets, l'ordre de binarisation est critique.
   • Progression par Couche Avant (Entrée $\to$ Sortie) : Réussit sur les réseaux profonds.
   • Progression par Couche Arrière (Sortie $\to$ Entrée) : Provoque un effondrement catastrophique vers une performance proche du hasard.
   • Ordre Global : Se dégrade significativement avec la profondeur.
   • Insensibilité des BWN : Les réseaux à poids binaires sont largement insensibles à l'ordre, confirmant que le mode de défaillance est spécifique aux activations binaires bloquant les gradients.
3. Analyse de la Dynamique d'Entraînement : Les auteurs caractérisent la dynamique d'entraînement, notant un motif de convergence en « dents de scie » où la précision chute lorsque une nouvelle couche entre dans la phase de gel et se rétablit à mesure que le suffixe non gelé s'adapte. Ils démontrent que la programmation par couche est robuste à la forme du calendrier et aux taux de rafraîchissement, contrairement à la programmation globale.

Résultats Expérimentaux

L'évaluation utilise un protocole contrôlé avec une recette d'entraînement minimale (taux d'apprentissage constant, pas de décroissance des poids) pour isoler l'effet de la règle de binarisation.

• Évolutivité de la Profondeur : Sur les BNN ResNet-50, la performance du vanilla STE chute considérablement à mesure que la profondeur augmente (par exemple, de 41,9 % sur ResNet-18 à 30,8 % sur ResNet-50 sur ImageNet).
  • StoMPP (sans STE) : Améliore le vanilla STE de +18,0 % (CIFAR-10), +13,5 % (CIFAR-100) et +3,8 % (ImageNet) sur ResNet-50.
  • StoMPP + STE : Atteint des gains encore plus élevés, améliorant le vanilla STE de +27,1 % (CIFAR-10), +19,8 % (CIFAR-100) et +17,7 % (ImageNet) sur ResNet-50.
• Généralisation : Le schéma se vérifie sur ResNet-18/34, MobileNetV2 et le fine-tuning de BERT sur SST-2. Notamment, sur SST-2, le vanilla STE s'effondre vers un niveau proche du hasard (50,9 %), tandis que StoMPP + STE atteint 82,8 %.
• Ablations :
  • Ordre : L'ordre par couche arrière provoque l'effondrement des BNN (ex: 8,6 % sur CIFAR-100 ResNet-50), tandis que l'ordre par couche avant maintient la performance.
  • Hyperparamètres : La méthode est robuste au choix du calendrier (cubique, linéaire, etc.) et du taux de rafraîchissement, à condition d'utiliser une progression par couche.
  • Architectures : StoMPP se transfère aux architectures spécifiques aux binaires comme Bi-Real Net sans modification, bien que les interactions de fine-tuning varient.

Signification et Revendications

L'article affirme que le principal goulot d'étranglement pour l'entraînement des BNN profonds n'est pas la qualité du gradient de substitution, mais le moment et le lieu de la binarisation. En imposant une progression par couche vers l'avant, StoMPP empêche la formation de blocages de gradient induits par l'activation qui interrompent les signaux d'apprentissage dans les réseaux profonds.

Les auteurs soulignent qu'il s'agit d'une approche orthogonale à l'amélioration du STE ; elle change l'échafaudage d'entraînement plutôt que l'estimateur de gradient. Les résultats suggèrent que l'« effondrement de profondeur » observé dans les BNN est une conséquence structurelle des blocages de gradient, qui peut être atténuée en assurant un chemin de gradient continu à travers les couches en aval non gelées pendant le processus de binarisation. La méthode est présentée comme une procédure d'entraînement qui peut être combinée avec des améliorations architecturales existantes ou des techniques de gradient de substitution, offrant une voie vers des réseaux profonds entièrement binaires et évolutifs.