Technische Samenvatting: Layerwise Progressive Freezing voor Diepte-schaalbare Binaire Netwerken

Probleemstelling

Het trainen van Binary Neural Networks (BNNs), waarbij zowel gewichten als activaties worden beperkt tot $\{-1, +1\}$, blijft uitdagend, vooral naarmate de netwerkdiepte toeneemt. De dominante trainingsaanpak vertrouwt op de Straight-Through Estimator (STE), die een niet-differentieerbare sign-functie in de forward pass vervangt door een surrogaatgradiënt (meestal de identiteit) in de backward pass. Hoewel dit effectief is voor ondiepe netwerken, lijdt STE onder een fundamentele mismatch tussen de forward en backward pass. Naarmate netwerken dieper worden, leidt deze mismatch tot ernstige nauwkeurigheidsdegradatie.

Bestaande literatuur probeert dit primair te verzachten door de STE zelf te verfijnen (bijv. betere surrogaatgradiënten, gradiëntvorming of geleerde schaling). Deze methoden behouden echter de kernstructuur van een harde forward-operator gekoppeld aan een surrogaat backward-pass. Dit artikel identificeert een andere foutas: activatie-geïnduceerde gradiëntblokkades. In volledige BNN's, zodra een activatie is "bevroren" (vastgelegd op een hard binaire waarde), wordt de afgeleide bijna overal nul. Als activaties op willekeurige dieptes tijdens de training worden bevroren, wordt de gradiëntstroom naar eerdere lagen afgesneden, wat effectief leren in diepe architecturen verhindert. Dit probleem is specifiek voor volledige BNN's; Binary Weight Networks (BWNs), waarbij activaties continu blijven, hebben geen last van deze blokkade.

Methodologie: StoMPP

De auteurs introduceren StoMPP (Stochastic Masked Partial Progressive Binarization), een trainingsscaffold die controleert wanneer en waar binarisatie wordt afgedwongen, in plaats van de gradiëntschatter zelf te verbeteren.

Kernmechanisme

StoMPP behoudt reële onderliggende variabelen voor gewichten en pre-activaties. Een binaire masker bepaalt of elke entry wordt behandeld als discreet (bevroren) of continu (onbevroren). De methode maakt gebruik van twee belangrijke strategieën:

1. Layerwise Progressive Scheduling: In tegenstelling tot globale progressieve kwantisatie (waarbij parameters willekeurig door het netwerk worden bevroren), bevriest StoMPP lagen sequentieel van input naar output.

   • Frozen Prefix: Lagen $1$ tot $\ell-1$ zijn volledig gebinariseerd.
   • Transition Layer: Laag $\ell$ is gedeeltelijk bevroren en evolueert van continu naar binair.
   • Unfrozen Suffix: Lagen $\ell+1$ tot $N$ blijven volledig continu.
   • Rationale: Dit zorgt ervoor dat de laag die momenteel binarisatie ondergaat, altijd een onbevroren downstream suffix heeft, waardoor een geldige gradiëntroute naar de loss-functie behouden blijft. Dit voorkomt de gradiëntblokkades veroorzaakt door vroege bevriezing van downstream activaties.

2. Stochastic Masked Partial Freezing met Soft Refresh: Binnen de transitionele laag wordt het masker niet deterministisch ingesteld. In plaats daarvan wordt een fractie $p(\tau)$ van de entries bevroren volgens een schema (bijv. cubisch). Cruciaal is dat de bevroren set bij elke stap wordt "soft-refreshed": een kleine subset van indices ($1/r$) wordt opnieuw gesampled volgens een Bernoulli-verdeling. Dit voorkomt voortijdige vastlegging aan een specifieke bevroren configuratie en stelt het model in staat zich aan te passen aan het opkomende binaire patroon.

Gradiëntafhandeling

De methode is agnostisch voor de behandeling van gradiënten voor bevroren entries en ondersteunt twee regimes:

• STE-vrije StoMPP: Bevroren entries ontvangen een nul-gradiënt ($Surr(u) = 0$). Dit biedt een volledig STE-vrije trainingsprocedure.
• StoMPP+STE: Bevroren entries ontvangen een standaard STE-identiteitsgradiënt ($Surr(u) = 1$). Dit combineert de progressiestructuur met surrogaatgradiënten.

De auteurs voeren ablatie-studies uit in het STE-vrije regime om de bijdrage van de progressievolgorde te isoleren van de voordelen van surrogaatgradiënten.

Belangrijkste Bijdragen

1. StoMPP Framework: Een layerwise progressieve freezing procedure met stochastische masking en soft refresh. Het ondersteunt zowel volledig STE-vrije training als hybride training met STE op bevroren entries.
2. Beslissende Rol van de Progressievolgorde: Het artikel stelt vast dat voor volledige BNN's de volgorde van binarisatie cruciaal is.
   • Forward Layerwise (Input $\to$ Output): Slaagt bij diepe netwerken.
   • Reverse Layerwise (Output $\to$ Input): Veroorzaakt een catastrofale instorting naar prestaties nabij toeval.
   • Global Ordering: Verslechtert significant met diepte.
   • BWN-insensitiviteit: Binary Weight Networks zijn grotendeels ongevoelig voor de volgorde, wat bevestigt dat de foutmodus specifiek is voor binaire activaties die gradiënten blokkeren.
3. Analyse van Trainingsdynamiek: De auteurs karakteriseren de trainingsdynamiek en merken een "zaagtand"-convergentiepatroon op, waarbij de nauwkeurigheid daalt wanneer een nieuwe laag de freezing-fase ingaat en herstelt naarmate de onbevroren suffix zich aanpast. Ze demonstreren dat layerwise scheduling robuust is tegen de vorm van het schema en de refresh-rates, in tegen tegenstelling tot globale scheduling.

Experimentele Resultaten

De evaluatie gebruikt een gecontroleerd protocol met een minimaal trainingsrecept (constante learning rate, geen weight decay) om het effect van de binarisatieregel te isoleren.

• Diepte-schaalbaarheid: Op ResNet-50 BNN's daalt de vanilla STE-prestatie aanzienlijk naarmate de diepte toeneemt (bijv. van 41,9% op ResNet-18 naar 30,8% op ResNet-50 op ImageNet).
  • StoMPP (STE-vrij): Verbetert ten opzien van vanilla STE met +18,0% (CIFAR-10), +13,5% (CIFAR-100) en +3,8% (ImageNet) op ResNet-50.
  • StoMPP+STE: Behaalt nog hogere winsten, met een verbetering ten opzien van vanilla STE van +27,1% (CIFAR-10), +19,8% (CIFAR-100) en +17,7% (ImageNet) op ResNet-50.
• Generalisatie: Het patroon houdt stand bij ResNet-18/34, MobileNetV2 en BERT fine-tuning op SST-2. Opmerkelijk genoeg, op SST-2, stort vanilla STE in tot nabij toeval (50,9%), terwijl StoMPP+STE 82,8% bereikt.
• Ablaties:
  • Ordering: Reverse layerwise ordering veroorzaakt dat BNN's instorten (bijv. 8,6% op CIFAR-100 ResNet-50), terwijl forward ordering de prestaties behoudt.
  • Hyperparameters: De methode is robuust voor de keuze van het schema (kubisch, lineair, etc.) en de refresh-rate, mits er een layerwise progressie wordt gebruikt.
  • Architecturen: StoMPP wordt zonder modificatie overgedragen naar binaire-specifieke architecturen zoals Bi-Real Net, hoewel interacties tijdens fine-tuning variëren.

Betekenis en Claims

Het artikel claimt dat de primaire bottleneck bij het trainen van diepe BNN's niet de kwaliteit van de surrogaatgradiënt is, maar de timing en locatie van de binarisatie. Door een forward layerwise progressie af te dwingen, voorkomt StoMPP de vorming van activatie-geïnduceerde gradiëntblokkades die leersignalen in diepe netwerken afsnijden.

De auteurs benadrukken dat dit een orthogonale aanpak is voor het verbeteren van STE; het verandert de trainingsscaffold in plaats van de gradiëntschatter. De resultaten suggereren dat de geobserveerde "diepte-instorting" in BNN's een structureel gevolg is van gradiëntblokkades, die kunnen worden gemitigeerd door een continue gradiëntroute te waarborgen via onbevroren downstream lagen tijdens het binarisatieproces. De methode wordt gepresenteerd als een trainingsprocedure die gecombineerd kan worden met bestaande architecturale verbeteringen of surrogaatgradiënttechnieken, wat een pad biedt naar schaalbare, volledig binaire diepe netwerken.