OUIDecay: Adaptive Layer-wise Weight Decay for CNNs Using Online Activation Patterns

Technische Samenvatting: OUIDecay

Probleemstelling
Gewichtsverval is een standaard regularisatiemechanisme voor het trainen van convolutionele neurale netwerken (CNN's), maar wordt doorgaans toegepast als een vaste coëfficiënt die uniform over alle lagen wordt verdeeld gedurende het trainingsproces. Deze uniforme behandeling negeert het feit dat verschillende lagen in moderne CNN's evolueren met onderscheidende structurele dynamieken en mogelijk verschillende regularisatiesterktes vereisen. Een enkele globale vervalwaarde kan voor sommige lagen onnodig restrictief zijn, terwijl deze voor andere te zwak is. Hoewel er adaptieve strategieën bestaan, zoals AdaDecay, vertrouwen deze voornamelijk op op gradiënten gebaseerde informatie. De auteurs betogen dat aanpassing van regularisatie zou kunnen profiteren van signalen die het interne functionele gedrag van het netwerk (activatiepatronen) weerspiegelen, in plaats van uitsluitend op optimalisatiegeometrie.

Methodologie: OUIDecay
Het artikel stelt OUIDecay voor, een adaptieve, laag-voor-laag en tijd-afhankelijke scheduler voor gewichtsverval die wordt aangestuurd door de Overfitting-Underfitting Indicator (OUI). OUI is een label-vrije maatstaf die is afgeleid van activatiepatronen en de structurele variabiliteit van een netwerklag kwantificeert.

• De OUI-maatstaf: De methode maakt gebruik van een op batches gebaseerde formulering van OUI (geïntroduceerd in eerder werk [4]) om stabiliteit en rekenefficiëntie te waarborgen. Voor een gegeven laag $i$ en een proefbatch $B_t$ berekent de methode een binaire activatiemaske voor elke eenheid. Vervolgens wordt voor elke eenheid een "minderheidstelling" berekend (het aantal samples waarbij de eenheid actief is als deze meestal inactief is, of omgekeerd). De OUI op laagniveau is het gemiddelde van deze genormaliseerde minderheidstellingen. Een hoge OUI geeft aan dat eenheden in de laag de batch op een gebalanceerde manier verdelen, terwijl een lage OUI structurele bias suggereert (eenheden zijn bijna altijd actief of inactief).
• Adaptieve Scheduler: OUIDecay streeft niet naar een universele "ideale" OUI-waarde. In plaats daarvan gebruikt het de relatieve verdeling van OUI-waarden over de lagen om gewichtsverval te herverdelen.
  • Op periodieke intervallen ($\tilde{t}$) berekent de scheduler $OUI_i(t)$ voor alle gemonitorde lagen.
  • Het identificeert de minimum ($OUI_{min}$) en maximum ($OUI_{max}$) waarden over de lagen.
  • Laag-voor-laag vervalcoëfficiënten $\lambda_i(t)$ worden toegewezen via lineaire herschaling binnen een gedefinieerd bereik $[s_1, s_2]$ ten opzichte van een basisgewichtsverval $\lambda_{base}$. Lagen met OUI-waarden dichter bij $OUI_{min}$ ontvangen coëfficiënten dicht bij $s_1\lambda_{base}$, terwijl die dichter bij $OUI_{max}$ liggen coëfficiënten dicht bij $s_2\lambda_{base}$ ontvangen.
• Ontwerpphilosophie: De aanpak is ontworpen om lichtgewicht te zijn en geschikt voor online training. Het update coëfficiënten periodiek (bijvoorbeeld elke 500 iteraties) in plaats van bij elke stap om gevoeligheid voor kortetermijn-batchfluctuaties te vermijden. Cruciaal is dat het uitsluitend vertrouwt op activatiepatronen, waarbij geen validatiegegevens of gradiëntinformatie nodig zijn voor de schedulerbeslissing.

Belangrijkste Bijdragen

1. Voorstel van OUIDecay: De auteurs introduceren een scheduler voor gewichtsverval op laagniveau voor CNN's die wordt aangestuurd door de op batches gebaseerde formulering van OUI.
2. Empirische Validatie: Het artikel levert empirisch bewijs dat OUIDecay, over verschillende CNN-instellingen heen, over het algemeen de trainingsresultaten verbetert in vergelijking met zowel vast gewichtsverval als de op gradiënten gebaseerde adaptieve methode AdaDecay.

Experimentele Resultaten
De methode werd geëvalueerd op vier model-datasetparen: EfficientNet-B0 (Stanford Cars), ResNet50 (Food101), DenseNet121 (CIFAR100) en MobileNetV2 (CIFAR10). De primaire maatstaf was de beste validatieverlies.

• Prestaties: OUIDecay behaalde de beste gemiddelde beste validatieverlies in 7 van de 8 geëvalueerde instellingen (variërende basisgewichtsvervalwaarden).
• Vergelijking met Baselines:
  • vs. Vaste Verval: OUIDecay presteerde consequent beter dan vast gewichtsverval, met name in de EfficientNet-B0- en MobileNetV2-experimenten.
  • vs. AdaDecay: OUIDecay overtrof de op gradiënten gebaseerde AdaDecay in de meeste instellingen. Opmerkelijk is dat bij ResNet50-experimenten met hogere gewichtsvervalwaarden, AdaDecay hoge variantie en slechtere prestaties vertoonde, terwijl OUIDecay stabiel en effectief bleef.
  • Uitzonderingen: In de DenseNet121/CIFAR100-instelling met een lagere basisgewichtsvervalwaarde leverde AdaDecay iets betere resultaten op dan OUIDecay, hoewel OUIDecay de voorsprong terugwon bij een hogere basisgewichtsvervalwaarde.
• Efficiëntie: De rekenkundige overhead voor het berekenen van het OUI-signaal en het updaten van gewichten was verwaarloosbaar, goed voor minder dan 0,2% van de volledige trainingsiteratietijd. Ablatiestudies bevestigden dat de methode robuust is ten opzichte van de keuze van het update-interval en het schaalbereik, met optimale prestaties waargenomen bij gemiddelde updatefrequenties.

Betekenis en Claims
Het artikel beweert dat OUIDecay aantoont dat op activaties gebaseerde aanpassing van gewichtsverval een praktische en effectief alternatief is voor zowel vaste verval als adaptieve methoden op basis van gradiënten. De betekenis ligt in het verschuiven van het controlesignaal van het optimalisatiedomein (gradiënten) naar het functionele domein (activaties), waardoor de scheduler kan reageren op hoe het netwerk structureel invoergegevens partitioneert.

De auteurs houden een bescheiden scope aan en stellen expliciet dat de resultaten zijn gevalideerd binnen de specifieke onderzochte CNN-instellingen en niet noodzakelijkerwijs generaliseren naar alle modelfamilies (bijvoorbeeld Transformers) of trainingsregimes. Ze positioneren OUIDecay niet als een definitieve oplossing voor het probleem van gewichtsverval, maar als een praktische stap richting flexibelere, lichtgewicht en online regularisatiestrategieën die interne structurele signalen benutten zonder validatiegegevens te vereisen.