Technische Samenvatting: ArcGate: Adaptieve Arctangens-Gated Activatie

Probleemstelling

Activatiefuncties zijn fundamenteel voor diepe neurale netwerken en regelen non-lineariteit, kenleer, convergentie en robuustheid. Waar historische keuzes zoals Sigmoid en Tanh leden aan verdwijnende gradiënten, en moderne functies met vaste vorm zoals ReLU, GELU en SiLU rekenkundige efficiëntie bieden, ontbreekt het hen aan structurele flexibiliteit. Deze conventionele activaties passen zich niet aan aan de specifieke eisen van verschillende netwerklagen of data-verdelingen. Bovendien vertonen vaste activaties vaak beperkingen zoals het "dying ReLU"-probleem (nul gradiënten voor negatieve invoer) of niet-differentieerbare "knikken" bij de oorsprong, wat het trainen van diepe architecturen kan destabiliseren. In de context van remote sensing, waar data vaak hoge dynamische bereiken vertoont en vatbaar is voor sensorruis en atmosferische verstoringen, kan de rigiditeit van standaard activatiefuncties optimale prestaties en veerkracht belemmeren.

Methodologie

Het artikel stelt ArcGate (Adaptive Arctangent Gated Activation) voor, een flexibele, parametrische activatiefunctie die is ontworpen om zijn non-lineariteit autonoom te optimaliseren. ArcGate wordt opgebouwd via een drie-traps niet-lineaire transformatie met zeven leerbare parameters per laag: $a, c, p, \alpha, \beta, \gamma, \delta$.

De formulering verloopt als volgt:

1. Monotone Overgang: Een gladde overgangsfunctie $u(x; a, c)$ mapt de invoer naar $(0, 1)$ met behulp van een arctangensfunctie. De parameter $a$ controleert de steilheid en $c$ stelt het overgangsmiddelpunt in.
2. Niet-lineaire Rekking (Gating): Een adaptieve gatingfunctie $v(x; p)$ wordt afgeleid door een odds-transformatie toe te passen op $u(x)$, deze tot de macht $p$ te verheffen en deze via arctangens terug te mappen naar $(0, 1)$. De parameter $p$ controleert de scherpte van de gate, waardoor overgangen mogelijk zijn van sigmoid-achtig tot bijna stuksgewijs lineair gedrag.
3. Affiene Combinatie: De uiteindelijke activatie $F(x)$ combineert de gatingfunctie met lineaire en bilineaire termen:
   $$F(x; \alpha, \beta, \gamma, \delta) = (\alpha x + \beta)v(x; p) + (\gamma x + \delta)$$
   Hierbij reguleert $\alpha$ de helling in het actieve gebied, controleert $\beta$ de niet-lineaire bijdrage, introduceert $\gamma$ een lineair pad (lekage) en biedt $\delta$ een constante verschuiving.

Wiskundige Eigenschappen

• Generalisatie: ArcGate vormt een functionele superverzameling die in staat is klassieke activaties (ReLU, Sigmoid, Tanh, SiLU, GELU, Leaky ReLU) te repliceren als speciale gevallen of nauwkeurige benaderingen door zijn parameters af te stemmen.
• Continuïteit en Differentieerbaarheid: In tegenstelling tot ReLU is ArcGate overal $C^\infty$ (oneindig differentieerbaar) vanwege zijn samenstelling van arctangens- en machtfuncties, wat stabiele backpropagatie garandeert.
• Numerieke Stabiliteit: Het gebruik van arctangens als compressiemechanisme voorkomt overflow-problemen die gebruikelijk zijn bij op exponentiële functies gebaseerde functies (zoals Sigmoid) tijdens training met half-precision.
• Leerbaar Bias: De parameters $c$ en $\delta$ maken het mogelijk dat de activatie een interne bias leert die onafhankelijk is van weeglagen, en zich aanpast aan specifieke data-statistieken.

Experimentele Opzet

De auteurs evalueerden ArcGate met ResNet-50 en Vision Transformer (ViT-B/16) architecturen op drie remote sensing-benchmarks:

• PatternNet: Een hoogresolutie dataset voor landbedekking.
• UC Merced Land Use: Een standaard dataset voor landgebruiksclassificatie.
• EuroSAT MSI: Een multispectrale dataset met 13 banden.

Voor multispectrale invoer (EuroSAT) werden modellen aangepast aan 13 kanalen. Training gebruikte AdamW-optimisatie over 50 epoch. ArcGate-parameters werden geïnitieerd met een "Soft ReLU"-configuratie ($a=5.0, p=1.0$, enz.) om stabiele vroege training te waarborgen.

Belangrijkste Resultaten

1. Classificatie-nauwkeurigheid

ArcGate presteerde consistent beter dan standaard baselines (ReLU, Leaky-ReLU, SiLU, GELU, enz.) over alle datasets en architecturen.

• PatternNet: Bereikte een piek Overall Accuracy (OA) van 99,67% met ResNet-50, en overtrof de ReLU-baseline (99,57%) en SiLU (99,01%).
• UC Merced: Bereikte 98,15% (ResNet-50) en 98,33% (ViT-B/16), en overtrof ReLU en SiLU.
• EuroSAT: Toonde concurrerende prestaties, met ResNet-50 die 98,47% OA bereikte.

2. Ruisrobuustheid

Een stress-test met Gaussische ruis ($\sigma \in [0, 0.2]$) op de PatternNet-dataset onthulde de superieure structurele veerkracht van ArcGate.

• Bij matige ruis ($\sigma = 0.1$) daalde de nauwkeurigheid van het op ReLU gebaseerde model drastisch tot 39,34%.
• Het ArcGate-model behield een nauwkeurigheid van 65,99%, wat een absolute verbetering van 26,65% vertegenwoordigt ten opzichte van de ReLU-baseline.
• Deze veerkracht wordt toegeschreven aan de gladde, volledig differentieerbare overgang van ArcGate, die op natuurlijke wijze de respons regulariseert en ruisversterking beperkt in vergelijking met de scherpe discontinuïteit van ReLU.

3. Laagsgewijze Adaptatie en Ablatie

• Diepte-afhankelijke Evolutie: Analyse van de geleerde parameters toonde aan dat de gating-helling ($\alpha$) toeneemt met de netwerkdiepte (van 0,99 in ondiepe lagen tot 1,12 in diepe lagen). Dit suggereert dat het netwerk autonoom leert de signaalintensiteit in diepere lagen te versterken om verzwakking tegen te gaan en kenmerk-salientie te verbeteren.
• Granulariteit: Een ablatiestudie bevestigde dat laagsgewijs leerbare parameters (totaal 343 extra parameters) beter presteerden dan globaal gedeelde parameters met 0,42% en vaste parameters met 0,66%. De rekenkundige overhead was verwaarloosbaar (<0,002% van het totale aantal parameters).
• Initialisatie: Initialisatie met een "Soft-ReLU"-configuratie leverde snellere convergentie en bijna optimale resultaten op in vergelijking met willekeurige of identiteitsinitialisatie.

Betekenis en Claims

Het artikel stelt dat ArcGate een robuuste en adaptieve algemene knoop-activatiefunctie is die specifiek voordelig is voor hoogresolutie aardobservatietaken. De primaire betekenis ligt in:

1. Autonome Adaptatie: In tegenstelling tot vaste activaties, stelt ArcGate het netwerk in staat zijn non-lineariteit te vormen naar de specifieke kenhiërarchie en data-verdeling, zoals blijkt uit de diepte-afhankelijke parameter-evolutie.
2. Versterkte Robuustheid: De gladde, differentieerbare aard van de functie biedt aanzienlijke veerkracht tegen signaalverstoringen die gebruikelijk zijn in remote sensing (bijv. sensorruis), en presteert in ruisomstandigheden met een grote marge beter dan standaard ReLU.
3. Gefuseerd Kader: ArcGate verenigt verschillende activatiegedragingen (rectificerend, verzadigend, lineair, glad niet-monotoon) in één parametrische familie, en demonstreert dat klassieke functies speciale gevallen zijn van deze bredere formulering.

De auteurs concluderen dat ArcGate, hoewel het veelbelovend is voor SAR- en optische beeldanalyse, in toekomstig werk zijn toepassing in lichtgewicht architecturen en complexwaardige netwerken zal verkennen.