APTx Neuron: A Unified Trainable Neuron Architecture Integrating Activation and Computation

Technische Samenvatting: APTx Neuron

Probleemstelling
Standaard feedforward neurale netwerken maken doorgaans gebruik van een modulair ontwerp waarbij een neuron een lineaire gewogen sommatie uitvoert, gevolgd door een aparte, vaste niet-lineaire activatiefunctie (bijv. ReLU, Swish, Mish). De auteur stelt dat deze scheiding structurele redundantie en verhoogde geheugenoverhead introduceert, aangezien er afzonderlijke lagen nodig zijn voor zowel berekening als activatie. Bovendien vertrouwen traditionele neuronen op vaste activatiefuncties die niet dynamisch kunnen aanpassen aan specifieke inputdistributies of trainingsdynamiek, wat de representatieve flexibiliteit en optimalisatie-efficiëntie van het netwerk potentieel kan beperken.

Methodologie
Het paper stelt de APTx Neuron voor, een unitaire, volledig trainbare computationele eenheid die lineaire transformatie en niet-lineaire activatie integreert in één enkele wiskundige expressie. Dit ontwerp is een uitbreiding van de eerder geïntroduceerde APTx activatiefunctie.

• Wiskundige Formulering:
  In tegenstelling tot de standaard neuron $y = \phi(\sum w_i x_i + b)$, berekent de APTx Neuron de output $y$ voor $n$ inputfeatures als:
  $$y = \sum_{i=1}^{n} [(\alpha_i + \tanh(\beta_i x_i)) \cdot \gamma_i x_i] + \delta$$
  Hier zijn $\alpha_i$, $\beta_i$, en $\gamma_i$ trainbare parameters specifiek voor elke inputdimensie $x_i$, en $\delta$ is een trainbare scalaire bias.

• Mechanisme:
  De term $(\alpha_i + \tanh(\beta_i x_i))$ zorgt voor adaptieve gating, terwijl $\gamma_i x_i$ multiplicatieve controle biedt. Dit stelt de neuron in staat om elke input te moduleren via een geleerde, per-dimensie niet-lineariteit en schaleringsoperatie.

• Theoretische Eigenschappen:

  • Universaliteit: De architectuur behoudt het vermogen tot universele benadering van neurale netwerken.
  • Adaptiviteit: Door parameters aan te passen, kan de neuron verschillende computationele regimes emuleren:
    • Lineaire Neuron: Als $\beta_i = 0$ en specifieke restricties op $\alpha_i$ of $\gamma_i$ worden voldaan, reduceert dit tot een standaard lineaire neuron.
    • Pure Activatie: Met $\delta=0$ fungeert het als een samengestelde activatiefunctie.
    • Identiteit: Specifieke parameterinstellingen maken het mogelijk om als een eenvoudige sommerende neuron te fungeren.
  • Strategieën voor Parameter-efficiëntie: Hoewel een enkele neuron $3n+1$ parameters introduceert (vergeleken met $n+1$ in standaard neuronen), suggereert het paper strategieën zoals volledige sharing, gedeeltelijke sharing of hybride schema's (bijv. het fixeren van $\alpha_i=1$) om de complexiteit te reduceren tot $2n+1$ of minder.

Experimentele Resultaten
De auteur heeft de APTx Neuron gevalideerd op de MNIST dataset van handgeschreven cijfers met behulp van een custom fully connected feedforward netwerk geïmplementeerd in PyTorch.

• Architectuur: Input (784) $\to$ APTx Layer (128) $\to$ APTx Layer (64) $\to$ APTx Layer (32) $\to$ Lineaire Output (10).
• Parameters: Het model maakte gebruik van ongeveer 332.330 trainbare parameters.
• Prestaties:
  • Het model bereikte een piek testnauwkeurigheid van 96,69% binnen 11 epochs.
  • De trainingsnauwkeurigheid bereikte 99,81% bij epoch 20.
  • Het model demonstreerde een snelle convergentie en overtrof 96% testnauwkeurigheid bij epoch 6.

Belangrijkste Bijdragen

1. Unitaire Architectuur: De introductie van een enkele trainbare expressie die de noodzaak voor afzonderlijke activatielagen elimineert door berekening en niet-lineariteit samen te voegen.
2. Expressieve Flexibiliteit: Het vermogen van de neuron om het gedrag (lineair, niet-lineair of hybride) dynamisch aan te passen tijdens de training op basis van geleerde parameters, wat fijne controle biedt over inputtransformaties.
3. Generalisatie: Het ontwerp omvat traditionele neuronen en diverse activatiefuncties (inclusief Swish, Mish en ReLU-benaderingen) als speciale gevallen of nauwe benaderingen.
4. Implementatie Beschikbaarheid: De auteur biedt een pip-installable Python package (aptx_neuron) en broncode voor de experimenten aan.

Betekenis en Claims
Het paper claimt dat de APTx Neuron een nieuw paradigma vertegenwoordigt in unair neuronontwerp. Door de rigide scheiding tussen lineaire en niet-lineaire componenten te verwijderen, bereikt de architectuur:

• Optimalisatie-efficiëntie: Snellere convergentie en hoge nauwkeurigheid met potentieel minder lagen of neuronen vereist vanwege verhoogde expressiviteit.
• Compactheid: Een reductie in architecturale redundantie, wat het geschikt maakt voor omgevingen met beperkt geheugen of lage latentie.
• Adaptiviteit: De capaciteit voor het netwerk om optimale niet-lineaire transformaties te leren die specifiek zijn voor de taak, in plaats van te vertrouwen op vooraf gedefinieerde, statische activatiefuncties.

De auteur concludeert dat dit ontwerp de basis legt voor het uitbreiden van unitaire neuronen naar Convolutional Neural Networks (CNN's) en Transformer-architecturen, waarbij de APTx-formulering kan dienen als een flexibele bouwsteen voor convolutionele modulatie of feed-forward lagen. Het werk benadrukt dat de APTx Neuron een theoretisch onderbouwde, krachtige alternatief biedt voor conventionele ontwerpen, wat compactere en adaptievere deep learning modellen mogelijk maakt.