Technische Samenvatting: HALFNET: RANDOMIZED NEURAL NETWORKS MET GELEERDE SUBSPACE-GEOMETRIE

1. Probleemstelling

Het trainen van traditionele neurale netwerken omvat het optimaliseren van elke individuele gewichtsparameter, wat computationeel duur en parameter-intensief kan zijn. Daartegenover staan gerandomiseerde neurale netwerken (bijv. Extreme Learning Machines) die gewichten vastzetten op waarden getrokken uit een standaardverdeling (bijv. $N(0, I)$), wat de optimalisatie vereenvoudigt maar vaak ten koste gaat van het voorspellende vermogen omdat de willekeurige geometrie mogelijk niet aansluit bij de datastructuur.

Het kernprobleem dat wordt aangepakt, is hoe men de eenvoud van gerandomiseerde netwerken kan behouden terwijl de datagevoelige structuur die nodig is voor hoge nauwkeurigheid wordt gevangen. Specifiek onderzoekt het artikel of de geometrie van de gewichtsverdeling (de covariantiestructuur) belangrijker is voor het voorspellende vermogen dan de precieze waarden van individuele gewichten, en of deze geometrie efficiënt geleerd kan worden.

2. Methodologie: HalfNet

Het voorgestelde HalfNet-raamwerk introduceert een stochastische parametrisering waarbij gewichten niet zijn vastgezet op een standaardverdeling noch individueel worden geleerd, maar worden gesampled uit een geleerde verdeling $N(0, \Sigma)$.

2.1. Modelformulering

Voor een verborgen eenheid $h$ met input $x$ is de activatie gedefinieerd als:
$$y_h = g(u_h(r_h^\top x) + u_{h0})$$
waarbij $g$ de activatiefunctie is (bijv. ReLU), en $u_h, u_{h0}$ geleerde schaal- en translatieparameters zijn die specifiek zijn voor de eenheid.

De willekeurige projectievector $r_h$ wordt gegenereerd via een laag-rang factorisatie:
$$r_h = B z_h + \text{diag}(\sigma) \epsilon_h$$
waarbij:

• $z_h \sim N_k(0, I)$ en $\epsilon_h \sim N_d(0, I)$ willekeurige vectoren zijn die eenmalig worden gesampled en vaststaan.
• $B \in \mathbb{R}^{d \times k}$ (met $k < d$) en $\sigma \in \mathbb{R}^d$ geleerde parameters zijn die gedeeld worden door alle eenheden in de laag.
• De resulterende verdeling is $r_h \sim N_d(0, \Sigma)$, waarbij $\Sigma = BB^\top + \text{diag}(\sigma^2)$.

Deze aanpak ontkoppelt de willekeur (de vectoren $z_h, \epsilon_h$) van de geometrie (de matrix $B$ en schaling $\sigma$). De rang $k$ fungeert als een hyperparameter die de modelcomplexiteit regelt, interpolerend tussen volledig willekeurige eenheden ($k \to 0$) en volledig trainbare netwerken.

2.2. Uitbreidingen

Het raamwerk wordt uitgebreid naar:

• Binaire Gewichten: Door een tekenfunctie toe te passen op de gegenereerde vectoren, kan HalfNet binaire ($\pm 1$) gewichten produceren. De tekenoperatie behoudt de hoekrelaties gedefinieerd door de geleerde covariantie $\Sigma$, waardoor het model afhankelijkheden kan leren, zelfs in het binaire regime.
• Convolutionele Lagen: Filters worden gegenereerd met behulp van dezelfde laag-rang factorisatie, uitgaande van een gedeelde covariantiestructuur over de filters binnen een laag.
• Multi-layer Architecturen: Meerdere HalfNet-lagen kunnen worden gestapeld, met aparte geleerde parameters voor elke laag.

3. Belangrijkste Bijdragen

1. Leren van de Covariantiestructuur: HalfNet leert de covariantiestructuur van willekeurige projecties in plaats van individuele gewichten, wat effectief een datagevoelige willekeurige embedding uitvoert.
2. Gladde Schaling met Rang: Het artikel toont aan dat de nauwkeurigheid soepel schaalt met de rang $k$ van de covariantiefactor, wat suggereert dat een groot deel van het voorspellende vermogen in getrainde lagen berust in laagdimensionale geometrische structuren.
3. Veelzijdigheid: Het raamwerk wordt getoond als toepasbaar op fully-connected lagen, convolutionele front-ends en binaire gewichtsnetwerken.
4. Theoretische Interpretaties: De methode laat drie complementaire interpretaties toe:
   • Random Projection: Het leren van een lineaire embedding $x' = B^\top x$ gevolgd door vaste willekeurige projecties.
   • Metric Learning: Het leren van een Mahalanobis-metriek waarbij $B$ bepaalt welke inputrichtingen worden benadrukt.
   • Kernel Methoden: Het impliciet leren van de distributie van projectievectoren leert de kernelfunctie te begrijpen.

4. Experimentele Resultaten

4.1. MNIST-experimenten

• Enkele Verborgen Laag (784–64–10): HalfNet-varianten met geleerde $\sigma$ en laag-rang $B$ presteren significant beter dan puur willekeurige netwerken. Met rang $k=4$ evenaart HalfNet de nauwkeurigheid van een Lineaire Perceptron (LP) met bijna de helft van de parameters. Met $k=16$ evenaart het een volledig getraind Multilayer Perceptron (MLP) met vergelijkbare parameteraantallen.
• Spectrale Analyse: Singular Value Decomposition (SVD) van de gewichten van een volledig getraind MLP onthult dat 60% van de spectrale energie in de bovenste 9 richtingen ligt en 80% in de bovenste 17. Dit bevestigt dat getrainde gewichten in een laagdimensionale subspace liggen, die HalfNet expliciet parametriseert.
• Convolutionele Frontend: Het toevoegen van een convolutionele laag (16 filters) verbetert alle modellen. HalfNet profiteert hier aanzienlijk van en bereikt een hoge nauwkeurigheid zelfs bij lage rangen ($k=1$), aangezien de complexiteit afhangt van de effectieve rang in plaats van de toegenomen fan-in.
• Twee Verborgen Lagen: Het stapelen van HalfNet-lagen (784–64–64–10) behoudt de trend van verbeterde nauwkeurigheid met toenemende rang, wat bewijst dat de methode schaalbaar is binnen diepe netwerken.
• Binaire Gewichten: Hoewel binarisatie bij zeer lage rangen ($k=2$) zorgt voor een daling in nauwkeurigheid door een instorting van de feature-diversiteit, levert $k \ge 4$ sterke resultaten op. Bij $k=16$ bereikt binaire HalfNet een nauwkeurigheid van 94,87%, wat dicht bij de 95,30% van zijn continue tegenhanger ligt.

4.2. CIFAR-10-experimenten

• Architectuur: Een eenvoudig netwerk met een enkele convolutionele laag (32 filters) gevolgd door een grote fully-connected laag (256 eenheden). De FC-laag bevat >99% van de parameters.
• Prestaties: De "Full–Half"-configuratie (trainbare Conv, HalfNet FC) evenaart de volledig getrainde "Full–Full"-baseline met ongeveer 8x minder parameters bij rang $k_f=32$. Bij $k_f=48$ presteert het zelfs iets beter dan de baseline.
• Convolutionele HalfNet: Het toepassen van HalfNet op de convolutionele laag ("Half–Half") verminderde aanvankelijk de prestaties en vertraagde de training, wat suggereert dat de laag-rang aanname te restrictief kan zijn voor lagen die al sterke structurele beperkingen bezitten (lokaliteit, gewichtsdeling).

5. Betekenis en Claims

Het artikel claimt dat HalfNet aantoont dat het leren van de geometrie van projectiedistributies het merendeel van het voorspellende vermogen van volledig getrainde neurale lagen kan vangen, terwijl er aanzienlijk minder parameters worden gebruikt.

De belangrijkste conclusies die door de auteur worden benadrukt zijn:

• Geometrie boven Waarden: Het voorspellende vermogen van neurale netwerken ligt meer in de geometrie van de gewichtsruimte (covariantiestructuur) dan in de precieze waarden van individuele parameters.
• Efficiëntie: HalfNet biedt een soepele trade-off tussen vaste willekeurige features en volledig trainbare netwerken, waardoor gebruikers de modelcapaciteit kunnen afstemmen via de rangparameter $k$.
• Onderscheid van Laag-Rang Factorisatie: In tegenstelling tot deterministische laag-rang methoden (bijv. $W=UV$ waarbij beide geleerd worden), leert HalfNet de distributie waarvan de gewichten worden gesampled, waardoor de projectievectoren stochastisch blijven. Dit verbindt de methode met random features en kernel learning.
• Beperkingen: De voordelen zijn het meest uitgesproken in situaties met een hoge fan-in en sterke datacorrelaties (bijv. fully-connected lagen op beelddata). Het artikel merkt op dat de prestatiewinst kan afnemen in settings met zwakkere correlaties, en verdere evaluatie op diverse datasets is nodig.

Het werk positioneert HalfNet niet louter als een architecturale truc voor compressie, maar als een fundamentele verschuiving naar het leren van de onderliggende metriek en kernelstructuur van de data via gerandomiseerde embeddings.