Technische Samenvatting: De Neuron Is de Distributie

Probleemstelling

Standaard neurale netwerken rekenen met puntwaardige verborgen activaties, waarbij een verborgen eenheid een inputrepresentatie $h$ ontvangt en een deterministische activatie $a = f(h)$ uitzendt. Hoewel onzekerheid vaak in deze systemen wordt gemodelleerd, wordt dit doorgaans rondom de berekening toegevoegd via mechanismen zoals gewichtsonzekerheid (Bayesiaanse Neurale Netwerken), output-niveau variantie-koppen, ensembles of globale latente variabelen. Bijgevolg blijft de verborgen berekening zelf deterministisch, en wordt onzekerheid behandeld als een eigenschap van de output of de parameters in plaats van een intrinsiek onderdeel van de verborgen toestand.

Het artikel stelt dat verborgen eenheden zelf lokale variationele berekeningen moeten uitvoeren. De kernuitdaging is bepalen of een neuron kan worden geherdefinieerd als een distributioneel object—dat posterieure inferentie, sampling en regularisatie intern uitvoert—zonder te imploderen tot een deterministische punt of te falen bij het end-to-end trainen binnen standaard architecturen.

Methodologie: Elemental Variational Expanse (EVE)

De auteurs introduceren Elemental Variational Expanse (EVE), een herbruikbare variationele verborgen-eenheidsmodule die de deterministische activatie vervangt door een lokaal variationeel proces.

Kernmechanisme

In plaats van een puntactivatie te berekenen, voert een EVE-eenheid het volgende uit:

1. Construeert een Posterieur: Gegeven een input $h$, definieert het een variationeel posterieur $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$.
2. Reparameterisatie Sampling: Het samplet een latente toestand $z$ met behulp van de reparameterisatietechniek: $z = \mu_\phi(h) + \sigma_\phi(h) \odot \epsilon$, waarbij $\epsilon \sim \mathcal{N}(0, I)$.
3. Zendt Activatie Uit: De activatie wordt geproduceerd vanuit de gesamplede toestand $z$ via een functie $g_\theta(z, h)$.

Doelfunctie

Training combineert de taakverlies ($L_{task}$) met een op neuron-niveau gebreide Kullback–Leibler regularisatieterm ($L_{KL}$):
$$L = L_{task} + \beta L_{KL}$$
waarbij $L_{KL} = \text{KL}(q_\phi(z | h) \parallel p(z))$ en $p(z) = \mathcal{N}(0, I)$. Dit dwingt het lokale posterieur om dicht bij een standaard prior te blijven, terwijl het in staat is zich aan te passen aan de input.

Diagnostiek

Een uniek kenmerk van EVE is de blootstelling van posterieur-afgeleide diagnostiek tijdens training en evaluatie. Deze omvatten:

• Lokale KL: De regularisatiepenalty op neuron-niveau.
• Posterieur Variantie: De variantie van de gesamplede latente toestand.
• Posterieur-Gemiddelde Energie: De gemiddelde kwadratische magnitude van het posterieur gemiddelde ($\frac{1}{d_z}\sum \mu_j^2$).
• Target-Band Occupancy: Het fractie van de posterieur gemiddelden dat binnen een vooraf gedefinieerd interval $[l, u]$ valt.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. De EVE-module: Een praktische, herbruikbare variationele verborgen eenheid die posterieure inferentie, reparameterisatie sampling en lokale KL-regularisatie direct in de neuron integreert.
2. Conceptueel Onderscheid: Een duidelijke scheiding tussen output-niveau onzekerheid (bijv. mean-variance koppen die een predictieve distributie beschrijven na de berekening) en stochastische berekening (EVE die door een distributie rekent binnen verborgen eenheden).
3. Gefaseerde Empirische Bewijsvoering: Een rigoureus evaluatieprotocol dat de effecten van parameteraantal, deterministische capaciteit en output-niveau variantie scheidt van de specifieke bijdrage van neuron-niveau variationele berekening.

Experimentele Resultaten

De auteurs evalueren EVE over drie fasen van toenemende complexiteit:

1. Gecontroleerde Heteroscedastische Regressie (Attributiestudie)

• Doel: Isoleren of winst voortkomt uit het aantal parameters, deterministische capaciteit, of neuron-niveau variationele berekening.
• Baselines: Vergeleken met een scalaire deterministische baseline (DET-scalar), een capaciteits-gematchte deterministische cel (DET-cell), en een stochastische heteroscedastische output baseline (STOCH-hetero).
• Bevindingen:
  • EVE bereikte een MSE binnen 0,41% van de capaciteits-gematchte deterministische cel (die feitelijk meer parameters had dan EVE).
  • EVE presteerde aanzienlijk beter dan de deterministische cel en de stochastische output baseline op onzekerheid-gevoelige metrieken: NLL, MC-NLL, en CRPS.
  • Diagnostiek: Interne diagnostiek (posterieur variantie, lokale KL) correleerde sterk (tot 0,98) met de ware conditionele standaarddeviatie, wat bewijst dat onzekerheid-relevante structuren zichtbaar zijn binnen de verborgen berekening.
  • Kosten: EVE bracht een computationele kostenpost van 4,04× de scalaire baseline en 1,77× de capaciteits-gematchte cel in rekening tijdens de forward pass door sampling en probabilistische evaluatie.

2. Tabulaire Regressie Haalbaarheid (MLP)

• Datasets: BostonHousing en ConcreteStrength.
• Bevindingen:
  • Op BostonHousing verbeterde gekalibreerde EVE alle geaggregeerde metrieken (MSE, MAE, NLL, CRPS) ten opzichte van een deterministische probabilistische baseline.
  • Op ConcreteStrength (10 gepaarde seeds) verbeterde de geselecteerde EVE-voorspeller de NLL met 17,85% en de CRPS met 2,51% ten opzichte van de deterministische baseline. EVE won op NLL en CRPS in 10/10 seeds en op MSE in 7/10 seeds.

3. Transformer Taalmodellering Haalbaarheid

• Datasets: WritingPrompts en WikiText2 raw.
• Setup: Verving de standaard feed-forward block primitief door EVE, terwijl alle andere hyperparameters en architectuur identiek bleven.
• Bevindingen:
  • WritingPrompts: EVE verbeterde Cross-Entropy (CE) met 0,17, Perplexity (PPL) met 26,95, en Accuracy met 0,015 ten opzichte van de deterministische baseline. Het legde ook non-zero sampling-gebaseerde onzekerheidssignalen bloot (Mutual Information $\approx$ 0,16, Top-1 Flip Rate $\approx$ 0,30), terwijl de deterministische baseline bijna nulwaarden had.
  • WikiText2: Over vier vroege epochs presteerde EVE consistent beter dan de deterministische baseline in CE, PPL en Accuracy. Opvallend genoeg vertoonde EVE een aanzienlijk kleinere train-validatie kloof (0,10 vs 1,04 bij epoch 4), wat suggereert dat de variationele feed-forward berekening fungeert als een interne regularisator.

Betekenis en Claims

Het artikel kadert zijn betekenis bescheiden als conceptuele en haalbaarheidsbewijsvoering in plaats van een claim van universele nauwkeurigheidsverbetering of compute-genormaliseerde dominantie.

• Haalbaarheid: De resultaten demonstreren dat neuron-niveau variationele berekening end-to-end kan trainen binnen gewone neurale architecturen (MLP's en Transformers) zonder te imploderen.
• Onzekerheid-gevoeligheid: EVE verbetert consequent metrieken die gevoelig zijn voor onzekerheid (NLL, CRPS, PPL) terwijl het een punt-nauwkeurigheid handhaaft die vergelijkbaar met of beter is dan deterministische baselines.
• Interne Diagnostiek: Het werk bewijst dat verborgen toestanden in EVE niet louter "ruisachtig" zijn, maar meetbare, interpreteerbare diagnostische signalen bevatten (zoals posterieur variantie en KL) die overeenkomen met het ware dataregime.
• Regularisatie: In taalmodellering lijkt het variationele karakter van de verborgen eenheden te fungeren als een interne regularisator, waardoor de generalisatiekloof wordt verkleind.

De auteurs concluderen dat "de neuron de distributie is", biedend een primitief waarbij onzekerheid niet slechts een output-eigenschap is, maar een intrinsiek deel van het verborgen computationele proces. Toekomstig werk wordt erkend als noodzakelijk om de verhoogde computationele kosten aan te pakken en grotere datasets te testen.