The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units

Technische Samenvatting: De Neuron als Latente Toestand

Probleemstelling
Klassieke neurale netwerken representeren verborgen eenheden doorgaans als deterministische scalaire activaties. Hoewel dit computationele compositie faciliteert, reduceert het de interne toestand van een eenheid tot een enkele waarde, waardoor onzekerheid, variabiliteit en betrouwbaarheid extern gemodelleerd moeten worden (bijv. via Bayesiaanse gewichten, ensembles of post-hoc scores). Dit artikel stelt een alternatief perspectief voor: het beschouwen van de neuron niet als een puntwaardige transformatie, maar als een lokale latente toestand. De centrale uitdaging die wordt geadresseerd is niet enkel het leren van een dergelijke toestand, maar het bepalen van hoe men deze uitleest. Als een verborgen berekening een posterieure distributie draagt in plaats van een scalar, splitst het voorspellingsprobleem zich in twee afzonderlijke taken: het leren van de posterieur en het kiezen van de regel om een voorspelling uit deze te extraheren. Standaard benaderingen verwarren deze vaak, waarbij zij ervan uitgaan dat het Monte Carlo-gemiddelde de natuurlijke output is. Dit artikel onderzoekt of een geleerde posterieur een exploiteerbare voorspellende structuur bevat die naïeve aggregatie niet kan extraheren.

Methodologie: EVE en Posterior-Freezing
De studie maakt gebruik van EVE (een klassiek distributioneel neuraal mechanisme), waarbij verborgen berekeningen zijn uitgerust met een lokale variationele posterieur $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$.

• Mechanisme: De latente toestand $z$ wordt gesampled via reparameterisatie ($z = \mu + \sigma \odot \epsilon$) en geregulariseerd door een lokale Kullback–Leibler (KL) divergentie.
• Het Kernprotocol: Om het "uitleesprobleem" te isoleren van het "leerprobleem", introduceren de auteurs een posterior-freezing protocol.
  1. Een EVE-model wordt getraind op een gecontroleerde multimodale forecasting benchmark (CHBF).
  2. Een checkpoint wordt geselecteerd op basis van validatieprestaties, waarna alle posterieurparameters ($\theta, \phi, \psi$) worden bevroren (frozen).
  3. Meerdere klassieke variationele readouts worden toegepast op dezelfde bevroren latente toestand zonder verdere training of posterieur-updates.
• Readout-typen:
  • Point-collapse readouts: Het aggregeren van samples naar een enkele trajectorie (bijv. Monte Carlo-gemiddelde, mediaan, getrimd gemiddelde).
  • Distributionele readouts: Het behouden van de voorspellende set maar het filteren of herwegen van samples (bijv. branch-medoid, validity-filtered, branch-balanced).
• Diagnostische Metriek: De readout gap ($\Delta$) wordt gedefinieerd als de prestatieverbetering van een specifieke readout ten opzichte van de naïeve ruwe Monte Carlo-set op de bevroren posterieur. Een positieve gap geeft aan dat de posterieur structuur bevat die naïeve aggregatie niet vangt.

Belangrijkste Bijdragen

1. Formulering van EVE: Het definiëren van EVE als een klassiek latent-toestand mechanisme waarbij de verborgen berekening een samplebare, diagnoseerbare toestand is in plaats van een scalar.
2. Klassieke Variationele Readout: Het introduceren van het probleem van het extraheren van voorspellingen uit een vaste geleerde posterieur als een afzonderlijke ontwerpkeuze.
3. Posterior-Freezing Protocol: Een methodologische scheiding tussen het leren van de toestand en het uitlezen van de toestand om de informatieve inhoud van de posterieur te testen.
4. Operationele Diagnostiek: Het definiëren van de readout gap om te bepalen of een bevroren posterieur louter stochastische ruis/regularisatie is of een informatie-dragende toestand.
5. Empirische Validatie: Het demonstreren op een gecontroleerde benchmark dat een niet-oracle, structuurbewuste readout de prestaties verbetert zonder de posterieur opnieuw te trainen.

Experimentele Resultaten
De experimenten werden uitgevoerd op de CHBF (Controlled Branching-Future) benchmark, een synthetische dataset waar elke input leidt tot vier plausibele toekomstige trajectorieën. Het middelen van deze geldige toekomsten produceert vaak een ongeldige trajectorie, wat een rigoureuze test vormt voor multimodale representatie.

• EVE versus Deterministische Baseline: De bevroren EVE-posterieur presteerde significant beter dan een deterministische baseline (DET) in distributionele metrieken. Terwijl DET een gemiddelde MSE van 0,2499 behaalde, bereikte de ruwe Monte Carlo-set van EVE een best-of-sample MSE van 0,0051, een dekking van 1,00 (tegenover 0,25), en een CRPS van 0,2352 (tegenover 0,4081).
• Beperkingen van Point-Collapse: Het reduceren van de posterieur tot een enkele trajectorie (bijv. via het Monte Carlo-gemiddelde) resulteerde in hoge invaliditeitspercentages (100%) en slechte nauwkeurigheid, wat bevestigt dat naïeve aggregatie de multimodale structuur vernietigt.
• Distributionele Readout Gap: De branch-medoid readout (een niet-oracle methode die representatieve samples selecteert binnen trajectorie-clusters) verbeterde de prestaties ten opzichte van de ruwe Monte Carlo-set zonder de posterieur opnieuw te trainen.
  • CRPS: Verbeterde van 0,2352 (ruwe MC) naar 0,2230 (branch-medoid), een relatieve winst van 5,20%.
  • Validiteit: Verminderde de invaliditeit van trajectorieën van 0,62% naar 0,00%.
  • Branch Balance: Verminderde de branch probability $\ell_1$ error van 0,1202 naar 0,0000.
  • Statistische Significantie: Bootstrap-betrouwbaarheidsintervallen voor de CRPS van de branch-medoid set [0,2210, 0,2254] overlapten niet met de ruwe MC-set [0,2323, 0,2383].
• Selectieve Voorspelling: Posterieur-afgeleide diagnostiek (bijv. invalid sample rates) bleek effectief risico's te rangschikken, waardoor selectieve voorspelling mogelijk werd waarbij het risico afneemt naarmate de dekking afneemt.

Significantie en Claims
Het artikel claimt bescheiden dat de resultaten de interpretatie van EVE ondersteunen als een informatie-dragende latente computationele toestand in plaats van louter een bron van stochastische ruis of regularisatie.

• Primaire Claim: Het bestaan van een positieve readout gap op een bevroren posterieur bewijst dat de geleerde toestand een voorspellende structuur bevat die naïeve aggregatie niet kan extraheren.
• Scope: De auteurs beperken hun claims expliciet tot de gecontroleerde CHBF-benchmark, en erkennen dat dit geen brede empirische superioriteit over real-world datasets vaststelt.
• Implicatie: De studie suggereert dat verborgen representaties niet alleen als puntwaardige transformaties moeten worden beschouwd, maar als latente toestanden waarvan de voorspellende bruikbaarheid kritisch afhangt van het toegepaste readout-protocol. De sterkste inzetbare readout die werd gevonden, was structuurbewust (branch-medoid) in plaats van een geleerd statistisch samenvatting, wat suggereert dat het behoud van de posterieur-geometrie cruciaal is.