Het geheime leven van een hersencel

Stel je voor dat je een computer probeert te leren om een kat te herkennen op een foto. Je bouwt een digitale hersenpan gemaakt van lagen kleine, eenvoudige processors die "neuronen" worden genoemd. In de standaardversie van deze digitale hersenen gedraagt elk neuron zich als een rigide, eenduidige robot. Het neemt informatie in, verwerkt de getallen en spuugt één enkel, definitief antwoord uit: een specifts getal. Als de robot "0,8" zegt, is dat de enige waarheid die hij kent. Hij weet niet of hij aan het gokken is, of de foto wazig is, of dat hij gewoon een slechte dag heeft. Het is een wereld van absolute zekerheid, zelfs wanneer de wereld rommelig is.

Maar het echte leven zit vol met "misschien". Wanneer je naar een vage vorm in de mist kijkt, zie je niet simpelweg "kat" of "geen kat"; je voelt een beetje onzekerheid. Wetenschappers proberen computers al lang te leren om die onzekerheid te voelen, meestal door de hele hersenpan te laten schudden of door extra lagen twijfel toe te voegen aan het einde. Echter, een nieuwe studie suggereert dat we het probleem misschien vanuit de verkeerde hoek bekijken. In plaats van de hele hersenpan onzeker te maken, wat als we de kleine, individuele bouwstenen zelf onzeker maakten? Dit onderzoek stelt een simpele, speelse vraag: Wat als elk afzonderlijk neuron in de digitale hersenpan geen rigide robot was, maar een kleine gokker die een paar verschillende mogelijkheden in zijn achterzak bewaart?

Maak kennis met EVE: Het neuron dat zijn opties openhoudt

In dit artikel introduceert een onderzoeker genaamd Yves Ruffenach een nieuw soort digitaal neuron genaamd EVE. Denk aan een standaard neuron als een fabrieksarbeider die elke keer precies hetzelfde onderdeel stempelt. EVE daarentegen is als een arbeider die niet slechts één onderdeel stempelt; zij creëren een hele doos met licht verschillende versies van dat onderdeel, kiezen er willekeurig één uit, en gebruiken die vervolgens om de volgende laag te bouwen.

Het artikel noemt dit een "distributional neuron" (distributioneel neuron). In plaats van een enkel getal door te geven (zoals 5,0), geeft EVE een distributie door—een hele wolk van mogelijke getallen. Dit doet het door een interne "posterior" te hebben (een chique woord voor de huidige beste schatting van wat waar zou kunnen zijn) en een "prior" (wat het algemeen mogelijk acht). Het samplet een willekeurige "latent state" uit deze wolk, gebruikt die willekeurige staat om zijn werk te doen, en geeft het resultaat vervolgens door. Cruciaal is dat het neuron wordt getraind om zijn interne gokken eerlijk te houden met behulp van een "KL-regularisatie"-straf, wat lijkt op een leraar die de neuron zachtjes berispt als hij zonder goede reden wild begint te gokken.

De studie test dit idee in drie afzonderlijke stadia, alsof een wetenschapper inzoomt op een enkele cel, dan een heel orgaan bouwt, en het tot slot in een complexe machine plaatst.

Stadium 1: De Microscoop
Eerst isoleerden de onderzoekers een enkel neuron om te zien wat het op eigen kracht kon doen. Ze zetten een spel op waarbij het doel was om getallen te voorspellen die een specifieke, veranderende hoeveelheid "ruis" (willekeur) met zich meedroegen. Ze vergeleken EVE met drie andere soorten neuronen:

1. Een standaard, saai deterministisch neuron (de rigide robot).
2. Een "gematcht" deterministisch neuron dat over dezelfde hoeveelheid rekenkracht beschikte maar geen willekeur had.
3. Een speciale "heteroscedastische" neuron die expliciet werd verteld de onzekerheid aan het einde te voorspellen.

De resultaten waren fascinerend. De standaard robot was wel oké in het raden van het getal, maar was verschrikkelijk in het weten hoe onzeker hij was. De "gematchte" robot was net zo onzeker als de standaardlijke versie. Maar EVE? Het was een ster. Terwijl het de getallen net zo nauwkeurig raadde als de krachtige gematchte robot, was het ongelooflijk goed in het bijhouden van de werkelijke onzekerheid. Sterker nog, het kwam in 93,9% van de gevallen overeen met het ware ruispatroon, terwijl de standaard robot nauwelijks boven nul uitkwam. EVE bewees dat een enkel neuron de onzekerheid in zichzelf kon vasthouden, niet alleen aan de output.

Stadium 2: De Diepe Stapeling
Vervolgens vroegen de onderzoekers: "Werkt dit ook als je 128 van deze neuronen op elkaar stapelt?" Ze bouwden een enorme, diepe neurale netwerk (128 lagen diep, met 128 neuronen in elke laag) om de energie-efficiëntie in gebouwen te voorspellen. Dit is een echte test van "compositie"—kunnen deze onzekere neuronen samenwerken zonder dat het hele systeem in chaos vervalt?

Het antwoord was een luidruchtig "ja, maar met een kanttekening". Toen ze het diepe netwerk testten, verbeterde EVE het vermogen van het model om met onzekerheid om te gaan aanzienlijk. Het verminderde de "Negative Log Likelihood" (een score voor hoe goed het model het hele bereik aan mogelijkheden voorspelt) met ongeveer 18,8% en verbeterde andere onzekerheidsscores met 4,5% tot 8,3% over alle vijf de testruns. Echter, wanneer het ging om het simpelweg raden van het exacte getal (gemeten via MSE en MAE), was EVE ongeveer hetzelfde als de standaard robot, soms iets beter, soms iets slechter. De grote overwinning was dat de "onzekerheid" niet verdween terwijl het signaal door 128 lagen reisde; het bleef levend en meetbaar. De onderzoekers merkten echter op dat dit gepaard ging met een prijs: EVE was ongeveer 7,1 keer trager in uitvoering omdat het al die extra sampling en wiskunde moest doen.

Stadium 3: De Transformer-brug
Ten slotte probeerden de onderzoekers EVE in een moderne "Transformer"-architectuur te passen, het type brein dat wordt gebruikt voor taalmodellen zoals die die essays schrijven of met je chatten. Ze vervingen de standaard "feed-forward" onderdelen van een Transformer door EVE-neuronen en vroegen het om het volgende woord in een verhaal te voorspellen (met behulp van een dataset genaamd PG-19).

De resultaten suggereerden dat EVE inderdaad in deze complexe, moderne systemen kan worden ingevoegd. De door EVE aangedreven Transformer verbeterde zijn vermogen om het volgende woord te voorspellen (verlaagde de "perplexity" van 189,74 naar 161,94) en werd beter in het raden van het juiste woord (de nauwkeurigheid ging van 0,1938 naar 0,2064). Het produceerde ook "niet-gedegenereerde Monte Carlo-onzekheidssignalen", wat een chique manier is om te zeggen dat wanneer het model meerdere keren werd gevraagd te raden, het verschillende, interessante antwoorden gaf die de onzekerheid weerspiegelden, in plaats van simpelweg hetzelfde antwoord te herhalen. De studie vond echter dat de "onzekerheid" voornamelijk in de eerste laag van het netwerk plaatsvond; de diepere lagen benutten hun volledige potentieel nog niet.

Wat dit betekent (en wat het niet betekent)

Het artikel suggereert dat het maken van onzekerheid tot een fundamentele eenheid van berekening—direct binnen het neuron—een haalbaar en krachtig idee is. Het laat zien dat je dit gedrag kunt isoleren, diepe netwerken ermee kunt bouwen, en het zelfs in de meest geavanceerde taalmodellen kunt pluggen.

De auteurs zijn echter voorzichtig om niet te beweren dat dit een wondermiddel is. Ze sluiten expliciet de mogelijkheid uit dat dit alleen maar gaat over het hebben van meer rekenkracht; een standaard neuron met dezelfde kracht leverde immers niet dezelfde resultaten. Ze merken ook op dat hoewel EVE geweldig is in onzekerheid, het niet altijd wint in het simpelweg "gelijk" hebben over het exacte getal. In de tests met diepe netwerken waren de standaard foutmarges (MSE en MAE) zeer dicht bij elkaar, en soms was het standaardmodel zelfs iets beter. Bovendien geeft de studie toe dat de huidige versie trager is en dat de "onzekerheid" in het Transformer-experiment nog niet perfect over alle lagen verdeeld was.

Kortom, EVE suggereert dat als we willen dat computers de rommeligheid van de wereld begrijpen, we niet alleen een "twijfel"-knop aan het einde moeten toevoegen. We moeten de kleine bouwstenen zelf leren om een paar opties open te houden, daaruit te samplen, en comfortabel te worden met het onbekende. Het is een kleine, speelse verschuiving in hoe we digitale hersenen bouwen, maar er is een kans dat het hen helpt de wereld een beetje meer te zien zoals wij dat doen.