Das geheime Leben einer Gehirnzelle

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, eine Katze auf einem Foto zu erkennen. Sie bauen ein digitales Gehirn aus Schichten winziger, einfacher Prozessoren, die „Neuronen“ genannt werden. In der Standardversion dieser digitalen Gehirne agiert jedes Neuron wie ein starrer, eindimensionaler Roboter. Es nimmt Informationen auf, berechnet die Zahlen und spuckt eine einzige, definitive Antwort aus: eine spezifische Zahl. Wenn der Roboter „0,8“ sagt, ist das die einzige Wahrheit, die er kennt. Er weiß nicht, ob er nur rät, ob das Bild verschwommen ist oder ob er einfach einen schlechten Tag hat. Es ist eine Welt der absoluten Gewissheit, selbst wenn die Welt chaotisch ist.

Doch das echte Leben ist voller „Vielleicht“. Wenn Sie eine verschwommene Gestalt im Nebel sehen, sehen Sie nicht einfach nur „Katze“ oder „keine Katze“; Sie fühlen sich ein wenig unsicher. Wissenschaftler versuchen schon lange, Computern beizubringen, diese Unsicherheit zu fühlen, indem sie normalerweise das gesamte Gehirn „schütteln“ oder am Ende zusätzliche Schichten des Zweifels hinzufügen. Eine neue Studie legt jedoch nahe, dass wir das Problem möglicherweise aus dem falotschen Blickwinkel betrachten. Anstatt das gesamte Gehirn unsicher zu machen, was wäre, wenn wir die winzigen, einzelnen Bausteine selbst unsicher machen würden? Diese Forschung stellt eine einfache, spielerische Frage: Was wäre, wenn jedes einzelne Neuron im digitalen Gehirn kein starrer Roboter wäre, sondern ein kleiner Spieler, der ein paar verschiedene Möglichkeiten in der Hintertasche trägt?

Treffen Sie EVE: Das Neuron, das sich Optionen offen hält

In dieser Arbeit stellt ein Forscher namens Yves Ruffenach eine neue Art von digitalem Neuron namens EVE vor. Betrachten Sie ein Standardneuron als einen Fabrikarbeiter, der jedes Mal ein ganz bestimmtes Teil prägt. EVE hingegen ist wie ein Arbeiter, der nicht nur ein Teil prägt, sondern eine ganze Box mit leicht unterschiedlichen Versionen dieses Teils erstellt, eine davon zufällig auswählt und sie dann verwendet, um die nächste Schicht aufzubauen.

Das Paper bezeichnet dies als ein „distributionales Neuron“. Anstatt eine einzige Zahl weiterzugeben (wie 5,0), gibt EVE eine Verteilung weiter – eine ganze Wolke möglicher Zahlen. Dies geschieht, indem es eine interne „Posterior“ (ein schicker Begriff für seine aktuelle beste Vermutung dessen, was wahr sein könnte) und eine „Prior“ (das, was es im Allgemeinen für möglich hält) besitzt. Es zieht einen zufälligen „latenten Zustand“ aus dieser Wolke, nutzt diesen zufälligen Zustand für seine Arbeit und gibt dann das Ergebnis weiter. Entscheidend ist, dass das Neuron darauf trainiert wird, seine internen Vermutungen mithilfe eines „KL-Regularisierungspenalty“ ehrlich zu halten, was wie ein Lehrer ist, der das Neuron sanft ausschimpft, wenn es ohne triftigen Grund wild anfängt zu raten.

Die Studie testet diese Idee in drei deutlichen Stadien, so wie ein Wissenschaftler eine einzelne Zelle isoliert, dann ein ganzes Organ baut und es schließlich in eine komplecht komplexe Maschine einsetzt.

Stufe 1: Das Mikroskop
Zuerst isolierten die Forscher ein einzelnes Neuron, um zu sehen, was es alleine leisten kann. Sie richteten ein Spiel ein, bei dem das Ziel darin bestand, Zahlen vorherzusagen, die eine spezifische, sich ändernde Menge an „Rauschen“ (Zufälligkeit) aufwiesen. Sie verglichen EVE mit drei anderen Arten von Neuronen:

1. Einem Standard, langweiligen deterministischen Neuron (der starre Roboter).
2. Einem „angepassten“ deterministischen Neuron, das über die gleiche Rechenleistung verfügte, aber keine Zufälligkeit besaß.
3. Einem speziellen „heteroskedastischen“ Neuron, dem explizit beigebracht wurde, die Unsicherheit ganz am Ende vorherzusagen.

Die Ergebnisse waren faszinierend. Der Standardroboter war zwar gut darin, die Zahl zu erraten, aber schrecklich darin, zu wissen, wie unsicher er war. Der „angepasste“ Roboter war genauso unsicher wie der Standardroboter. Aber EVE? EVE war ein Star. Während EVE die Zahlen genauso genau vorhersagte wie der leistungsstarke angepasste Roboter, war es unglaublich gut darin, die wahre Unsicherheit zu verfolgen. Tatsächlich stimmte es in 93,9 % der Fälle mit dem wahren Rauschmuster überein, während der Standardroboter kaum über Null lag. EVE bewies, dass ein einzelnes Neuron lernen konnte, die Unsicherheit in sich selbst zu tragen, nicht nur am Ausgang.

Stufe 2: Der tiefe Stapel
Als Nächstes fragten die Forscher: „Funktioniert das auch, wenn man 128 dieser Neuronen übereinander stapelt?“ Sie bauten ein massives, tiefes neuronales Netzwerk (128 Schichten tief, mit 128 Neuronen pro Schicht), um die Energieeffizienz von Gebäuden vorherzusagen. Dies ist ein echter Test der „Komposition“ – können diese unsicheren Neuronen zusammenarbeiten, ohne dass das gesamte System in ein Chaos versinkt?

Die Antwort war ein entschiedenes „Ja, aber mit einer Einschränkung“. Als sie das tiefe Netzwerk testeten, verbesserte EVE die Fähigkeit des Modells, mit Unsicherheit umzugehen, signifikant. Es reduzierte die „Negative Log Likelihood“ (einen Score dafür, wie gut das Modell den gesamten Bereich der Möglichkeiten vorhersagt) um etwa 18,8 % und verbesserte andere Unsicherheitsscores um 4,5 % bis 8,3 % über alle fünf Testläufe hinweg. Wenn es jedoch nur darum ging, die exakte Zahl zu erraten (gemessen an MSE und MAE), war EVE etwa so gut wie der Standardroboter, manchmal etwas besser, manchmal etwas schlechter. Der große Gewinn war, dass die „Unsicherheit“ nicht verschwand, während das Signal durch 128 Schichten wanderte; sie blieb lebendig und messbar. Die Forscher merkten jedoch an, dass dies mit einem Preis verbunden war: EVE war etwa 7,1-mal langsamer im Betrieb, da es all die zusätzliche Stichprobenziehung und Mathematik durchführen musste.

Stufe 3: Die Transformer-Brücke
Schließlich versuchten die Forscher, EVE in eine moderne „Transformer“-Architektur einzubauen, die Art von Gehirn, die für Sprachmodelle verwendet wird, die Aufsätze schreiben oder mit Ihnen chatten. Sie ersetzten die Standard-„Feed-Forward“-Teile eines Transformers durch EVE-Neuronen und ließen ihn das nächste Wort in einer Geschichte vorhersagen (unter Verwendung eines Datensatzes namens PG-19).

Die Ergebnisse deuteten darauf hin, dass EVE tatsächlich in diese komplexen, modernen Systeme eingebettet werden kann. Der EVE-gestützte Transformer verbesserte seine Fähigkeit, das nächste Wort vorherzusagen (Senkung der „Perplexity“ von 189,74 auf 161,94) und wurde besser darin, das richtige Wort zu treffen (die Genauigkeit stieg von 0,1938 auf 0,2064). Er erzeugte auch „nicht-degenerate Monte Carlo-Unsicherheitssignale“, was eine schicke Art zu sagen ist, dass das Modell, wenn es mehrfach nach einer Vorhersage gefragt wurde, verschiedene, interessante Antworten gab, die seine Unsicherheit widerspiegelten, anstatt einfach nur dieselbe Vermutung zu wiederholen. Die Studie stellte jedoch fest, dass die „Unsicherheit“ hauptsächlich in der ersten Schicht des Netzwerks stattfand; die tieferen Schichten nutzten ihr volles Potenzial noch nicht aus.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper legt nahe, dass es eine machbare und kraftvolle Idee ist, Unsicherheit zu einer fundamentalen Einheit der Berechnung zu machen – direkt innerhalb des Neurons. Es zeigt, dass man dieses Verhalten isolieren, tiefe Netzwerke damit bauen und es sogar in die fortschrittlichsten Sprachmodelle einbauen kann.

Die Autoren sind jedoch vorsichtig damit, dies als Allheilmittel zu bezeichnen. Sie schließen explizit die Idee aus, dass dies nur an der höheren Rechenleistung liegt; ein Standardneuron mit der gleichen Leistung erzielte nicht die gleichen Ergebnisse. Sie merken auch an, dass EVE zwar großartig bei der Unsicherheit ist, aber nicht immer gewinnt, wenn es darum geht, exakt „richtig“ zu liegen. In den Tests der tiefen Netzwerke lagen die Standardfehlerraten (MSE und MAE) sehr nah beieinander, und manchmal war das Standardmodell sogar etwas besser. Zudem räumt die Studie ein, dass die aktuelle Version langsamer ist und dass die „Unsicherheit“ im Transformer-Experiment noch nicht perfekt über alle Schichten verteilt war.

Kurz gesagt: EVE legt nahe, dass wir, wenn wir wollen, dass Computer die Unordnung der Welt verstehen, nicht nur einen „Zweifel“-Knopf am Ende hinzufügen sollten. Wir sollten die winzigen Bausteine selbst lehren, ein paar Optionen offen zu halten, daraus zu sampeln und zu lernen, mit dem Unbekannten zu leben. Es ist eine kleine, spielerische Verschiebung in der Art und Weise, wie wir digitale Gehirne bauen, aber eine, die ihnen helfen könnte, die Welt ein wenig mehr so zu sehen wie wir.