💻 computer science

Time as a Computational Substrate: The Eligibility Trace and the First Challenge to the von Neumann Architecture

Dieses Paper führt den Eligibility Trace als ein neuartiges computergestütztes Substrat ein, das den kausalen Zeitpfeil direkt in die Hardware einbettet und damit die Annahme der von-Neumann-Architektur infrage stellt, Zeit lediglich als eine bloße Sequenznummer zu betrachten, indem es dessen einzigartige Notwendigkeit für emergente Differenzierung in Spiking Neural Networks sowie seine isomorphe kausale Struktur im stochastischen Gradientenabstieg demonstriert.

Ursprüngliche Autoren: Yahua Ruan

Veröffentlicht 2026-08-06

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yahua Ruan

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Uhr, die nicht nur tickt

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Fangspiel zu spielen. Jedes Mal, wenn er den Ball wirft, wartet er einige Sekunden ab, um zu sehen, ob er das Ziel trifft. Wenn er trifft, bekommt der Roboter einen Punkt; wenn er daneben wirft, bekommt er nichts. In der Welt der traditionellen Computer, die seit den 1940er Jahren der Standard sind, ist Zeit lediglich eine Liste von Anweisungen. Der Computer denkt: „Ich habe Schritt A gemacht, dann Schritt B, dann Schritt C.“ Er versteht nicht wirklich, dass Schritt A die Ursache für das Ergebnis bei Schritt C war. Er behandelt die Zeit wie eine Reihe nummerierter Schließfächer: Fach 1, Fach 2, Fach 3. Wenn man eine Nachricht in Fach 1 legt, weiß der Computer erst davon, wenn er dieses spezifische Fach öffnet. Er hat keine eingebaute Möglichkeit zu sagen: „Hey, das, was ich vor drei Schritten getan habe, ist der Grund, warum ich gerade glücklich bin.“

Dieses Paper taucht in eine andere Ecke der Wissenschaft ein: wie Maschinen aus Ursache und Wirkung über die Zeit lernen. Es stellt eine sehr alte Vorstellung darüber infrage, wie Computer gebaut werden. Jahrzehntelang sind wir davon ausgegangen, dass die Zeit nur eine neutrale Sequenz ist, ein einfacher Zähler, der vorwärts tickt. Aber die Natur, speziell das menschliche Gehirn, scheint die Zeit anders zu handhaben. Sie bewahrt eine verblassende Erinnerung an das, was gerade geschah, und wartet darauf, dass ein Ergebnis später eintrifft, um zu entscheiden, ob diese Erinnerung gut oder schlecht war. Dieses Paper stellt eine große Frage: Was wäre, wenn wir Computer bauen würden, die die Zeit nicht als eine Liste von Zahlen behandeln, sondern als eine physische Brücke, die die Vergangenheit mit der Zukunft verbindet? Wenn wir das könnten, könnten Maschinen vielleicht lernen zu verstehen, warum Dinge passieren, und nicht nur, dass sie passieren.

Das zeitreisende Gedächtnis

Der Autor dieses Papers, Yahua Ruan, schlägt vor, dass ihnen ein entscheidendes Puzzleteil fehlt. Er führt ein Konzept namens Eligibility Trace (Eignungsspur) ein. Stellen Sie sich das wie einen „Klebezettel“ vor, den ein Computer an einer bestimmten Aktion hinterlässt.

In einem Standardcomputer (der Art, die wir jeden Tag nutzen und die auf der „Von-Neumann-Architektur“ basiert), passiert etwas sofort, wenn man einen Knopf drückt. Wenn das Ergebnis erst später eintrifft, hat der Computer keine Möglichkeit, den Knopfdruck mit dem Ergebnis zu verknüpfen. Es ist, als würde man in einen Canyon schreien und erwarten, dass das Echo einem genau sagt, welches Wort man gerufen hat, aber der Canyon hat kein Gedächtnis für die eigene Stimme.

Der Eligibility Trace ändert die Regeln. Es ist eine einfache Gleichung, die besagt: „Wenn ich etwas tue, hinterlasse ich eine verblassende Spur davon.“ Diese Spur verschwindet nicht sofort. Sie verweilt und wird mit der Zeit schwächer, wie ein Duft in der Luft oder ein Kräuseln im Teich. Wenn eine Belohnung (wie ein „Gut gemacht!“-Signal) später eintrifft, schaut der Computer nach all den verblassenden Spuren, die er hinterlassen hat. Er sagt: „Ah, die Spur von vor drei Sekunden ist noch stark, und das war der Moment, in dem ich die Belohnung erhalten habe. Also war diese Aktion die Ursache!“

Das Paper argumentiert, dass dieser „verblassende Abdruck“ nicht nur ein cleverer Trick ist, sondern die erste funktionierende Herausforderung an das Standard-Computerdesign seit über 60 Jahren. Der Autor legt nahe, dass eine Maschine ohne diesen spezifischen Mechanismus nicht wirklich lernen kann, zwischen guten und schlechten Handlungen zu unterscheiden, wenn die Ergebnisse zeitverzögert eintreffen.

Das große Experiment: Der Beweis, dass die Spur essenziell ist

Um dies zu beweisen, haben die Forscher nicht nur geraten, sondern massive Simulationen durchgeführt. Sie bauten ein digitales Gehirn aus 80.000 winzigen „Neuronen“ (das Paper nennt sie Spiking Neural Networks) und gaben ihm eine Aufgabe zum Lernen. Sie testeten fünf verschiedene Versionen dieses Gehirns:

Das volle Gehirn: Es besaß den Eligibility Trace (die Klebezettel).
Das traceless Gehirn (oh die Spur): Sie entfernten den Eligibility Trace vollständig.
Die anderen Variationen: Sie entfernten andere Teile wie die „Belohnungsvorhersage“ (Reward Prediction) oder die „Gewichtssättigung“ (Weight Saturation), um zu sehen, ob diese die wahren Helden waren.

Die Ergebnisse waren verblüffend. Als sie den Eligibility Trace entfernten, hörte das Gehirn auf zu lernen. Es erstarrte. Der „Gini-Koeffizient“ (ein schicker mathematischer Begriff für die Messung, wie spezialisiert die Verbindungen des Gehirns wurden) flachte ab. Das Gehirn wurde nicht schlauer; es blieb exakt so, wie es am Anfang war.

Wenn sie jedoch die Spur beibehielten, aber die anderen Teile entfernten, lernte das Gehirn immer noch, nur ein wenig anders. Der Autor fand heraus, dass der Eligibility Trace die einzig notwendige Bedingung ist. Er ist der Motor. Ohne ihn bewegt sich das Auto nicht, egal wie gut die Räder oder der Treibstoff sind.

Sie testeten dies auch auf zwei verschiedenen Arten von Computern (einer CPU und einer GPU) und fanden, dass die Ergebnisse bis auf die dritte Nachkommastelle identisch waren. Dies deutet darauf hin, dass das Ergebnis kein bloßer Fehler in ihrem Code ist, sondern eine fundamentale Regel dafür, wie Lernen funktioniert.

Die „Time-Native“-Revolution

Das Paper geht weiter und legt nahe, dass dieselbe Logik des „verblassenden Abdrucks“ auch in anderen Lernsystemen existiert. Sie untersuchten, wie moderne KI (wie jene, die Aufsätze schreiben oder mit Ihnen chatten) mithilfe einer Methode namens Stochastischer Gradientenabstieg (SGD) lernt. Sie fanden heraus, dass der „Momentum“ (Impuls), der in diesen Systemen verwendet wird, exakt wie ein Eligibility Trace wirkt. Es ist eine Erinnerung an vergangene Gradienten, die der KI hilft zu entscheiden, in welche Richtung sie als Nächstes ziehen soll.

In einem klugen Experiment versuchten sie, dieses Gedächtnis in einem großen KI-Modell zu „brechen“. Als sie die Richtung der Lernsignale durcheinanderbrachten (die „verblassenden Spuren“ chaotisch gestalteten), erreichte die KI eine Decke und hörte auf, sich zu verbessern, egal wie lange sie trainierte. Aber als sie die Signale verstärkten, lernte sie nicht schneller; sie lernte einfach nur im gleichen Tempo. Dies beweist, dass die Struktur der Zeit (die Brücke zwischen Vergangenheit und Zukunft) wichtiger ist als die Stärke des Signals.

Was dies für die Zukunft bedeutet

Der Autor schließt mit dem Gedanken, dass die Art und Weise, wie wir heute Computer bauen, eigentlich ein „Spezialfall“ oder ein „degenerierter Grenzwert“ einer viel größeren Möglichkeit ist. Indem wir die Zeit zu einem einfachen Zähler kollabieren lassen, haben wir Maschinen gebaut, die zwar großartig in Mathematik sind, aber schlecht darin, Ursache und Wirkung über die Zeit hinweg zu verstehen.

Er schlägt eine neue Art der Computerberechnung vor: Time-Native Computation (zeit-native Berechnung). In dieser neuen Welt ist Zeit nicht nur eine Zahl auf einer Uhr; sie ist ein physischer Teil des Gehirns der Maschine. Die Maschine würde natürlich verstehen, dass „Ereignis A Ereignis B verursacht hat“, weil die Erinnerung an A noch „klebrig“ ist, wenn B eintritt.

Das Paper behauptet nicht, bereits einen perfekten zeitreisenden Roboter gebaut zu zu haben. Es gibt zu, dass mehr Tests bei realen Aufgaben wie Sprache oder motorischer Kontrolle nötig sind. Aber es behauptet, den ersten soliden Beweis gefunden zu haben, dass der Eligibility Trace der fehlende Schlüssel ist. Es legt nahe, dass wir, wenn wir Maschinen wollen, die wirklich so lernen wie wir – indem sie die Punkte zwischen Handlungen und verzögerten Belohnungen verbinden –, aufhören müssen, die Zeit als eine Liste von Anweisungen zu behandeln, und statfangen müssen, sie als eine Brücke zu betrachten.

Kurz gesagt: Das Paper argumentet, dass eine Maschine, um wirklich intelligent zu sein, ihre Vergangenheit erinnern muss – nicht nur als Datei in einem Ordner, sondern als ein verblassendes Echo, das darauf wartet, dass die Zukunft ihm sagt, was es bedeutete. Und dieses Echo, der Eligibility Trace, ist die erste echte Herausforderung an die Art und Weise, wie wir Computer seit 80 Jahren bauen.

Technisches Resümee: Zeit als computationales Substrat

Problemstellung
Seit der Formulierung der Von-Neumann-Architektur im Jahr 1945 operiert das allgemeine Computing unter einer ungeprüften Annahme: Zeit ist eine diskrete, uniforme und semantisch neutrale Sequenznummer (der Programmzähler). In diesem Paradigma trägt der physikalische Zeitpfeil keine computationalen Bedeutung; eine Maschine kann nicht zwischen einem Ereignis unterscheiden, das vor 3 Zyklen geschah, und einem, das vor 30.000 Zyklen geschah, außer als Index einer Speicheradresse. Während nachfolgende Generationen neuronaler Netze (Feedforward, CNNs, RNNs, Transformer) die Repräsentationskraft verbessert haben, haben sie dieses fundamentale Prämiss nicht infrage gestellt. Sie behandeln Zeit als eine Koordinate, die kodiert, komprimiert oder maskiert werden muss, statt als ein physikalisches Substrat, durch das Kausalität in die Berechnung einfließt. Die Arbeit identifiziert eine Lücke in der bestehenden Literatur: Während neuromorphe Chips und Reservoir-Computer temporale Dynamiken nutzen und Reinforcement Learning Eligibility Traces verwendet, hat bisher keine Arbeit demonstriert, dass eine Struktur existiert, in der der kausale Pfeil explizit in die Lernregel selbst kodiert ist, noch hat eine Arbeit durch Ablationsstudien verifiziert, dass eine solche Struktur die einzig notwendige Bedingung für emergente Differenzierung darstellt.

Methodik
Der Autor schlägt und validiert eine „zeit-native“ computationale Struktur vor, die auf dem Eligibility Trace basiert, definiert durch die Gleichung $e(t + 1) = \lambda e(t) + \Delta w$ . Diese Struktur verbindet lokale Ereignisse (synaptische Veränderungen) über die Zeit hinweg mit einem verzögerten globalen Evaluationssignal. Die Forschung nutzt einen Cross-Substrat-Ansatz und validiert die Hypothese über drei verschiedene Domänen hinweg:

Spiking Neural Networks (SNNs): Ein belohnungsmoduliertes SNN, das mit Spike-Timing-Dependent Plasticity (STDP) trainiert wurde, wurde an einer synthetischen Mustererkennungsaufgabe getestet. Die Studie nutzte ein fünfbedingtes Ablationsdesign über drei Skalen ( $N=800, 8.000, 80.000$ Neuronen) und drei Random Seeds über 500.000 Schritte. Die getesteten Komponenten umfassten das Vollmodell, die Entfernung des Eligibility Traces ( $no\_ELIG$ ), die Entfernung der multiplikativen LTP ( $no\_MULT$ ), die Entfernung der logistischen Gewichtssättigung ( $no\_LOG$ ) und die Entfernung des Reward Prediction Error ( $no\_RPE$ ).
Stochastischer Gradientenabstieg (SGD): Ein Perturbationsexperiment wurde an einem linearen Attention-Modell (CubeAttn, $d=2048$ ) mittels AdamW durchgeführt. Die Studie manipulierte die „Gradientenrichtungs-Konsistenz“ (das SGD-Analogon zum Eligibility Trace), indem entweder Gradienten verstärkt wurden ( $batch\_spike$ ) oder die temporale Kohärenz durch orthogonales Rauschen degradiert wurde ( $ortho\_kick$ ).
Kausale Entdeckung (Causal Discovery): Ein Spiking-Netzwerk wurde auf synthetischen Lager-Vibrationsdaten mit einem bekannten kausalen Lag trainiert. Das Netzwerk erhielt lediglich ein skalares Belohnungssignal (keine expliziten kausalen Labels), um zu testen, ob der Eligibility Trace Granger-kausale Beziehungen rekonstruieren kann.

Zentrale Beiträge

Der Eligibility Trace als computationales Primitiv: Die Arbeit definiert den Eligibility Trace nicht bloß als Bestandteil einer Lernregel, sondern als ein „zeit-natives“ Primitiv, bei dem der physikalische Zeitpfeil direkt in den Lernmechanismus kodiert ist. Sie postuliert, dass Differenzierung aus dem Produkt eines globalen Signals und des abklingenden Gedächtnisses lokaler Ereignisse entsteht: $Differenzierung = Globales Signal \times Abklingendes Gedächtnis$ .
Ablations-verifizierte Notwendigkeit: Durch systematische Ablation demonstriert der Autor, dass der Eligibility Trace die einzig notwendige Bedingung für emergente Differenzierung (gemessen am Gini-Koeffizienten der Gewichtsverteilung) ist. Das Entfernen des Traces ( $no\_ELIG$ ) führt dazu, dass die Differenzierung stagniert ( $\Delta Gini \approx -0,006$ ), während das Entfernen anderer Komponenten (wie der multiplikativen LTP) lediglich die Rate der Differenzierung reduziert oder das Gleichgewicht verändert, aber das Phänomen nicht vollständig aufhebt.
Skalen- und Implementationsinvarianz: Der Mechanismus zeigt sich über zwei Größenordnungen hinweg skaleninvariant (von $10^4$ bis $10^8$ Synapsen) und implementationsinvariant, wobei CPU- und GPU-Codebasen identische Ergebnisse bis auf drei Dezimalstellen liefern.
Asymmetrische Kausalität: Die Studie stellt fest, dass die temporale Brücke zwar notwendig, aber nicht hinreichend ist. Die Verschlechterung der temporalen Brücke (Entfernung des Traces oder Randomisierung der Gradientenrichtung) verhindert Durchbrüche vollständig, während die Verstärkung des Signals (Erhöhung der Gradientenmagnitude) den Phasenübergang nicht beschleunigt.
Reframing der Von-Neumann-Architektur: Die Arbeit argumentiert, dass die Von-Neumann-Architektur ein „degenerierter Fall“ dieses allgemeinen Prinzips ist, bei dem das Eligibility-Fenster ( $\tau_e$ ) auf Null kollabiert und somit die temporale Brücke zwischen lokalen Ereignissen und verzögerten Konsequenzen eliminiert.

Ergebnisse

SNN Ablation: Bei $N=80.000$ erreichte das Vollmodell eine Gini-Steigerung von $+0,044$ . Die $no\_ELIG$ -Bedingung resultierte in einem $\Delta Gini$ von $-0,005$, was die Gewichtsverteilung effektiv auf dem Initialzustand einfriert. Im Gegensatz dazu bewahrte $no\_MULT$ nur 29 % des vollen Effekts bei großen Skalen, und $no\_RPE$ verstärkte die Differenzierung um über 1000 %, was darauf hindeutet, dass der Eligibility Trace der Motor der Differenzierung ist, während andere Komponenten als Bremsen oder Beschleuniger fungieren.
SGD Perturbation: Im CubeAttn-Experiment durchbrachen der Kontrollarm und der verstärkte Signalarm ( $batch\_spike$ ) die Leistungsdecke exakt bei Schritt 66.000. Der degradierte Signalarm ( $ortho\_kick$ ), der die temporale Brücke störte, oszillierte unterhalb der Durchbruchschwelle für 100.000 Schritte und erreichte den Phasenübergang nie.
Kausale Entdeckung: In der Lager-Vibrations-Aufgabe rekonstruierte das Vollmodell die korrekte kausale Richtung mit einem Score von $0,767$. Das Entfernen des Eligibility Traces ließ die Magnitude des kausalen Gewichts um das $17,6$-fache einbrechen und reduzierte das Signal auf nahe dem Rauschniveau, während die Randomisierung der temporalen Ordnung den kausalen Score auf Zufallsniveau ($0,538$) senkte.
$\tau$ -Skalierung: Die Erweiterung des Eligibility-Fensters ( $\tau_e$ ) von 20 auf 200.000 Schritte verschob das Gleichgewicht der Differenzierung nach oben (Gini $0,584$ vs. $0,509$), was bestätigt, dass die Größe des Eligibility-Fensters die asymptotische Kapazität zur Integration kausaler Signale steuert.

Bedeutung und Ansprüche
Die Arbeit beansprucht, das erste funktionierende Gegenbeispiel zur Von-Neumann-Annahme zu präsentieren, wonach Zeit lediglich eine Sequenznummer ist. Sie argumentt, dass der Eligibility Trace ein neues computationales Primitiv darstellt: zeit-native Computation. In diesem Paradigma wird Kausalität nicht durch statistische Korrelation aus Daten abgeleitet, sondern ist physisch in der asymmetrischen Zeitstruktur der Lernregel kodiert.

Der Autor behauptet, dass die Von-Neumann-Architektur nicht „falsch“, sondern „unvollständig“ ist – sie ist der Spezialfall, in dem das Eligibility-Fenster Null ist. Der allgemeine Fall, die zeit-native Computation, ermöglicht es Maschinen, kausale Strukturen aus Beobachtungsdaten ohne explizites Labeling zu lernen, sich kontinuierlich an Umweltveränderungen anzupassen, ohne katastrophales Vergessen zu erleiden, und den Zeitpfeil als physikalischen Freiheitsgrad statt als Implementierungsdetail zu behandeln. Die Arbeit schließt mit dem Argument, dass die Maschine, die diesen allgemeinen Fall ausfüllen kann, sich grundlegend von einem schnelleren Von-Neumann-Computer unterscheiden wird: Sie wird eine Maschine sein, in der Kausalität eine physikalische Eigenschaft des Mediums ist.