💻 computer science

Time as a Computational Substrate: The Eligibility Trace and the First Challenge to the von Neumann Architecture

Dit artikel introduceert de eligibility trace als een nieuw computationeel substraat dat de causale pijl van de tijd direct in de hardware inbedt, waarmee de aanname van de von Neumann-architectuur dat tijd slechts een opeenvolgend nummer is wordt uitgedaagd door de unieke noodzaak ervan voor emergente differentiatie in spiking neurale netwerken en de isomorfe causale structuur ervan in stochastische gradiëntafdaling aan te tonen.

Oorspronkelijke auteurs: Yahua Ruan

Gepubliceerd 2026-08-06

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yahua Ruan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Klok die Niet Alleen Tikt

Stel je voor dat je een robot probeert te leren om een spelletje vangen te spelen. Elke keer dat de robot de bal werpt, wacht hij een paar seconden om te zien of hij het doel raakt. Als hij raakt, krijgt de robot een punt; als hij mist, krijgt hij niets. In de wereld van traditionele computers, die sinds de jaren 40 de standaard zijn, is tijd slechts een lijst met instructies. De computer denkt: "Ik heb stap A gedaan, toen stap B, en daarna stap C." De computer begrijpt niet echt dat stap A de oorzaak was van het resultaat bij stap C. Het behandelt tijd als een rij genummerde lockers: Locker 1, Locker 2, Locker 3. Als je een bericht in Locker 1 plaatst, weet de computer er pas iets van wanneer hij die specifieke locker opent. De computer heeft geen ingebouwde manier om te zeggen: "Hé, dat ding wat ik drie stappen geleden deed, is de reden dat ik me nu gelukkig voel."

Dit artikel duikt in een andere hoek van de wetenschap: hoe machines leren van oorzaak en gevolg door de tijd heen. Het daagt een heel oud idee uit over hoe computers zijn gebouwd. Decennialang hebben we aangenomen dat tijd slechts een neutrale sequentie is, een eenvoudige teller die vooruit tikt. Maar de natuur, specifiek het menselijk brein, lijkt tijd anders te verwerken. Het houdt een vervagende herinnering bij van wat er net is gebeurd, wachtend tot een resultaat later arriveert om te beslissen of die herinnering goed of slecht was. Dit artikel stelt een grote vraag: Wat als we computers zouden bouwen die tijd niet behandelen als een lijst met getallen, maar als een fysieke brug die het verleden met de toekomst verbindt? Als we dat zouden kunnen doen, kunnen machines misschien leren begrijpen waarom dingen gebeuren, en niet alleen dat ze gebeuren.

Het Tijdreizende Geheugen

De auteur van dit artikel, Yahua Ruan, stelt dat ze een cruciaal onderdeel van de puzzel hebben gemist. Ze introduceren een concept dat de eligibility trace (geschiktheidsspoor) wordt genoemd. Denk aan het als een "post-it" die een computer achterlaat bij een specifieke actie.

In een standaardcomputer (het soort dat we dagelijks gebruiken, gebaseerd op de "von Neumann-architectuur"), als je op een knop drukt, doet de computer onmiddellijk iets. Als het resultaat pas later verschijnt, heeft de computer geen manier om de knopdruk te koppelen aan het resultaat. Het is alsoals schreeuwen in een kloof en verwachten dat de echo je precies vertelt welk woord je riep, maar de kloof heeft geen geheugen van je stem.

De eligibility trace verandert de regels. Het is een eenvoudige vergelijking die zegt: "Wanneer ik iets doe, laat ik er een vervagend spoor van achter." Dit spoor verdwijnt niet onmiddellijk. Het blijft hangen en wordt in de loop van de tijd zwakker, zoals een geur in de lucht of een rimpeling in een vijver. Als er later een beloning arriveert (zoals een "goed gedaan"-signaal), kijkt de computer naar alle vervagende sporen die hij heeft achtergelaten. De computer zegt dan: "Ah, het spoor van drie seconden geleden is nog steeds sterk, en dat is wanneer ik de beloning kreeg. Dus die actie was de oorzaak!"

Het artikel betoogt dat dit "vervagende spoor" niet zomaar een slim trucje is; het is de eerste werkende uitdaging voor het standaard computerontwerp in meer dan 60 jaar. De auteur suggereert dat een machine zonder dit specifieke mechanisme niet echt kan leren om onderscheid te maken tussen goede en slechte acties wanneer de resultaten vertraagd zijn.

Het Grote Experiment: Bewijzen dat het Spoor Essentieel is

Om dit te bewijzen, hebben de onderzoekers niet alleen gegokt; ze hebben enorme simulaties gedraaid. Ze bouwden een digitaal brein bestaande uit 80.000 kleine "neuronen" (het artikel noemt ze spiking neural networks) en gaven het de taak om te leren. Ze testten vijf verschillende versies van dit brein:

Het Volledige Brein: Het had de eligibility trace (de post-its).
Het Spoorloze Brein: Ze verwijderden de eligibility trace volledig.
De Andere Variaties: Ze verwijderden andere onderdelen zoals de "beloningsvoorspelling" of de "gewichtverzadiging" om te zien of dat de echte helden waren.

De resultaten waren opmerkelijk. Wanneer ze de eligibility trace verwijderden, stopte het brein met leren. Het bevroor. De "Gini-coëfficiënt" (een chique wiskundige manier om te meten hoe gespecialiseerd de verbindingen van het brein werden) vlakte af. Het brein werd niet slimmer; het bleef exact zoals het aan het begin was.

Echter, wanneer ze de trace behielden maar de andere onderdelen verwijderden, leerde het brein nog steeds, zij het op een andere manier. De auteur vond dat de eligibility trace de unieke noodzakelijke voorwaarde is. Het is de motor. Zonder deze motor komt de auto niet in beweging, ongeacht hoe goed de wielen of de brandstof zijn.

Ze testten dit ook op twee verschillende soorten computers (een CPU en een GPU) en vonden identieke resultaten tot op de derde decimaal nauwkeurig. Dit suggereert dat de bevinding geen glitch in hun code is, maar een fundamentele regel van hoe leren werkt.

De "Time-Native" Revolutie

Het artikel gaat verder en suggereert dat deze zelfde "vervagende spoor"-logica ook in andere leersystemen bestaat. Ze keken naar hoe moderne AI (zoals de systemen die essays schrijven of met je chatten) leert met behulp van een methode genaamd Stochastic Gradient Descent (SGD). Ze ontdekten dat de "momentum" die in deze systemen wordt gebruikt, precies werkt als een eligibility trace. Het is een geheugen van eerdere gradiënten dat de AI helpt beslissen welke richting het als volgende moet opgaan.

In een slim experiment probeerden ze dit geheugen in een groot AI-model te "breken". Wanneer ze de richting van de leersignalen door elkaar haalden (waardoor de "vervagende sporen" chaotisch werden), liep de AI tegen een plafond aan en stopte met verbeteren, ongeacht hoe lang ze het trainden. Maar wanneer ze de signalen sterker maakten, leerde de AI niet sneller; het leerde simpelweg met dezelfde snelheid. Dit bewijst dat de structuur van de tijd (de brug tussen het verleden en de toekomst) belangrijker is dan de sterkte van het signaal.

Wat dit betekent voor de Toekomst

De auteur concludeert dat de manier waarop we vandaag de dag computers bouwen, eigenlijk een "speciaal geval" of een "gedegenereerde limiet" is van een veel grotere mogelijkheid. Door tijd te reduceren tot een eenvoudige teller, hebben we machines gebouwd die geweldig zijn in wiskunde, maar slecht in het begrijpen van oorzaak en gevolg over de tijd.

Ze stellen een nieuw soort computing voor: time-native computation. In deze nieuwe wereld is tijd niet alleen een getal op een klok; het is een fysiek onderdeel van het brein van de machine. De machine zou van nature begrijpen dat "Gebeurtenis A Gebeurtenis B veroorzaakte", omdat het geheugen van A nog steeds "plakkerig" is wanneer B plaatsvindt.

Het artikel beweert niet dat ze al een perfecte tijdreizende robot hebben gebouwd. Het geeft toe dat er meer testen nodig zijn op real-world taken zoals taal of motorische controle. Maar het beweert wel dat het de eerste solide bewijsvoering heeft gevonden dat de eligibility trace de ontbrekende sleutel is. Het suggereert dat als we machines willen die echt leren zoals wij — door de verbanden te leggen tussen acties en vertraagde beloningen — we moeten stoppen met tijd te behandelen als een lijst met instructies en het moeten gaan behandelen als een brug.

Kortom, het artikel betoogt dat voor een machine om echt intelligent te zijn, het zijn verleden moet onthouden, niet alleen als een bestand in een map, maar als een vervagende echo die wacht tot de toekomst vertelt wat het betekende. En die echo, de eligibility trace, is de eerste echte uitdaging voor de manier waarop we computers hebben gebouwd in de afgelopen 80 jaar.

Technische Samenvatting: Tijd als Computationeel Substraat

Probleemstelling
Sinds de formulering van de von Neumann-architectuur in 1945 heeft algemene computing opereerd onder een ongetesten aanname: tijd is een discrete, uniforme en semantisch neutrale sequentienummer (de programmateller). In dit paradigma draagt de fysieke pijl van de tijd geen computationele betekenis; een machine kan niet onderscheid maken tussen een gebeurtenis die 3 cycli geleden plaatsvond versus 30.000 cycli geleden, anders dan als een geheugenadresindex. Hoewel opeenvolgende generaties neurale netwerken (feedforward, CNNs, RNNs, Transformers) de representatieve kracht hebben verbeterd, hebben zij deze fundamentele premisse niet uitgedaagd. Zij behandelen tijd als een coördinaat die gecodeerd, gecomprimeerd of gemaskeerd moet worden, in plaats van als een fysiek substraat waardoor causaliteit in de berekening binnenkomt. Het artikel identificeert een gat in de bestaande literatuur: hoewel neuromorfische chips en reservoircomputers temporele dynamiek benutten, en reinforcement learning gebruikmaakt van eligibility traces, heeft geen enkel eerder werk aangetoond dat er een structuur bestaat waarin de causale pijl expliciet is gecodeerd in de leerregel zelf, noch heeft enig werk ablatie-geverifieerd bewijs geleverd dat een dergelijke structuur de unieke noodzakelijke voorwaarde is voor emergente differentiatie.

Methodologie
De auteur stelt een "tijd-native" computationele structuur voor en valideert deze, gecentreerd rond de eligibility trace, gedefinieerd door de vergelijking $e(t + 1) = \lambda e(t) + \Delta w$ . Deze structuur overbrugt lokale gebeurtenissen (synaptische veranderingen) over de tijd naar een vertraagd globaal evaluatiesignaal. Het onderzoek hanteert een cross-substraat aanpak en valideert de hypothese over drie verschillende domeinen:

Spiking Neural Networks (SNNs): Een beloningsgemoduleerd SNN, getraind met Spike-Timing-Dependent Plasticity (STDP), werd getest op een synthetische patroonherkenningsopgave. De studie maakte gebruik van een vijf-conditie ablatieontwerp over drie schalen ( $N=800, 8.000, 80.000$ neuronen) en drie willekeurige seeds, lopend over 500.000 stappen. Componenten die werden getest waren: het volledige model, het verwijderen van de eligibility trace ( $no\_ELIG$ ), het verwijderen van multiplicatieve LTP ( $no\_MULT$ ), het verwijderen van logistische gewichtssaturatie ( $no\_LOG$ ), en het verwijderen van de reward prediction error ( $no\_RPE$ ).
Stochastische Gradiëntafdaling (SGD): Een perturbatie-experiment werd uitgevoerd op een lineair aandachtmodel (CubeAttn, $d=2048$ ) met behulp van AdamW. De studie manipuleerde de "gradiëntrichtingconsistentie" (het SGD-equivalent van de eligibility trace) door ofwel gradiënten te versterken ( $batch\_spike$ ) of de temporele coherentie te degraderen via orthogonale ruis ( $ortho\_kick$ ).
Causale Ontdekking: Een spiking netwerk werd getraind op synthetische lager-trillingsdata met een bekende causale lag. Het netwerk ontving alleen een scalair beloningssignaal (geen expliciete causale labels) om te testen of de eligibility trace Granger-causale relaties kon herstellen.

Belangrijkste Bijdragen

De Eligibility Trace als een Computationele Primitief: Het artikel definieert de eligibility trace niet louter als een onderdeel van een leerregel, maar als een "tijd-native" primitief waarbij de fysieke pijl van de tijd direct in het leermechanisme is gecodeerd. Het stelt dat differentiatie voortkomt uit het product van een globaal signaal en het vervallende geheugen van lokale gebeurtenissen: $Differentiatie = Globaal Signaal \times Vervalend Geheugen$ .
Ablatie-geverifieerde Noodzakelijkheid: Door middel van systematische ablatie demonstreert de auteur dat de eligibility trace de unieke noodzakelijke voorwaarde is voor emergente differentiatie (gemeten aan de hand van de Gini-coëfficiënt van de gewichtsverdeling). Het verwijderen van de trace ( $no\_ELIG$ ) zorgt ervoor dat de differentiatie vlak blijft ( $\Delta Gini \approx -0.006$ ), terwijl het verwijderen van andere componenten (zoals multiplicatieve LTP) slechts de snelheid van differentiatie vermindert of het evenwicht wijzigt, maar het fenomeen niet volledig wegneemt.
Schaal- en Implementatie-invariantie: Het mechanisme is schaal-invariant over twee grootheden (van $10^4$ tot $10^8$ synapsen) en implementatie-invariant, waarbij CPU- en GPU-codebases identieke resultaten produceren tot drie decimalen nauwkeurig.
Asymmetrische Causaliteit: De studie stelt vast dat de temporele brug noodzakelijk maar niet voldoende is. Het degraderen van de temporele brug (het verwijderen van de trace of het randomiseren van de gradiëntrichting) voorkomt doorbraken volledig, terwijl het versterken van het signaal (het vergroten van de gradiëntmagnitude) de faseovergang niet versnelt.
Herformulering van de von Neumann-architectuur: Het artikel betoogt dat de von Neumann-architectuur een "degeneratieve casus" is van dit algemene principe, waarbij de eligibility-window ( $\tau_e$ ) naar nul convergeert, waardoor de temporele brug tussen lokale gebeurtenissen en vertraagde gevolgen wordt geëlimineerd.

Resultaten

SNN Ablatie: Bij $N=80.000$ bereikte het volledige model een Gini-toename van $+0,044$ . De $no\_ELIG$ -conditie resulteerde in een $\Delta Gini$ van $-0,005$, wat de gewichtsverdeling effectief bevroor op de initialisatie. In contrast hiermee behield de $no\_MULT$ -conditie slechts 29% van het volledige effect bij grote schalen, en de $no\_RPE$ -conditie versterkte de differentiatie met meer dan 1000%, wat aangeeft dat de eligibility trace de motor van differentiatie is, terwijl andere componenten fungeren als remmen of versnellers.
SGD Perturbatie: In het CubeAttn-experiment braken de controle-arm en de versterkte signaalarm ( $batch\_spike$ ) door de prestatieplafond op exact stap 66.000. De gedegradeerde signaalarm ( $ortho\_kick$ ), die de temporele brug verstoorde, oscilleerde onder de doorbraakdrempel voor 100.000 stappen en bereikte de faseovergang nooit.
Causale Ontdekking: In de lager-trillingsopgave herstelde het volledige model de correcte causale richting met een score van $0,767$. Het verwijderen van de eligibility trace deed de causale gewichtsmagnitude met $17,6\times$ instorten, waardoor het signaal reduceerde tot bijna ruisniveau, terwijl het randomiseren van de temporele volgorde de causale score reduceerde tot het niveau van toeval ($0,538$).
$\tau$ -Scaling: Het uitbreiden van de eligibility-window ( $\tau_e$ ) van 20 naar 200.000 stappen verschoof het evenwicht van de differentiatie omhoog (Gini $0,584$ versus $0,509$), wat bevestigt dat de grootte van de eligibility-window de asymptotische capaciteit voor causale signaalintegratie beheerst.

Betekenis en Claims
Het artikel claimt het eerste werkende tegenvoorbeeld te presenteren van de von Neumann-aanname dat tijd slechts een sequentienummer is. Het betoogt dat de eligibility trace een nieuwe computationele primitief vormt: tijd-native computation. In dit paradigma wordt causaliteit niet afgeleid uit data via statistische correlatie, maar is het fysiek gecodeerd in de asymmetrische temporele structuur van de leerregel.

De auteur stelt dat de von Neumann-architectuur niet "fout" is maar "onvolledig"—het is het speciale geval waarbij de eligibility-window nul is. Het algemene geval, tijd-native computation, stelt machines in staat om causale structuren te leren uit observationele data zonder expliciete labeling, continu aan te passen aan veranderingen in de omgeving zonder catastrofaal vergeten, en de pijl van de tijd te behandelen als een fysieke vrijheidsgraad in plaats van een implementatiedetail. Het artikel concludeert dat de machine die in staat is dit algemene geval in te vullen, fundamenteel anders zal zijn dan een snellere von Neumann-computer; het zal een machine zijn waarbij causaliteit een fysieke eigenschap van het medium is.

De Klok die Niet Alleen Tikt

Het Tijdreizende Geheugen

Het Grote Experiment: Bewijzen dat het Spoor Essentieel is

De "Time-Native" Revolutie

Wat dit betekent voor de Toekomst

Meer zoals dit