🤖 machine learning

Learning Long-Range Dependencies with Temporal Predictive Coding

Dit artikel introduceert tPC-RTRL, een nieuw algoritme dat Temporal Predictive Coding combineert met Real-Time Recurrent Learning om online, lokale leerprocessen van langetermijnafhankelijkheden in recurrente systemen mogelijk te maken, waarbij een prestatie wordt behaald die bijna gelijkwaardig is aan backpropagation-through-time bij taken op het gebied van taalmodellering, vertaling en controle, terwijl het een verenigd kader biedt voor leren en filteren.

Oorspronkelijke auteurs: Tom Potter, Oliver Rhodes

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tom Potter, Oliver Rhodes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij door een doolhof moet navigeren. De robot moet onthouden waar hij is begonnen om te weten waar hij nu is. Dit is de kern van de uitdaging van Recurrent Neural Networks (RNNs): leren van een reeks gebeurtenissen over een bepaalde tijd.

Decennialang was de standaard manier om deze robots te trainen Backpropagation Through Time (BPTT). Denk aan BPTT als een leraar die de robot het hele doolhof ziet rennen, hem bij de finishlijn stopt, en dan de tape frame voor frame terugspoelt naar het begin om te zeggen: "Hé, bij stap 5 draaide je naar links, wat er op stap 50 toe leidde dat je tegen de muur botste." Dit werkt perfect, maar het vereist dat de leraar elke enkele stap die de robot heeft gezet, onthoudt. Als het doolhof enorm groot is, raakt de leraar zijn geheugen kwijt en is het proces traag en energieverslindend.

Dit artikel introduceert een nieuwe methode genaamd tPC-RTRL (Temporal Predictive Coding with Real-Time Recurrent Learning). Het probeert het beste van twee werelden te combineren: een brein-geïnspireerde manier van leren die efficiënt is, en een manier om een lange geschiedenis accuraat te onthouden.

Hier is de uitsplitsing met eenvoudige analogieën:

1. Het Probleem: De Robot met een "Kortetermijngeheugen"

De auteurs keken naar een bestaande brein-geïnspireerde methode genaamd Temporal Predictive Coding (tPC).

Hoe het werkt: Stel je een robot voor die constant voorspelt wat er hierna gaat gebeuren. Als hij het fout raadt, voelt hij een kleine "fout" en past hij zijn brein op dat moment zelf aan. Hij hoeft de tape niet terug te spoelen; hij leert gewoon van de onmiddellijke fout. Dit is geweldig voor energie en snelheid (perfect voor kleine, energiezuinige chips).
De Gebreken: De auteurs ontdekten dat deze robot een zeer kort geheugen heeft. Hij leert alleen van de onmiddellijke oorzaak van een fout. Als de robot op stap 50 een fout maakt door een actie op stap 5, vergeet de standaard tPC-robot stap 5. Hij denkt: "Ik maak nu een fout, maar ik deed net niets verkeerd, dus ik kan het nu niet repareren." Het lukt hem niet om de verre geschiedenis met het heden te verbinden.

2. De Oplossing: Het "Invloed-Grootboek"

Om dit op te lossen, combineerden de auteurs tPC met een klassiek algoritme genaamd RTRL (Real-Time Recurrent Learning).

De Analogie: Stel je voor dat de robot een speciaal "Invloed-Grootboek" (een wiskundig schriftje) bijhoudt. Elke keer als de robot een zet doet, werkt hij niet alleen zijn brein bij, maar schrijft hij ook in het grootboek: "Als ik mijn breininstellingen nu verander, hoe zal dat mijn positie over 10 stappen beïnvloeden?"
De Magie: Terwijl de tijd vordert, werkt de robot dit grootboek bij. Wanneer er op stap 50 een fout optreedt, kijkt de robot in het grootboek om te zien hoe zijn breininstellingen op stap 5 aan die fout hebben bijgedragen. Hij kan eindelijk zeggen: "Ah, stap 5 veroorzaakte dit!" en de onderliggende oorzaak aanpakken, ook al gebeurde dat lang geleden.

3. Het Resultaat: Het Beste van Beide Werelden

Het artikel bewijst dat door dit "Invloed-Grootboek" toe te voegen aan de brein-geïnspireerde tPC-methode, de robot precies even goed leert als de oude, zware, geheugenverslindende BPTT-methode, maar zonder de geheugenkosten.

Ze testten dit op vier verschillende uitdagingen:

De Kopieer-taak: Een simpel spel waarbij de robot een reeks getallen moet onthouden en later moet herhalen. De oude brein-geïnspireerde methode faalde; de nieuwe methode slaagde perfect.
Taalmodellering: Het leren van de robot om het volgende lettertype in een zin te voorspellen (zoals een smartphone-toetsenbord). De nieuwe methode presteerde net zo goed als de industriestandaard.
Vertaling: Het vertalen van Engels naar Frans. Opnieuw evenaarde de nieuwe methode de beste bestaande prestaties.
De Nanodrone: Dit was de meest realistische test. Ze trainden een model om het vliegpad van een kleine drone te voorspellen. De nieuwe methode leerde net zo nauwkeurig vliegen als de standaardmethode.

4. De Bonus: De "Zelfcorrigerende" Drone

Een van de coolste bevindingen is hoe de robot zich gedraagt nadat hij is getraind.

Omdat de robot tijdens de training een "voorspellings- en correctielus" gebruikt, kan hij diezelfde lus ook gebruiken terwijl hij daadwerkelijk vliegt.
Het Scenario: Stel je voor dat de drone vliegt en plotseling een GPS-signaal krijgt dat zegt: "Je bent eigenlijk 2 meter naar links van waar je dacht dat je was."
De Oude Manier: Een standaard robot zou dit kunnen negeren of moeite hebben om dit vloeiend te integreren.
De tPC-RTRL Manier: De robot gebruikt direct zijn interne "voorspellingsmotor" om zijn hele mentale kaart van waar hij is geweest en waar hij naartoe gaat, aan te passen op basis van dat nieuwe GPS-signaal.
Het Resultaat: Deze "zelfcorrectie" verminderde de uiteindelijke landingsfout van de drone met de helft vergeleken met wanneer de drone blind zou vliegen.

Samenvatting

Het artikel beweert een belangrijke flessenhals in AI te hebben opgelost: Hoe maken we robots die leren van lange reeksen gebeurtenissen zonder dat ze een enorme geheugenbank nodig hebben?

Ze deden dit door de robot een "grootboek" te geven dat bijhoudt hoe acties uit het verleden de toekomst beïnvloeden, waardoor de robot op een efficiënte manier van langetermijnlessen kan leren. Dit maakt het mogelijk om slimme, adaptieve systemen te trainen op kleine, energiezuinige apparaten (zoals edge-hardware of neuromorfische chips) die on the fly kunnen leren, in plaats van eerst een supercomputer nodig te hebben voor de training.

Technische Samenvatting: Leren van Lange-afstandsafhankelijkheden met Temporele Predictieve Codering

1. Probleemstelling

Standaard Backpropagation Through Time (BPTT) is het dominante algoritme voor het trainen van Recurrente Neurale Netwerken (RNN's), maar is slecht geschikt voor neuromorfische en edge-hardware. BPTT vereist het opslaan van de volledige latente-toestandstrajectorie om een reverse-mode traversale uit te voeren, wat prohibitieve geheugen- en synchronisatiekosten met zich meebrengt.

Temporele Predictieve Codering (tPC) biedt een veelbelovend alternatief door gebruik te maken van lokale, paralleliseerbare operaties om voorspellingsfouten te minimaliseren, wat goed aansluit bij neuromorfische ontwerpprincipes. De auteurs identificeren echter een kritieke structurele beperking in standaard tPC: de recurrente parameter-update regel legt alleen de onmiddellijke invloed van parameters op de huidige voorspelling vast. Het verwaarloost de historische invloed van recurrente parameters langs de latente-toestandstrajectorie. Bij consequentie faalt standaard tPC in het toeschrijven van krediet over lange temporele horizonten, waardoor het zich gedraagt als een een-stap getrunceerde BPTT en moeite heeft met taken die lange-afstandsafhankelijkheden vereisen.

2. Methodologie: tPC-RTRL

Om dit aan te pakken, stellen de auteurs Temporele Predictieve Codering met Real-Time Recurrent Learning (tPC-RTRL) voor. Deze methode combineert de lokale foutdynamiek van tPC met het online credit-assignment mechanisme van Real-Time Recurrent Learning (RTRL).

Kernmechanisme: tPC-RTRL verrijkt de standaard tPC-update met een online invloedmatrix ( $M^{(t)}$ ). Deze matrix houdt bij hoe de huidige gepropageerde latente toestand afhankelijk is van de recurrente parameters, waardoor de historische invloed van parameters door de sequentie heen effectief wordt vastgelegd zonder het netwerk uit te rollen (unrolling).
Update Regel: De recurrente parameter-update ( $\Delta \theta_{rec}$ $Δ θ_{r ec}$ ) wordt gewijzigd om twee termen te bevatten:
1. Onmiddellijke term: De gradiënt van de instantane vrije energie met betrekking tot de huidige parameterapplicatie (standaard tPC).
2. Historische term: De gradiënt van de vrije energie met betrekking tot de vorige gepropageerde toestand, vermenigvuldigd met de invloedmatrix van de vorige tijdstap.
  $\Delta \theta_{rec} = -\left( \frac{\partial F^{(t)}}{\partial \theta^{(t)}_{rec}} + \frac{\partial F^{(t)}}{\partial \bar{x}^{(t-1)}} M^{(t-1)} \right)$
Regimes: De auteurs opereren primair in het predictive-rollout regime, waarbij de gepropageerde toestand $\bar{x}^{(t)}$ de voorspelde toestand $\mu^{(t)}_x$ is (de feedforward prior), in plaats van de geïnferreerde toestand $\hat{x}^{(t)}$ . Dit zorgt ervoor dat de RTRL- recursie exact is en de consistentie tussen training en test-tijd dynamica behoudt.
Implementatie: De methode wordt geïnstantieerd op de Real-Gated Linear Recurrent Unit (RG-LRU). Omdat de RG-LRU recursie element-gewijs is, blijft de invloedmatrix hanteerbaar (block-sparse), waardoor de $O(n^3)$ computationele kosten die typisch zijn voor dichte RTRL worden vermeden.

3. Belangrijkste Bijdragen

Algoritmische Innovatie: Introductie van tPC-RTRL, het eerste algoritme dat Temporele Predictieve Codering combineert met een online invloedmatrix om lange-afstands temporele credit assignment te herstellen, terwijl ruimtelijke en temporele lokaliteit behouden blijft.
Theoretische Validatie: Bewijs (Propositie 1) dat onder expliciete aannames (geconvergeerde inferentie, fixed-prediction aanname en predictive-rollout), tPC-RTRL de exacte gradiënten van BPTT herstelt. Dit demonstreert dat lokale, paralleliseerbare updates theoretisch de optimalisatiekwaliteit van globale backpropagation kunnen evenaren.
Empirische Equivalentie: Demonstratie dat tPC-RTRL een bijna equivalente prestatie levert aan BPTT over diverse taken, terwijl standaard tPC achterblijft, wat bevestigt dat het falen van standaard tPC specifiek te wijten is aan de beperkingen in de temporele credit assignment.
Filtering Toepassing: Demonstratie dat het iteratieve inferentie-mechanisme dat tijdens de training wordt gebruikt, kan worden hergebruikt tijdens de implementatie om intermitterende toestandsobservaties te incorporeren (filtering), wat de positiefout aanzienlijk vermindert in een nanodrone-benchmark vergeleken met open-loop rollout.

4. Experimentele Resultaten

De auteurs evalueerden tPC-RTRL tegenover BPTT, standaard tPC en ruimtelijke BP (getrunceerde BPTT) op vier taken:

Copy Task: Een gecontroleerde diagnostiek voor lange-afstandsafhankelijkheden.
- Resultaat: BPTT en tPC-RRTL behaalden ~~99,99% nauwkeurigheid. Standaard tPC en ruimtelijke BP faalden (~~40%), wat bevestigt dat tPC-RTRL de temporele kloof succesvol overbrugt.
WikiText-103 (Byte-level Language Modeling):
- Resultaat: tPC-RTRL behaalde een validatie bits-per-character (BPC) van 1,865, bijna identiek aan BPTT (1,864). Standaard tPC plateauerde op 2,020.
CCMatrix (Engels–Frans vertaling):
- Resultaat: tPC-RTRL behaalde een BLEU-score van 20,23, overeenkomend met BPTT (20,29). Standaard tPC presteerde slecht (4,75), vergelijkbaar met ruimtelijke BP.
Nanodrone Systeemidentificatie:
- Resultaat: Op een real-world vluchtdataset behaalde tPC-RTRL een gemiddelde positiefout van 0,506 m, vrijwel ononderscheidbaar van BPTT (0,505 m). Standaard tPC presteerde slechter (0,556 m).
Filtering (Nanodrone):
- Resultaat: Het gebruik van het getrainde tPC-RTRL model met intermitterende grondwaarheid-correcties tijdens de test-tijd verminderde de uiteindelijke positiefout van 0,805 m (open-loop) naar 0,402 m (hoge-frequentie correctie), wat beter presteert dan eenvoudige state resets.

5. Betekenis en Claims

Het artikel claimt dat tPC-RTRL succesvol twee complementaire mechanismen verenigt:

Ruimtelijke Lokaliteit: Geboden door Predictieve Codering, wat de noodzaak voor een globale reverse-mode traversale elimineert.
Temporele Lokaliteit: Geboden door RTRL, wat de noodzaak om de volledige toestandstrajectorie op te slaan en uit te rollen elimineert.

De auteurs stellen dat deze combinatie een leerregel oplevert die voldoet aan de strikte geheugen- en synchronisatiebeperkingen van neuromorfische hardware (bijv. Loihi, SpiNNaker) zonder de optimalisatiekwaliteit van BPTT op te offeren. Specifiek voor het nanodrone-model vermindert tPC-RTRL de opslag die nodig is voor temporele credit assignment met ongeveer 52× vergeleken met BPTT bij een horizon van 200 stappen, waarbij het geheugengebruik constant blijft, ongeacht de sequentielengte.

Het werk suggereert een pad naar energiezuinige, on-device training van recurrente modellen voor continu opererende systemen (robotica, edge sensing) waar data sequentieel binnenkomt, geheugen beperkt is en intermitterende observaties beschikbaar kunnen zijn voor toestandscorrectie. De auteurs blijven bescheiden en merken op dat hoewel er een theoretische equivalentie bestaat onder strikte aannames, hun empirische succes ervan afhangt op het feit dat het algoritme in de praktijk werkt nabij BPTT-equivalente richtingen, zelfs wanneer die aannames worden versoepeld. Zij identificeren het uitbreiden van de methode naar diepere stacks en het verifiëren van de energie/latentievoordelen op daadwerkelijke neuromorfische hardware als cruciale toekomstige richtingen.