A Variational Latent Equilibrium for Learning in Cortex

Dit artikel presenteert een biologisch plausibel formalisme dat backpropagation through time benadert via een variatiele latente evenwichtstoestand, waardoor een lokaal en continu mechanisme voor spatiotemporale credit assignment in neurale netwerken wordt verkregen.

De kern

Hier is een uitleg van het artikel "A Variational Latent Equilibrium for Learning in Cortex" in eenvoudig, alledaags Nederlands, vol met creatieve metaforen.

De Kern: Hoe leert het brein complexe dingen?

Stel je voor dat je brein een enorme, supergeavanceerde orkestzaal is. De muzikanten zijn de neuronen (hersencellen) en de instrumenten zijn de verbindingen tussen hen (synapsen). Om een mooi liedje te spelen (een complex patroon herkennen of een beweging uitvoeren), moeten de muzikanten perfect op elkaar ingespeeld zijn.

Het probleem is: hoe leren ze dit? In de wereld van kunstmatige intelligentie (AI) gebruiken we een methode genaamd Backpropagation. Dit is als een strenge dirigent die achteraf naar de opname kijkt, precies ziet wie een noot vals speelde, en dan terugloopt naar elke muzikant om te zeggen: "Jij speelde 0,5% te hard, jij 1% te zacht."

Het probleem met deze AI-methode is dat het niet biologisch haalbaar is. In een echt brein kunnen neuronen niet "terugkijken" in de tijd of weten wat er in de toekomst gebeurt. Ze kunnen alleen reageren op wat ze nu voelen en wat ze straks verwachten.

De Oplossing: VLE (Variational Latent Equilibrium)

De auteurs van dit paper (Simon Brandt en collega's) hebben een nieuwe manier bedacht om dit probleem op te lossen. Ze noemen hun methode VLE.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Toekomstige" Neuronen

In ons brein zijn neuronen niet alleen passieve ontvangers. Ze zijn als voorspellers.

• Normaal: Een neuron ziet een signaal en reageert pas als het signaal binnenkomt.
• In VLE: Een neuron kijkt naar het signaal en zegt: "Hé, dit signaal wordt steeds harder, dus ik ga mijn reactie alvast een beetje voorbereiden."

Dit noemen ze prospectiviteit. Het is alsof je een bal ziet die op je afkomt; je begint je arm alvast te bewegen voordat de bal je raakt, omdat je weet waar hij naartoe gaat. Dit helpt het brein om vertragingen in de tijd te compenseren.

2. De Energiebalans (De "Frustratie")

Stel je elke neuron voor als een klein persoon die probeert in evenwicht te blijven.

• De neuron heeft een idee van wat er zou moeten gebeuren (op basis van wat zijn buren doen en wat hij zelf verwacht).
• Dan kijkt hij naar wat er echt gebeurt.
• Als er een verschil is, voelt de neuron "frustratie" (in de wiskunde noemen ze dit energie).

Het doel van het hele brein is om deze frustratie zo klein mogelijk te maken. Als de frustratie hoog is, weten de neuronen: "We moeten iets veranderen aan onze verbindingen."

3. Het Grote Probleem: De "Gewicht-Transport"

In de klassieke AI-methode moet de "fout" (de frustratie) terugsturen door het hele netwerk. Maar daar zit een addertje onder het gras:

• Om de fout terug te sturen, moet het netwerk precies weten hoe sterk de verbindingen naar voren zijn.
• In de biologie is het onmogelijk dat een neuron precies weet hoe zwaar de verbindingen van zijn buurman zijn. Het is alsof je in een donkere kamer staat en iemand anders moet vertellen hoe zwaar zijn schoenen zijn, zonder dat je ze kunt zien.

4. De Magische Oplossing: Leren van de "Terugwaartse" Weg

De auteurs van dit paper hebben een slimme truc bedacht. In plaats van aan te nemen dat het netwerk perfect weet hoe de terugwaartse weg eruitziet, laten ze het netwerk die weg leren.

• De Analogie: Stel je voor dat je een berg beklimt (leren). Je hebt een kaart nodig om de weg terug te vinden. In plaats van dat de kaart perfect is, laat je de kaart zelf ook groeien en veranderen terwijl je klimt.
• Het netwerk leert niet alleen de verbindingen naar voren (vooruitkijken), maar ook de verbindingen naar achteren (terugkijken).
• Door deze twee te laten "meekijken" en elkaar te corrigeren, kan het netwerk de fouten precies genoeg terugsturen om te leren, zonder dat het de regels van de biologie schendt.

Waarom is dit belangrijk?

1. Het werkt als een echt brein: De methode respecteert de regels van de biologie. Neuronen reageren lokaal (op wat ze zelf voelen) en kijken vooruit in de tijd, maar ze hoeven niet te weten wat er in de verre toekomst gebeurt.
2. Het is krachtig: Het kan complexe taken aan, zoals het herkennen van ritmes in muziek of het voorspellen van bewegingen, waar eerdere methoden faalden.
3. Het is een blauwdruk voor robots: Als we dit begrijpen, kunnen we computers bouwen die leren zoals mensen, in plaats van zoals statische rekenmachines. Dit is heel handig voor "neuromorfe" hardware (chips die net als hersenen werken).

Samenvattend in één zin:

Dit paper beschrijft een nieuwe manier waarop neuronen kunnen leren door te kijken naar hun eigen "toekomstverwachtingen" en door samen te werken om hun eigen "terugwaartse wegen" te verbeteren, zodat ze complexe taken kunnen leren zonder de regels van de natuurkunde te schenden.

Het is alsof we eindelijk een manier hebben gevonden om een orkest te laten oefenen zonder dat de dirigent hoeft te schreeuwen, maar door de muzikanten zelf te laten luisteren naar wat ze straks nodig hebben.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A Variational Latent Equilibrium for Learning in Cortex" in het Nederlands.

Probleemstelling

Het menselijk brein is ongeëvenaard in het herkennen en genereren van complexe ruimtelijk-tijdpatronen. Hoewel kunstmatige intelligentie (AI) sommige van deze capaciteiten kan nabootsen, staan diepe leeralgoritmen zoals Backpropagation Through Time (BPTT) in strijd met ons huidige begrip van biologische neurale circuits en dynamica.
De kernproblemen zijn:

1. Biologische plausibiliteit: BPTT vereist het transporteren van foutsignalen door de tijd en ruimte, wat vaak vereist dat synapsen toekomstige toestanden kennen (niet-causaal) of dat gewichten exact worden getransporteerd (het "weight transport"-probleem).
2. Lokaal leren: Biologische neuronen kunnen waarschijnlijk alleen leren op basis van lokale informatie (in tijd en ruimte). Bestaande methoden zoals Generalized Latent Equilibrium (GLE) bieden een oplossing, maar zijn gebaseerd op benaderingen die de nauwkeurigheid van de leerprocessen beperken, vooral bij signalen met hoge frequenties.

Methodologie: Variational Latent Equilibrium (VLE)

De auteurs introduceren VLE, een algemeen formalisme dat BPTT benadert op een gecontroleerde, biologisch plausibele manier. De methode is gebaseerd op de principes van energiebehoud en extremale actie uit de natuurkunde.

Kernconcepten:

• Energiefunctie: Het systeem definieert een globale energie $E(t)$ die bestaat uit de som van lokale neuronale fouten ($e_i$) en een globale kostenfunctie ($C$), gewogen door een kleine parameter $\beta$.
  $$E(t) = \frac{1}{2} \sum_i e_i^2(t) + \beta C(t)$$
• Variational Calculus: In plaats van complexe afleidingen te gebruiken, passen de auteurs variatierekening toe om de neuronale dynamica af te leiden die de geïntegreerde energie stationair houdt ($\delta_u E = 0$). Dit leidt tot de geadjungeerde methode (Adjoint Method, AM), de tijd-continue equivalent van BPTT.
• Prospectiviteit en Temporele Operatoren: Het model maakt gebruik van twee soorten neurale verwerking:
  1. Retrospectief (Low-pass filter): Gebaseerd op membraanintegratie (verleden).
  2. Prospectief (Look-ahead): Neuronen reageren op de verwachte toekomstige input (toekomst).
     Dit wordt gemodelleerd met tijdsoperatoren zoals $\hat{u}$ (look-ahead) en $\check{u}$ (look-back).

De Innovatie: Leren van Achterwaartse Gewichten
De standaard GLE benadering vervangt de "toekomstige" fouten door een lineaire benadering (look-ahead), wat leidt tot faseverschuivingen en amplitudevervorming bij complexe signalen.
VLE lost dit op door achterwaartse gewichten ($B_{ik}$) expliciet te leren.

• In plaats van aan te nemen dat $B = W^T$ (transponeren van voorwaartse gewichten), worden de $B$-gewichten aangepast via een lokale leerregel.
• Deze regel minimaliseert het verschil tussen de voorwaartse signalen (via $W$) en de achterwaartse foutpropagatie (via $B$), gecorrigeerd voor de tijdsoperatoren.
• Dit compenseert de vervorming veroorzaakt door de GLE-benadering en maakt het systeem robuuster voor signalen met diverse frequenties.

Belangrijkste Bijdragen

1. Unificatie en Afleiding: VLE biedt een rigoureuze, variational afleiding die eerdere modellen (LE, GLE, Neuronal Least Action) verenigt en uitbreidt tot ruimtelijk-tijdproblemen. Het levert een eenvoudiger bewijs voor de geadjungeerde methode dan traditionele benaderingen.
2. Biologische Plausibiliteit: Het model lost zowel het causaliteitsprobleem (door prospectieve neuronen) als het weight transport-probleem op (door het leren van $B$ in plaats van het vereisen van exacte transposities).
3. Correctie van Benaderingen: Het introduceert een mechanisme om de fouten in de GLE-benadering (gain-offsets) te corrigeren door $B$ te leren, wat leidt tot nauwkeurigere spatiotemporele credit assignment.
4. Blueprint voor Hardware: Het biedt een theoretisch kader voor neuromorfe circuits die BPTT-achtige berekeningen lokaal kunnen uitvoeren.

Resultaten

De auteurs testen het model op drie taken:

1. Lagline (Eenvoudige keten): Een student-netwerk moet de gewichten van een leraar-netwerk leren.
   • Resultaat: Het netwerk convergeert naar de minimale fout wanneer $B$ wordt geleerd of wanneer $B=W^T$ wordt gebruikt. Bij een constante $B$ (Feedback Alignment) convergeert het niet.
2. Lagnet (Meerlagig netwerk): Een netwerk met meerdere output-neuronen en complexe input (superpositie van sinussen).
   • Resultaat: Het leren van $B$ leidt tot een langzamere initiële daling van de testfout, maar bereikt uiteindelijk een lagere minimale fout dan het geval waarin $B=W^T$ wordt gebruikt. Dit toont aan dat synaps-specifiek leren van $B$ essentieel is voor complexe signalen.
3. Temporele XOR: Een continue, tijdsafhankelijke XOR-taak die geheugen en niet-lineariteit vereist.
   • Resultaat: Het leren van $B$ zorgt voor een snellere convergentie van de trainingsfout en een betere aanpassing aan de scherpe randen van de doelwitfunctie (door de absolute waarde), vergeleken met het gebruik van $B=W^T$.

Betekenis en Conclusie

VLE is een doorbraak in het verbinden van diep leren met biologische realiteit.

• Theoretisch: Het bewijst dat spatiotemporale deep learning (BPTT) kan worden benaderd door lokaal lerende neurale circuits die gebruikmaken van prospectieve dynamica.
• Praktisch: Het biedt een blauwdruk voor neuromorfe hardware die complexe tijdsafhankelijke taken kan leren zonder de onrealistische vereisten van traditionele backpropagation.
• Toekomst: De methode suggereert dat het leren van achterwaartse verbindingen (via mechanismen zoals Phaseless Alignment Learning) noodzakelijk is voor een volledig biologisch plausibele implementatie van BPTT in het cortex.

Samenvattend stelt VLE een nieuw paradigma voor waarin het brein complexe tijdreeksen leert door een evenwicht te vinden tussen lokale energie-minimalisatie en het anticiperen op toekomstige fouten, waarbij de precisie wordt gewaarborgd door het adaptief aanpassen van de terugkoppelpaden.