Sequential critical periods support efficient local representation learning in a model of visual processing

Dit onderzoek toont aan dat gestaggerde kritieke periodes in een hiërarchisch visueel model de kwaliteit en metabolische efficiëntie van lokale synaptische leerregels verbeteren, wat suggereert dat deze ontwikkelingsmechanismen functioneel essentieel zijn voor het vormen van abstracte objectrepresentaties.

De kern

Hoe ons brein leert zonder een "supercomputer": Een verhaal over kritieke periodes en lokale regels

Stel je voor dat je brein een enorme bouwplaats is waar een prachtige stad (je visuele wereld) wordt opgetrokken. De vraag die wetenschappers al jaren bezighoudt, is: hoe bouwt dit brein die stad zonder een centrale architect die alles tegelijk aanstuurt?

In de kunstmatige wereld gebruiken computers een methode genaamd "backpropagation". Dit is alsof je een gigantische bouwplaat hebt en een supercomputer die elke steen, elke muur en elk dak tegelijkertijd aanpast om de perfecte stad te maken. Het werkt geweldig, maar het is onrealistisch voor een biologisch brein. Een echt brein heeft geen centrale computer die overal tegelijk ingrijpt.

De auteurs van dit paper, Delrocq en collega's, hebben een nieuw idee ontwikkeld dat veel meer lijkt op hoe een echt brein werkt. Hier is hun verhaal, vertaald naar alledaagse taal:

1. De Bouwplaats met "Kritieke Periodes"

Stel je voor dat je een stad bouwt in verschillende wijken: eerst de fundering (V1, de basis van het zicht), dan de muren (V2, V4), en pas later de torens en de daken (de hogere hersengebieden).

In de natuur gebeurt dit niet allemaal tegelijk. Er zijn "kritieke periodes". Dit zijn tijdsvensters waarin een bepaalde wijk extreem flexibel is en snel kan leren, maar daarna "vastzet" en niet meer verandert.

• Het geheim: In ons brein openen deze vensters niet allemaal op hetzelfde moment. Ze openen achtereenvolgens. Eerst is de basis (V1) flexibel, terwijl de rest nog in de steigers staat. Zodra de basis stevig staat, wordt die "vastgezet" en opent het venster voor de volgende wijk.

De onderzoekers hebben dit nagebootst in hun computermodel. Ze lieten de lagen van hun netwerk één voor één leren, in plaats van allemaal tegelijk.

2. De "Lokale" Regels: Geen Globale Architect

Hoe leert een laag zonder een centrale architect? Ze gebruiken een slimme, lokale regel.
Stel je een muur voor in de stad. De metselaars (de neuronen) weten niet hoe het hele gebouw eruit moet zien. Ze kijken alleen naar twee dingen:

1. Wat er binnenkomt: De signalen van de laag eronder (bijvoorbeeld: "hier is een lijn").
2. Wat er van binnenuit wordt verwacht: Signalen van buren in dezelfde wijk (bijvoorbeeld: "als er links een lijn is, verwacht ik rechts ook een lijn").

Als de verwachting van de buren overeenkomt met wat er binnenkomt, gebeurt er niets. Maar als er een verrassing is (de verwachting klopt niet), dan leren de metselaars snel en passen ze de verbindingen aan. Dit is een heel biologisch plausibel mechanisme: je leert vooral als je verrast wordt door je omgeving.

3. Het Grote Experiment: Achtereenvolgens vs. Tegelijk

De onderzoekers deden een verrassende ontdekking:

• Bij de "Supercomputer" (Backpropagation): Als je de kritieke periodes achtereenvolgens laat werken, gaat het mis. De computer kan niet goed leren omdat hij gewend is dat alles tegelijk verandert. Het is alsof je een orkest laat spelen waarbij de fluitist alleen mag spelen, terwijl de rest van het orkest stopt; het geluid is niet meer in balans.
• Bij het "Biologische Model" (Lokale regels): Hier werkt het perfect. Door de periodes achtereenvolgens te laten werken, wordt het leren veel efficiënter. De basis wordt eerst perfect gelegd, en daarop kan de volgende laag perfect bouwen.

De analogie:
Stel je voor dat je een huis bouwt.

• Backpropagation: Je probeert de fundering, de muren en het dak tegelijk te bouwen en aan te passen. Als je de fundering later moet veranderen, moet je het hele dak weer afbreken.
• Lokaal leren met kritieke periodes: Je bouwt eerst de fundering tot hij perfect staat en "vastdroogt". Dan pas begin je met de muren. Omdat de fundering niet meer beweegt, kunnen de muren zich perfect daarop aanpassen. Het is rustiger, sneller en kost minder energie.

4. Waarom is dit belangrijk? (De Metabole Voordelen)

Het brein is een energiezuinige machine. Het kan niet eindeloos energie verbruiken om synapsen (verbindingen) te blijven herschrijven.

• Het model laat zien dat door achtereenvolgens te leren (eerst laag 1, dan laag 2, etc.), het brein veel minder herschrijfwerk nodig heeft om even goede resultaten te bereiken als een model dat alles tegelijk doet.
• Het is alsof je een boek leest: als je eerst hoofdstuk 1 volledig begrijpt voordat je aan hoofdstuk 2 begint, heb je minder tijd nodig om het hele boek te begrijpen dan als je probeert alle hoofdstukken door elkaar te lezen en steeds terug te moeten bladeren.

5. Werkt het in de echte wereld?

De onderzoekers testten of deze "opgeleide" visuele systemen daadwerkelijk nuttig zijn. Ze gaven het model een robot-agent die moest leren:

1. Lopen in een doolhof: De agent moest een weg vinden naar een schat, alleen kijkend naar de muren (geen GPS).
2. Beslissingen nemen: De agent moest kiezen tussen twee opties op basis van een plaatje (bijv. "is dit een banaan of een fiets?").

Het resultaat? De agenten die gebruikmaakten van het model met de achtereenvolgende kritieke periodes, leerden deze taken zonder extra training van het visuele systeem. Ze konden direct beslissingen nemen op basis van wat ze hadden geleerd. Zelfs bij moeilijke taken (zoals het onderscheiden van een laptop van een toetsenbord) presteerden ze veel beter dan agents die alleen naar ruwe pixels keken.

Conclusie

Dit paper vertelt ons dat de "staggered critical periods" (de achtereenvolgende vensters waarin het brein leert) niet zomaar een toevallig obstakel zijn in de ontwikkeling van een kind. Het is een slim ontwerp.

Het stelt het brein in staat om:

• Lokaal te leren (zonder een centrale computer die alles regelt).
• Energie te besparen (door minder vaak synapsen te hoeven herschrijven).
• Robuuste representaties te bouwen die goed werken voor allerlei nieuwe taken.

Kortom: ons brein bouwt zijn stad niet in één grote chaos, maar steen voor steen, in een perfect geplande volgorde. En dat is precies waarom we zo goed kunnen leren en overleven.

Technische samenvatting

Probleemstelling

De hersenen van zoogdieren moeten complexe, abstracte objectrepresentaties leren uit hoge-dimensionale retinale input. Hoewel diepe kunstmatige neurale netwerken (DNN's) getraind met backpropagation uitstekende prestaties leveren, ontbreekt dit algoritme aan biologische realisme. Backpropagation vereist dat synapsen over het hele netwerk gelijktijdig worden geoptimaliseerd, wat in strijd is met de waargenomen gestaggerde kritieke periodes in de corticale ontwikkeling. In de biologie openen en sluiten plasticiteitsvensters sequentieel van het visuele cortexgebied V1 naar het inferotemporale cortex (IT). Bestaande modellen met biologisch plausible Hebbiaanse regels of voorspellende codering (predictive coding) halen echter vaak niet de prestaties van backpropagation en hebben moeite om een hiërarchische representatie te vormen waarbij diepere lagen complexere en nuttigere kenmerken leren.

Methodologie

De auteurs presenteren een hiërarchisch model van de visuele stream (van V1 tot IT) dat abstracte representaties leert met uitsluitend lokale synaptische plasticiteitsregels, gemoduleerd door laterale voorspellende signalen.

1. Netwerkarchitectuur:

   • Een convolutioneel neuraal netwerk (CNN) met zes lagen, waarbij elke laag een corticaal gebied voorstelt.
   • Naast feedforward-verbindingen bevat het netwerk laterale verbindingen binnen elk gebied.
   • De input naar de basale dendrieten van een neuron wordt aangevuld met laterale input naar de apicale dendrieten van dezelfde neuron, afkomstig van andere neuronen in hetzelfde gebied (voorspelling van het omringende beeld).

2. Leerregel (CLAPP):

   • Het model gebruikt een aangepaste versie van de CLAPP-leerregel.
   • De verandering in feedforward-synapsen ($\delta w_{ij}$) wordt bepaald door een driefactor-mechanisme:
     • De activiteit van de presynaptische neuron ($pre_j$).
     • De lokale membraanpotentiaal van de postsynaptische neuron ($post_i$).
     • De laterale voorspellende input ($lat_i$) die via de apicale dendrieten arriveert.
   • De leerregel minimaliseert een lokale verliesfunctie waarbij de laterale voorspelling moet overeenkomen met de daadwerkelijke feedforward-input. De leerfrequentie ($\eta(t)$) wordt gemoduleerd door "verrassing": als de voorspelling niet overeenkomt met de input, wordt geleerd.

3. Sequentiële Kritieke Periodes (CP):

   • Het model implementeert gestaggerde kritieke periodes: plasticiteit wordt sequentieel geactiveerd van V1 naar IT. Een gebied is alleen plastisch als de kritieke periode van het voorgaande gebied gesloten is.
   • Dit contrasteert met parallelle training (waar alle lagen tegelijk leren) en backpropagation.

4. Validatie:

   • Prestatie: Lineaire decodering van objectidentiteit op de STL-10 dataset.
   • Efficiëntie: Analyse van het aantal synaptische updates (metabole kosten) versus prestatie.
   • Gedrag: Reinforcement Learning (RL) agenten (gebaseerd op actor-critic met eligibility traces) die navigatie- en discriminatietaken uitvoeren met de bevroren visuele representaties, zonder verdere fine-tuning van de visuele encoder.

Belangrijkste Bijdragen

• Biologisch Plausibele Hiërarchisch Leren: Het bewijs dat een hiërarchisch model abstracte objectrepresentaties kan leren met uitsluitend lokale regels en laterale voorspellingen, zonder backpropagation.
• De Rol van Gestaggerde Kritieke Periodes: Het aantonen dat sequentiële kritieke periodes de leerprestaties van lokale regels verbeteren, terwijl ze de prestaties van backpropagation verslechteren.
• Metabole Efficiëntie: Het idee dat sequentieel leren metabolisch voordelig is omdat het het totale aantal synaptische updates reduceert voor een vergelijkbare prestatie.
• Generalisatie naar Nieuwe Taken: Demonstratie dat de zo geleerde representaties direct bruikbaar zijn voor complexe gedragsoplossingen (navigatie, beslissingen) in RL-taken, zelfs met data buiten de trainingsdistributie (ImageNet).

Resultaten

1. Representatiekwaliteit:

   • Het model met gestaggerde kritieke periodes leert representaties waarvan de abstractieniveau toeneemt van V1 naar IT (hogere decodabiliteit van objectidentiteit in IT).
   • In vergelijking met eerdere biologisch plausible modellen (zoals LPL en CLAPP zonder CP) overtreft dit model de prestaties aanzienlijk.

2. Vergelijking met Backpropagation:

   • Bij backpropagation leidt het opleggen van sequentiële kritieke periodes tot een daling in prestatie. Dit komt omdat bij backprop alle lagen co-evolueren; het vastzetten van eerdere lagen voordat hogere lagen hebben geleerd, breekt de consistentie die nodig is voor globale optimalisatie.
   • Bij lokale leerregels verbetert sequentieel leren de prestaties. Elke laag bouwt op een stabiele, reeds geoptimaliseerde input van de vorige laag, wat essentieel is omdat lokale regels geen informatie van hogere lagen gebruiken.

3. Metabole Kosten:

   • Voor een gelijk aantal synaptische updates (metabole kosten) bereikt het sequentiële model een hogere nauwkeurigheid dan het parallelle model.
   • Er is een trade-off: sequentieel leren vereist meer data voor eenzelfde aantal updates, maar is efficiënter in het gebruik van synaptische veranderingen.

4. Gedragsvalidatie (RL):

   • RL-agenten die gebruikmaken van de bevroren representaties van het model slaagden erin om een T-maze en een Morris watermaze (met verborgen doelen) te navigeren.
   • In visuele bandit-taken (beslissen op basis van ImageNet-categorieën) presteerden agenten met de geleerde representaties significant beter dan agenten die ruwe pixels gebruikten, zelfs voor moeilijke categorieparen. Dit toont aan dat de representaties generaliseerbaar en actiegericht zijn.

Significantie en Conclusie

De studie suggereert dat gestaggerde kritieke periodes niet slechts een beperking in de ontwikkeling van het brein zijn, maar een functioneel mechanisme dat essentieel is voor efficiënt, lokaal en metabolisch zuinig leren in hiërarchische neurale systemen.

• Het biedt een verklaring waarom het brein backpropagation niet lijkt te gebruiken: sequentieel leren is incompatibel met backprop, maar ideaal voor lokale plasticiteitsregels.
• Het benadrukt de evolutionaire voordelen van metabolische efficiëntie: het brein leert effectief met minder synaptische updates.
• De bevindingen hebben implicaties voor neuromorfe computing en energie-efficiënt machine learning, waar lokale leerregels en sequentieel leren voordelen kunnen bieden ten opzichte van traditionele deep learning.

Kortom, het papier verbindt ontwikkelingsbiologie (kritieke periodes) met computationele efficiëntie en biedt een nieuw perspectief op hoe het brein complexe visuele representaties kan leren zonder globale foutpropagatie.