Technische Samenvatting: Het verspreiden van schuld in biologisch plausibele dual-stream netwerken

Probleemstelling

Biologische neurale circuits houden zich aan Dale's principe, waarbij elk neuron ofwel puur excitatief ofwel puur inhibitoir is, en bij alle synapsen dezelfde neurotransmitter vrijgeeft. In contrast hiermee maken standaard kunstmatige neurale netwerken (ANN's) gebruik van gewichten met willekeurige tekens, een vereenvoudiging die efficiënte credit assignment via backpropagation vergemakkelijkt maar die gebrek aan biologische getrouwheid vertoont. Bovendien vereist backpropagation het "weight transport problem"—de backward pass moet de exacte transponering van de forward gewichtsmatrices gebruiken, een mechanisme dat zonder biologische ondersteuning bekend staat.

Hoewel er verschillende biologisch plausibele alternatieven bestaan (bijv. Feedback Alignment, Direct Feedback Alignment, Predictive Coding), falen de meeste in het afdwingen van Dale's principe, waardoor ze willekeurige gewichtstekens toestaan. Error Diffusion (ED), een lokale leerregel waarbij updates afhangen van presynaptische activiteit, postsynaptische afgeleiden en een globale foutteken, is van nature compatibel met Dale's principe. Echter, eerdere implementaties van ED waren beperkt tot binaire classificatie of eenvoudige taken zoals MNIST. De centrale uitdaging die in dit werk wordt aangeporen, is of een Dale-conforme architectuur competitieve prestaties kan behalen over zowel gesuperviseerde classificatie (inclusief complexe taken zoals CIFAR-10) als reinforcement learning (RL), en hoe taakafhankelijke factoren credit assignment onder deze beperkingen beïnvloeden.

Methodologie

Dual-Stream Architectuur

De auteurs hanteren een dual-stream architectuur om Dale's principe structureel af te dwingen. Elke laag is gesplitst in een excitatieve ($p$) en een inhibitoire ($n$) stream.

• Forward Pass: De pre-activatie voor elke stream wordt berekend met behulp van vier niet-negatieve gewichtsmatrices ($W_{pp}, W_{np}, W_{nn}, W_{pn}$). Cross-stream verbindingen ($W_{np}, W_{pn}$) zijn structureel inhibitoir (worden afgetrokken), terwijl alle leerbare parameters niet-negatief blijven.
• Parameter Overhead: Dit ontwerp vereist $\sim4\times$ meer parameters dan een single-stream netwerk van gelijke breedte.

Error Diffusion (ED) Update Regel

In plaats van fouten terug te propageren, routeert ED een globale output-foutsignaal direct naar de verborgen eenheden.

• Modulo Error Routing: Om ED uit te breiden voorbij binaire classificatie, introduceren de auteurs modulo error routing. Elke verborgen eenheid $i$ krijgt een vaste outputkanaal toegewezen $r(i) = i \mod C$ (waarbij $C$ de outputdimensie is). Het leersignaal voor eenheid $i$ is het foutcomponent dat overeenkomt met het toegewezen kanaal.
• Update Mechanisme: Gewichtupdates zijn evenredig aan het product van de presynaptische activiteit en de gerouteerde postsynaptische drive (foutsignaal gemoduleerd door de activatieafgeleide). Dit vermijdt weight transport en willekeurige feedbackmatrices, en vertrouwt in plaats daarvan op een gestructureerde correspondentie tussen verborgen eenheden en outputdimensies.

Domeinspecifieke Innovaties

Het artikel introduceert drie specifieke innovaties voor de classificatie-instelling (MNIST, CIFAR-10) om faalmodi aan te pakken die uniek zijn voor multi-class leren onder Dale-beperkingen:

1. La specifica Sigmoid Breedtes: Om het vanishing gradient probleem tegen te gaan dat inherent is aan sigmoid-gated error diffusion (die een $25\times$ verval vertoonde van de output naar de eerste verborgen laag), gebruiken de auteurs bredere sigmoid-activaties ($\alpha_i$) in diepere lagen.
2. Batch-gecentreerde Class Foutsignalen: Voor 10-weg classificatie kunnen ruwe one-vs-all fouten lijden onder sterke klasse-specifieke offsets. De auteurs trekken het mini-batch gemiddelde af voor elke klasse om zero-mean foutsignalen te garanderen, wat uniforme onderdrukking of excitatie van klassekanalen voorkomt.
3. Asymmetrische Initialisatie: Verborgen excitatieve gewichten worden geïnitialiseerd met een $1.5\times$ schaal en inhibitoire gewichten met een $0.5\times$ schaal (een verwachte 3:1 ratio), terwijl de outputlaag symmetrische initialisatie gebruikt om verzadiging te voorkomen.

Reinforcement Learning Extensie (ED-PPO)

Voor RL-taken wordt de dual-stream architectuur geïntegreerd met Proximal Policy Optimization (PPO).

• De policy en value netwerken maken gebruik van de dual-stream MLP structuur.
• In tegenstelling tot de classificatie-instelling gebruikt de RL-extensie ReLU-activaties en RMS normalisatie, waarbij de classificatie-specifieke innovaties (sigmoid breedtes, batch-centrering) worden weggelaten.
• Foutsignalen worden gerouteerd naar verborgen eenheden op basis van outputkanalen (voor de policy) of via broadcasting (voor de scalaire value netwerk).

Belangrijkste Bijdragen

1. Schaalbare Dale-conforme Architectuur: Een dual-stream ED architectuur die niet-negatieve gewichten behoudt en competitieve prestaties behaalt op zowel gesuperviseerde classificatie (MNIST, CIFAR-10) als continuous-control RL (Brax, Craftax).
2. Taakafhankelijke Credit Assignment: Een ablatie-studie die onthult dat het relatieve belang van architecturale componenten omdraait tussen taken. Op MNIST zijn laadspecifieke sigmoid breedtes cruciaal; op CIFAR-10 zijn batch-gecentreerde foutsignalen de dominante factor. Dit legt bloot dat bottlenecks in credit assignment kwalitatief verschuiven met de moeilijkheidsgraad van de taak.
3. Cross-Domain Evaluatie: Demonstratie dat ED-PPO rendementen behaalt die vergelijkbaar zijn met backpropagation-gebaseerde PPO en Direct Feedback Alignment (DFA) op locomotie-taken (Ant, Humanoid, HalfCheetah), terwijl het DFA-PPO overtreft op de complexe, open-ended exploratie taak Craftax.

Resultaten

Classificatie Prestaties

• MNIST: De voorgestelde ED bereikt 96,7% nauwkeurigheid, vergelijkbaar met de DFA baseline (97,6%).
• CIFAR-10: De voorgestelde ED bereikt 61,7% nauwkeurigheid. Hoewel dit lager is dan DFA (69,1%), vertegenwoordigt het een significante verbetering ten opzichte van de "seed" ED (11,6%) en eerdere puur feedforward ED pogingen.
• Ablatie Reversal: Het verwijderen van laadspecifieke breedtes op MNIST veroorzaakt een catastrofale daling naar 25,3%, terwijl het verwijderen van batch-gecentreerde fouten een verwaarloosbaar effect heeft (-0,3%). Omgekeerd, op CIFAR-10, veroorzaakt het verwijderen van batch-gecentreerde fouten een massale daling naar 13,8%, terwijl het verwijderen van breedtes een kleinere (-15,1%) maar significante daling veroorzaakt.

Reinforcement Learning Prestaties

• Locomotion (Brax): ED-PPO presteert competitief. Op HalfCheetah presteert het significant beter dan standaard BP-PPO (5494 vs 3520) en matcht het DFA-PPO. Op Ant matcht het beide PPO varianten. Op Humanoid blijft het competitief, maar loopt het achter op BP-PPO.
• Open-Ended Exploration (Craftax): ED-PPO behaalt een score van 20,9, wat significant beter is dan DFA-PPO (19,8) en in de buurt komt van BP-PPO (27,0). Dit suggereert dat de gestructureerde routing van ED robuuster kan zijn dan random feedback (DFA) in complexe, open-ended omgevingen.
• Variantie: ED-PPO vertoont een hogere variantie dan BP-PPO in sommige omgevingen, wat suggereert dat de grove error routing stochasticiteit introduceert.

Post-Hoc Analyse

• Gradiënt Attenuatie: Een $25\times$ attenuatie van surrogate gradiënten werd waargenomen van de output naar de eerste verborgen laag, wat het gebruik van bredere sigmoid breedtes motiveert.
• Emergent E/I Balans: Ondanks een asymmetrische 3:1 initialisatie, stuurt training de verborgen lagen naar een bijna gebalanceerde E/I ratio ($\sim1:1$), waarbij diepere lagen licht inhibitoir-dominant worden. Dit spiegelt biologische observaties van homeostatische mechanismen.
• Impliciete Sparsity: De niet-negatieve gewichtsvloer induceert substantiële sparsity, waarbij tot 68,8% van de inhibitoire verbindingen naar de vloer wordt gepruned, wat wijst op een structurele capaciteitsbottleneck.

Betekenis en Claims

Het artikel claimt dat biologisch plausibele leerregels niet monolithisch hoeven te zijn; een gedeelde architecturale kern (dual-stream ED) kan diverse taakeisen ondersteunen wanneer deze wordt aangevuld met geschikte domeinspecifieke componenten.

• Biologische Plausibiliteit vs. Prestaties: Het werk demonstreert dat het afdwingen van Dale's principe de prestaties op complexe taken niet uitsluit, hoewel het een prestatiekost met zich meebrengt (bijv. de nauwkeurigheidsgap op CIFAR-10 en variantie in RL).
• Taakafhankelijke Bottlenecks: De omkering van de ablatie-belangrijkheid tussen MNIST en CIFAR-10 benadrukt dat single-benchmark evaluaties kritieke ontwerp-trade-offs kunnen verhullen. Wat het leren op eenvoudige taken stabiliseert, is mogelijk onvoldoende voor complexere taken.
• Emergente Zelforganisatie: De observatie dat het netwerk zichzelf organiseert naar gebalanceerde E/I ratio's zonder expliciete homeostatische mechanismen, suggereert dat gradiënt-gestuurd leren onder Dale-beperkingen biologische zelforganisatie kan repliceren.
• Hardware Implicaties: De beperking van niet-negatieve gewichten sluit goed aan bij opkomende neuromorfische substraten (bijv. fotonische of analoge hardware) waar fysieke elementen van nature niet-negatieve grootheden coderen, waarbij het teken wordt bepaald door populatie-identiteit.

De auteurs concluderen dat hoewel de huidige nauwkeurigheidsgap met onbeperkte backpropagation blijft bestaan, het dual-stream ED framework een levensvatbaar pad biedt naar biologisch getrouwer leren dat schaalt voorbij eenvoudige benchmarks, en nieuwe inzichten biedt in hoe credit assignment functioneert onder biologische beperkingen.