Dynamic neural manifolds for flexible closed-loop control on neuromorphic hardware

Technische Samenvatting: Dynamische Neurale Manifolds voor Flexibele Closed-Loop Controle op Neuromorfe Hardware

Probleemstelling
Biologische neurale circuits vertonen flexibel gedrag door sequentiële activiteit te evolueren langs dynamische, laagdimensionale manifolds. Terwijl spikesignaal-gebaseerde netwerkmodellen deze sequentiële activiteiten hebben gekoppeld aan specifieke circuitmechanismen (waardoor ze parametriseerbaar zijn), blijft het een uitdaging om dit framework te vertalen naar energie-efficiënte, real-time closed-loop controle op neuromorfe hardware. Bestaande benaderingen missen vaak het vermogen om de neurale geometrie dynamisch te herconfigureren als reactie op sensorische feedback, wat essentieel is voor uitlegbare kunstmatige intelligentie (explainable AI) en adaptieve autonome systemen. De auteurs beogen deze kloof te overbruggen door een dynamisch neuraal manifold-framework te implementeren op de SpiNNaker 2 neuromorfe chip om de real-time, closed-loop controle van een robotische agent mogelijk te maken.

Methodologie
De auteurs hebben een circuitarchitectuur geïmplementeerd gebaseerd op een ringnetwerk met asymmetrische recurrente connectiviteit, ontworpen om stabiele "bumps" van neurale activiteit te genereren die zich langs de ring voortbewegen, wat oscillerende sequenties creëert.

1. Hardware Implementatie (SpiNNaker 2):

   • Spiking Conversie: Het oorspronkelijke rate-gebaseerde model is aangepast voor de spike-gebaseerde communicatie van SpiNNaker 2. Neuronen converteren interne rates naar spikes probabilistisch (rate als spike-waarschijnlijkheid). Om de prestaties te optimaliseren, gebruikt een deterministische regel de spike-frequentie te benaderen zonder dure random number generation.
   • Sparsity en Geheugenoptimalisatie: Om de beperkte on-chip SRAM aan te pakken, hebben de auteurs sparsity geïntroduceerd in de connectiviteitsmatrix (50% connectiekans). Ze maakten gebruik van de circulant structuur van de gewichtsmatrix, waarbij slechts één rij gewichten en een bitmasker voor connectiviteit worden opgeslagen, in plaats van de volledige matrix.
   • Closed-Loop Streaming: Vanwege geheugenbeperkingen die langdurige interne registratie verhinderen, streamt het systeem spikes naar een hostcomputer via de HostIF-interface. De host verwerkt de sensorische feedback en streamt de controleparameters in real-time terug naar de chip, wat een closed loop creëert met een lage latentie (ongeveer 3 tijdstappen).

2. Controlemechanismen ("Control Knobs"):
   De architectuur maakt gebruik van drie specifieke circuitmechanismen om de neurale manifold te manipuleren:

   • Additieve Stroom ($I$): Moduleert de grootte (breedte) van de activiteit-bump, waardoor de radius van de neurale traject wordt gecontroleerd.
   • Multiplicatieve Gain ($S$): Moduleert de snelheid van de bump-propagatie, waardoor de snelheid van de neurale traject wordt gecontroleerd.
   • Heterogene Inhibitie ($p_{inh}$): Elimineert selectief willekeurige subsets van neuronen via inhibitoire ensembles. Dit roteert de neurale subspace, waardoor het systeem kan schakelen tussen verschillende gedragsstatussen (bijv. verschillende soorten bewegingen).

3. Toepassing (Navigatie in een Virtuele Doolhof):
   Een tweewielige robotische agent navigeert door een virtuele doolhof. Een extern beleidsprogramma genereert een hoog niveau plan (bijv. "beweeg naar het westen") en lokale adaptaties op basis van sensorische inputs (afstand tot muren, type ondergrond). Deze inputs worden gemapt naar de controleparameters ($S, I, p$) van het ringnetwerk. Een lineaire readout-laag, getraind via random exploratie van de controleparameterruimte, decodeert de spike-activiteit van het ringnetwerk naar motorische commando's (wiel snelheden en sprong-triggers).

Belangrijkste Resultaten

• Parametergetrouwheid: De SpiNNaker 2 implementatie reproduceerde succesvol de dynamica van het oorspronkelijke rate-gebaseerde CPU-model.
  • Vormcontrole: Additieve stroom $I$ controleerde lineair de bump-grootte en de trajectradius.
  • Snelheidscontrole: Multiplicatieve gain $S$ controleerde betrouwbaar de rotatiesnelheid van de activiteit-bump.
  • Subspace Rotatie: Selectieve inhibitie roteerde de neurale subspace succesvol. De hoek tussen de subspaces kwam overeen met het analytische schalinggedrag ($\arccos(1 - p_{inh})$), wat bevestigt dat verschillende gedragsstatussen geometrisch scheidbaar zijn.
• Efficiëntie: De implementatie opereerde ruim binnen de 1 ms real-time tijdstap drempel. De runtime schaalde lineair met het aantal verwerkte spikes. Grotere bumps (gecontroleerd door $I$) verhoogden de runtime, terwijl hogere inhibitie (het meer uitschakelen van neuronen) deze verminderde.
• Closed-Loop Prestaties: De robotische agent navigeerde succesvol door een doolhof, waarbij hij dynamisch schakelde tussen gedragingen (voorwaartse beweging, draaien, springen) en snelheid/traject aanpaste op basis van real-time sensorische feedback. Het systeem demonstreerde dat sensorische inputs inhibitie, gain en stromen kunnen moduleren om de geometrie van de manifold on-the-fly te herconfigureren.

Betekenis en Claims
Het artikel beweert dat het dynamische neurale manifolds als een haalbare benadering voor uitlegbare neuromorfe architecturen heeft vastgesteld. Door laag-niveau circuitmechanismen (gain, inhibitie, stromen) te mappen aan hoog-niveau geometrische kenmerken (traject snelheid, vorm, subspace oriëntatie), bieden de auteurs een framework waar de interne staat van het systeem wiskundig interpreteerbaar is.

Het werk dient als een bewijs van concept dat:

1. Complexe, dynamische neurale manifolds efficiënt kunnen worden geïmplementeerd op neuromorfe hardware (SpiNNaker 2).
2. Dergelijke systemen flexibele, closed-loop controle kunnen ondersteunen waarbij sensorische feedback direct de neurale dynamica vormgeeft om gedrag aan te drijven.
3. Dit framework een substraat biedt voor het onderzoeken van biologische neurale dynamica en het ontwerpen van autonome systemen met voorspelbare, uitlegbare gedragingen, wat potentieel kan worden uitgebreid naar complexere motorische controletaken in de toekomst.

De auteurs merken op dat hoewel het huidige werk een vooraf geleerd wereldmodel voor planning veronderstelt, het framework is ontworpen om te koppelen met hogere-orde leerarchitecturen, en toekomstig werk mogelijk direct wereldmodellen bovenop deze motorische controlelaag kan onderzoeken.