Technische Samenvatting: Afstemming van Membraanpotentiaal voor Spiking Neural Network Test-Time Adaptation

Probleemstelling

Intracorticale hersen-computer interfaces (iBCI's) worden geconfronteerd met een kritieke uitdaging: de degradatie van de decoderprestaties over tijd door dagelijkse verschuivingen in neurale signalen. Factoren zoals micromotie, hardwarestoringen, fluctuerende vuuringsfrequenties en gliale inkapseling veranderen de relatie tussen neurale activiteit en motorische output. Hoewel standaard herkalibratie supervisie vereist met gedragslabels—een proces dat onpraktisch is voor dagelijks gebruik—biedt Test-Time Adaptation (TTA) een oplossing door decoders bij te werken met behulp van alleen ongelabelde neurale data.

Echter, bestaande ongecontroleerde TTA-methoden, zoals NoMAD, vertrouwen op complexe diepe recurrente of adversariële architecturen (bijv. Variational Autoencoders met Gated Recurrent Units). Deze modellen zijn computationeel duur en ongeschikt voor de strikte energie- en latentiebeperkingen van implanteerbare iBCI-hardware. Daartegenover staan Spiking Neural Networks (SNN's), die van nature energiezuinig zijn en spaarse berekeningen bieden die ideaal zijn voor implanteerbare apparaten, maar bestaande SNN-adaptatiemethoden hebben zich gericht op statische beeldclassificatie-benchmarks en hebben gefaald in het adresseren van de niet-stationaire aard van neurale opnames.

Methodologie

De auteurs stellen Membrane Potential Alignment (MPA) voor, een TTA-methode die specifiek is ontworpen voor SNN's in intracorticale decodering. De aanpak stemt een vooraf getrainde SNN-decoder af op verschoven neurale opnames door de interne membraanpotentiaalverdelingen van het netwerk over sessies heen te matchen.

1. Architectuur en Pretraining

• Model: Een drie-laagse volledig verbonden SNN met Leaky Integrate-and-Fire (LIF) neuronen.
• Pretraining: Het model wordt supervisie-gestuurd getraind op een "Dag 0" bron-sessie om neurale spike-treinen te mappen naar continue handbewegingen (velocities).
• Soft Reset: In tegen tegenover de standaard LIF-implementaties die een harde reset gebruiken (het membraanpotentiaal naar nul dwingen na een spike), gebruikt MPA een soft reset. Dit behoudt het resterende membraanpotentiaal, wat meer continue verdelingen creëert die informatieve gradiënten bieden voor distributie-afstemming.

2. Membrane Potential Alignment (MPA)

De kern van de adaptatie vindt plaats tijdens de inferentie op een doel-sessie (Dag $k$) waar gedragslabels niet beschikbaar zijn.

• Distributie Modellering: De membraanpotentialen van een verborgen laag worden gemodelleerd als een multivariate Gaussische verdeling, $p(u) = \mathcal{N}(\mu, \Sigma)$, geschat vanuit een batch input-samples.
• Doelstelling: De adaptatie minimaliseert de Kullback–Leibler (KL) divergentie tussen de membraanpotentiaalverdeling van het bevroren vooraf getrainde model op Dag 0 ($p_0$) en het aangepaste model op Dag $k$ ($p_k$):
  $$L_{MPA} = D_{KL}(p_0^{(l)} \parallel p_k^{(l)})$$
• Parameter Efficiëntie (LoRA): Om overfitting en catastrofale vergetelheid te voorkomen, beperkt de methode de updates tot Low-Rank Adaptation (LoRA) gewichten in enkel de eerste verborgen laag.
  • De gewichtsupdate wordt geparametriseerd als $W' = W + AB$, waarbij $A$ en $B$ low-rank matrices zijn.
  • De originele gewichten $W$ blijven bevroren.
  • Deze aanpak werkt minder dan 9% van de totale modelparameters bij, wat ervoor zorgt dat de adaptatie lichtgewicht blijft en beperkt is tot een laag-dimensionale subspace.

3. Bron-Doel Compatibiliteitsmetrieken

Om het risico op TTA-falen aan te pakken wanneer de domeinverschuiving te groot is (bijv. significante reorganisatie van neurale populaties), stellen de auteurs twee pre-adaptatie metrieken voor:

• Representational Similarity: Meet de instandhouding van paarwijze kanaalcorrelaties (Pearson correlatie van correlatiematrices) tussen sessies.
• Grassmann Distance: Meet de rotatie van de laag-dimensionale neurale subspace (via PCA) tussen sessies.
  Deze metrieken helpen bij het identificeren van doel-sessies waar ongecontroleerde afstemming onwaarschijnlijk succesvol zal zijn.

Belangrijkste Bijdragen

1. MPA Algoritme: Een nieuwe TTA-methode voor SNN's die membraanpotentiaalverdelingen afstemt via KL-divergentie, waarmee de kloof wordt overbrugd tussen de energie-efficiëntie van SNN's en de adaptatiebehoeften van langdurige iBCI's.
2. Parameter Efficiëntie: Door membraanpotentiaal-afstemming te combineren met LoRA op de eerste laag, past de methode het model aan met minimale parameterupdates (<9%), wat het geschikt maakt voor hardware met beperkte middelen.
3. Compatibiliteitsbeoordeling: De introductie van representational similarity en Grassmann distance metrieken om TTA-succes te voorspellen, wat het probleem van "stille fouten" aanpakt waarbij decoders zelfverzekerde maar incorrecte outputs produceren.
4. Hoog-resolutie Decodering: De methode werkt op een 4 ms temporele resolutie, wat aanzienlijk fijner is dan de 20 ms resolutie die wordt gebruikt door concurrerende methoden zoals NoMAD.

Experimentele Resultaten

De methode werd geëvalueerd op een non-human primate reach-dataset (Aap "Indy") die een periode van meer dan één maand beslaat (23 sessies, 96 kanalen).

• Prestaties: MPA behaalde competitieve prestaties ten opzichte van de state-of-the-art NoMAD methode.
  • Op de doel-sessies verbeterde MPA de gemiddelde $R^2$ score van 0.09 (niet-geadapteerde SNN) naar 0.33.
  • MPA presteerde beter dan NoMAD op verschillende sessies (Dagen 1, 6 en 22) en bleef op andere dagen vergelijkbaar.
• Data Efficiëntie: Effectieve adaptatie werd bereikt met slechts 1,28 seconden aan doel-sessie data en 1,88 seconden aan bron-data.
• Foutanalyse: Zowel MPA als NoMAD faalden op Dag 8. De voorgestelde compatibiliteitsmetrieken identificeerden deze sessie correct als een sessie met lage representational similarity en hoge Grassmann distance, wat bevestigt dat de domeinverschuiving te groot was voor ongecontroleerde afstemming om te herstellen.
• Temporele Resolutie: MPA behield een hoge prestatie bij 4 ms resolutie, terwijl NoMAD en LFADS baselines beperkt waren tot 20 ms bins.

Betekenis en Claims

Het artikel claimt dat Membrane Potential Alignment een praktisch pad vormt naar langdurige, herkalibratievrije hersen-computer interfaces. Door gebruik te maken van de energie-efficiëntie van SNN's en de parameter-efficiëntie van LoRA, maakt MPA on-device adaptatie mogelijk zonder de computationele overhead van complexe recurrente of adversariële netwerken.

De auteurs benadrukken dat hoewel TTA geen panacee is voor alle domeinverschuivingen (zoals bewezen door de Dag 8 mislukking), de voorgestelde compatibiliteitsmetrieken een noodzakelijke beveiliging bieden. De resultaten suggereren dat efficiënte SNN-gebaseerde TTA de decoding prestaties over weken van drift kan herstellen met behulp van slechts enkele seconden ongelabelde data, een cruciale stap naar volledig implanteerbare, zelf-kalibrerende neuroprotheses.