Dynamic neural manifolds for flexible closed-loop control on neuromorphic hardware

Resumo Técnico: Manifolds Neurais Dinâmicos para Controle de Malha Fechada Flexível em Hardware Neuromórfico

Definição do Problema
Circuitos neurais biológicos exibem comportamento flexível ao evoluir atividades sequenciais ao longo de manifolds dinâmicos de baixa dimensionalidade. Modelos de redes de disparos (spiking networks) vincularam essas atividades sequenciais a mecanismos de circuito específicos (tornando-os parametrizáveis), mas traduzir esse framework em controle de malha fechada em tempo real e energeticamente eficiente em hardware neuromórfico permanece um desafio. As abordagens existentes frequentemente carecem da capacidade de reconfigurar dinamicamente a geometria neural em resposta ao feedback sensorial, o que é essencial para a inteligência artificial explicável e sistemas autônomos adaptativos. Os autores visam preencher essa lacuna implementando um framework de manifold neural dinâmico no chip neuromórfico SpiNNaker 2 para permitir o controle de malha fechada em tempo real de um agente robótico.

Metodologia
Os autores implementaram uma arquitetura de circuito baseada em uma rede em anel com conectividade recorrente assimétrica, projetada para gerar "bumps" (protuberâncias) estáveis de atividade neural que progridem ao longo do anel, criando sequências oscilatórias.

1. Implementação de Hardware (SpiNNaker 2):

   • Conversão de Disparos (Spiking Conversion): O modelo original baseado em taxa foi adaptado para a comunicação baseada em spikes do SpiNNaker 2. Os neurônios convertem taxas internas em spikes probabilisticamente (taxa como probabilidade de spike). Para otimizar o desempenho, uma regra determinística aproxima a frequência de disparo sem a geração dispendiosa de números aleatórios.
   • Otimização de Esparsidade e Memória: Para lidar com o limitado SRAM on-chip, os autores introduziram esparsidade na matriz de conectividade (50% de probabilidade de conexão). Eles aproveitaram a estrutura circulante da matriz de pesos, armazenando apenas uma única linha de pesos e uma máscara de bits para a conectividade, em vez da matriz completa.
   • Streaming de Malha Fechada: Devido às restrições de memória que impedem o registro interno de longo prazo, o sistema transmite spikes para um computador host via interface HostIF. O host processa o feedback sensorial e transmite parâmetros de controle de volta para o chip em tempo real, criando um loop fechado com baixa latência (aprox. 3 passos de tempo).

2. Mecanismos de Controle ("Botões de Controle"):
   A arquitetura utiliza três mecanismos de circuito específicos para manipular o manifold neural:

   • Corrente Aditiva ($I$): Modula o tamanho (largura) do bump de atividade, controlando o raio da trajetória neural.
   • Ganho Multiplicativo ($S$): Modula a velocidade de propagação do bump, controlando a velocidade da trajetória neural.
   • Inibição Heterogênea ($p_{inh}$): Silencia seletivamente subconjuntos aleatórios de neurônios via conjuntos inibitórios. Isso rotaciona o subspace neural, permitendo que o sistema alterne entre estados comportamentais distintos (ex: diferentes tipos de movimento).

3. Aplicação (Navegação em Labirinto Virtual):
   Um agente robótico de duas rodas navega em um labirinto virtual. Um programa de política externa gera um plano de alto nível (ex: "mover para oeste") e adaptações locais baseadas em entradas sensoriais (distância das paredes, tipo de solo). Essas entradas são mapeadas para os parâmetros de controle da rede em anel ($S, I, p$). Uma camada de leitura linear, treinada via exploração aleatória do espaço de parâmetros de controle, decodifica a atividade de spikes da rede em anel em comandos motores (velocidades das rodas e gatilhos de salto).

Principais Resultados

• Fidelidade de Parâmetros: A implementação no SpiNNaker 2 reproduziu com sucesso a dinâmica do modelo original baseado em taxa executado em CPU.
  • Controle de Forma: A corrente aditiva $I$ controlou linearmente o tamanho do bump e o raio da trajetória.
  • Controle de Velocidade: O ganho multiplicativo $S$ controlou de forma confiável a velocidade de rotação do bump de atividade.
  • Rotação de Subspace: A inibição seletiva rotacionou com sucesso o subspace neural. O ângulo principal entre os subspaces correspondeu ao comportamento de escala analítico ($\arccos(1 - p_{inh})$), confirmando que estados comportamentais distintos são geometricamente separáveis.
• Eficiência: A implementação operou bem dentro do limiar de passo de tempo de 1 ms em tempo real. O tempo de execução escalou linearmente com o número de spikes processados. Bumps maiores (controlados por $I$) aumentaram o tempo de execução, enquanto maior inibição (silenciando mais neurônios) o reduziu.
• Desempenho de Malha Fechada: O agente robótico navegou com sucesso em um labirinto, alternando dinamicamente entre comportamentos (movimento para frente, curva, salto) e ajustando velocidade/trajetória com base no feedback sensorial em tempo real. O sistema demonstrou que entradas sensoriais poderiam modular inibição, ganho e correntes para reconfigurar a geometria do manifold sobre a marcha.

Significância e Alegações
O artigo afirma estabelecer manifolds neurais dinâmicos como uma abordagem viável para arquiteturas neuromórficas explicáveis. Ao mapear mecanismos de circuito de baixo nível (ganho, inibição, correntes) para características geométricas de alto nível (velocidade de trajetória, forma, orientação de subspace), os autores fornecem um framework onde o estado interno do sistema é matematicamente interpretável.

O trabalho serve como uma prova de conceito de que:

1. Manifolds neurais dinâmicos complexos podem ser implementados eficientemente em hardware neuromórfico (SpiNNaker 2).
2. Tais sistemas podem suportar controle de malha fechada flexível, onde o feedback sensorial molda diretamente a dinâmica neural para impulsionar o comportamento.
3. Este framework oferece um substrato para investigar a dinâmica neural biológica e projetar sistemas autônomos com comportamentos previsíveis e explicáveis, potencialmente estendendo-se para tarefas de controle motor mais complexas no futuro.

Os autores observam que, embora o trabalho atual assuma um modelo de mundo pré-aprendido para o planejamento, o framework é projetado para fazer interface com arquiteturas de aprendizado de alto nível, e trabalhos futuros poderão explorar o aprendizado de modelos de mundo diretamente sobre esta camada de controle motor.