Spiking neurons as predictive controllers of linear systems

Resumo Técnico: Neurônios de Pico como Controladores Preditivos de Sistemas Lineares

1. O Problema

O sistema nervoso biológico utiliza pulsos elétricos esparsos e breves (picos ou spikes) para comunicar e controlar diversos alvos, como unidades neuromusculares e outros neurônios. A visão de que os neurônios atuam como controladores, onde o pico é o sinal de controle, é bem estabelecida. No entanto, a implementação prática dessa ideia em redes de neurônios de pico (SNNs) enfrenta desafios significativos:

• Natureza Discreta vs. Contínua: A teoria de controle clássica (ex: Regulador Linear Quadrático - LQR) opera com sinais de controle contínuos. SNNs, por outro lado, operam com eventos discretos.
• Abordagens Atuais Limitadas: Métodos existentes geralmente filtram os sinais de pico para aproximar um controle analógico contínuo. Isso exige entrada de energia contínua nos sistemas a jusante e obscurece o impacto individual de cada pico.
• Controle Impulsivo: O uso direto de picos como sinais de controle (controle impulsivo) é desafiador devido à baixa tratabilidade analítica e dificuldades de escalabilidade em redes maiores.
• Falta de Derivação de Arquitetura: Muitas abordagens impõem arquiteturas de rede sem derivá-las diretamente de objetivos de controle, dificultando a integração entre neurociência teórica e teoria de controle.

O objetivo deste trabalho é desenvolver um método escalável para controle de pico específico para tarefas, onde os picos são usados diretamente como sinais de controle, sem a necessidade de representações baseadas em taxas (frequência de disparo).

2. Metodologia

Os autores propõem um novo paradigma derivado de princípios da teoria de controle e da teoria de redes de codificação de picos (SCN - Spike Coding Networks).

• Formulação do Problema:

  • O sistema a ser controlado é um sistema dinâmico linear de dimensão $K$: $\dot{x} = Ax + Bs$, onde $s$ é o vetor de picos (entradas de controle impulsivas, modeladas como funções delta de Dirac).
  • Define-se uma função de perda ($L$) baseada na distância quadrática entre o estado futuro do sistema ($x(t+f)$) e um estado alvo ($z(t+f)$), mais custos de regularização para o número de picos e atividade neuronal.
  • Diferencia-se entre controle reativo ($f=0$, minimização imediata da perda) e controle preditivo ($f>0$, minimização da perda em um horizonte futuro).

• Regra de Disparo Local (Greedy):

  • Inspirado em SCNs, a regra fundamental é: um neurônio $i$ dispara um pico se e somente se o disparo reduzir a função de perda em comparação com a ausência de disparo ($L^s_i < L^{ns}$).
  • Essa comparação é feita localmente por cada neurônio, sem necessidade de informação global da rede.

• Derivação da Rede:

  • A partir da desigualdade de perda, derivam-se analiticamente as equações para o potencial de membrana ($V_i$) e o limiar de disparo ($T_i$) de cada neurônio.
  • O potencial de membrana depende do estado atual do sistema, do estado alvo e da dinâmica futura prevista.
  • O limiar inclui termos de custo de disparo e adaptação baseada na atividade passada.
  • O resultado é uma rede recorrente de neurônios Integrate-and-Fire (LIF) com conectividade de baixo posto (low-rank), onde as conexões são derivadas diretamente das matrizes do sistema ($A$, $B$) e do horizonte de previsão ($f$).

• Mecanismo de Controle:

  • Entre os picos, o sistema evolui em malha aberta seguindo sua dinâmica intrínseca.
  • Quando um pico ocorre, ele aplica um "chute" (kick) instantâneo na dinâmica do sistema, fechando o loop de controle momentaneamente.
  • Para sistemas fisicamente restritos (ex: massa-mola-amortecedor), o controle puramente reativo falha porque alterar a velocidade não reduz instantaneamente o erro de posição. A solução é o controle preditivo, que antecipa a evolução do sistema no horizonte $f$.

3. Principais Contribuições

1. Controle Direto por Picos: Estabelecimento de um framework onde os picos são os próprios sinais de controle, eliminando a necessidade de filtragem para gerar sinais contínuos.
2. Derivação Analítica de Arquitetura: Demonstração de que uma rede recorrente de neurônios LIF com conectividade de baixo posto pode ser derivada matematicamente a partir de um objetivo de controle, sem suposições arbitrárias sobre a topologia da rede.
3. Necessidade de Preditividade: Evidência teórica e empírica de que, para sistemas com restrições físicas (onde a posição não pode mudar instantaneamente), o controle reativo é insuficiente e o controle preditivo é obrigatório para sucesso.
4. Escalabilidade e Robustez: O método escala para sistemas de alta dimensão (ex: osciladores acoplados) e é robusto à perda de neurônios (silenciamento), graças à redundância inerente à regra de disparo local.

4. Resultados

Os autores testaram o framework em diversos cenários:

• Sistemas Lineares Genéricos: O controle preditivo permitiu que a rede explorasse a dinâmica intrínseca do sistema (ex: usar a velocidade para alterar a posição futura) para atingir o alvo, enquanto o controle reativo falhava em sistemas fisicamente restritos.
• Sistema Massa-Mola-Amortecedor (SMD):
  • Em simulações, o controle reativo falhou em controlar o SMD porque os picos alteravam apenas a velocidade, não reduzindo instantaneamente a distância à posição alvo.
  • O controle preditivo (com $f > 0$) foi bem-sucedido, ajustando a velocidade com antecedência para que a posição chegasse ao alvo no momento certo.
• Comparação com LQR e Filtros:
  • O controle por picos preditivo não segue a trajetória ótima do LQR (que é suave e contínua). Em vez disso, ele orbita o alvo com alta precisão usando poucos picos.
  • Comparado ao controle por picos filtrados (que aproxima o LQR), a abordagem proposta é muito mais esparsa (menos picos) e energeticamente mais eficiente em termos de eventos de disparo, embora o erro de rastreamento possa oscilar ligeiramente em torno do alvo.
• Osciladores Acoplados e Controle Motor:
  • A rede foi escalada para controlar 10 massas acopladas com 500 neurônios, mantendo o desempenho mesmo com 360 neurônios silenciados aleatoriamente.
  • Foi aplicado a uma tarefa de alcance de braço (modelo de fibra muscular), onde a rede controlou unidades osciladoras para mover um ponto em 2D, demonstrando a viabilidade em tarefas de controle motor bio-inspirado.

5. Significado e Implicações

• Neurociência: O trabalho oferece uma nova perspectiva sobre como neurônios biológicos podem exercer controle sobre sistemas downstream (como músculos). Sugere que o código de picos não apenas representa o estado, mas atua diretamente como um mecanismo de controle impulsivo e preditivo, alinhando-se com a eficiência energética e a robustez dos sistemas biológicos.
• Engenharia e Hardware Neuromórfico: A abordagem é altamente relevante para o design de hardware neuromórfico. Como o controle é baseado em eventos esparsos e não em sinais contínuos, ele se beneficia naturalmente da baixa potência e da operação assíncrona de chips neuromórficos.
• Teoria de Controle: Introduz uma ponte formal entre a teoria de controle ótimo e a neurociência computacional, mostrando que regras de disparo locais e "gananciosas" (greedy) podem gerar comportamentos de controle complexos e estáveis sem a necessidade de otimização global centralizada.

Em suma, o artigo avança a compreensão de SNNs como controladores biologicamente plausíveis, fornecendo uma derivação matemática rigorosa de como a atividade neuronal esparsa e preditiva pode estabilizar e guiar sistemas dinâmicos lineares.