Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

Resumo Técnico: Redes Neurais de Espigamento para Controle Contínuo via Aprendizado Baseado em Modelo de Ponta a Ponta

Definição do Problema
Apesar dos avanços recentes no treinamento de Redes Neurais de Espigamento (SNNs) para classificação, sua aplicação ao controle motor contínuo permanece limitada. Embora os cérebros biológicos utilizem a comunicação baseada em espigamentos (spikes) para um comportamento motor robusto, adaptativo e de baixa latência, traduzir isso para sistemas práticos de aprendizado de máquina para robótica é desafiador. O principal gargalo é a dificuldade de treinar SNNs de ponta a ponta para tarefas contínuas. Diferente das Redes Neurais Artificiais (ANNs) padrão e das Redes Neurais Recorrentes (RNNs) com portas (gated), que se beneficiam de gradientes suaves, as SNNs exibem descontinuidades devido às não linearidades dos espigamentos. Isso tradicionalmente direciona a pesquisa para regras de plasticidade local, adaptação online ou paradigmas de treinamento indiretos, em vez de uma otimização de ponta a ponta fundamentada. Além disso, as abordagens de controle de SNN existentes frequentemente dependem de modelos analíticos, regras de aprendizado local ou conversão de ANN para SNN, o que muitas vezes carece de escalabilidade para o controle contínuo de altos graus de liberdade (DoF) ou robustez a dinâmicas não modeladas.

Metodologia
Os autores propõem uma arquitetura de SNN de Controle Preditivo (Pred-Control), um framework de controle baseado em modelo, totalmente baseado em espigamentos, treinado de ponta a end-to-end usando gradientes substitutos (surrogate gradients). O sistema consiste em duas redes de espigamento treináveis:

1. Rede de Predição (Modelo Forward): Uma rede recorrente de espigamento que prevê mudanças futuras no estado ($\Delta \hat{s}_t$) dado o estado atual ($s_t$) e a entrada de controle ($u_t$). Ela utiliza neurônios de Integração e Disparo com Vazamento (LIF) com constantes de tempo treináveis e limiares adaptativos opcionais.
   2.Rede de Política (Modelo Inverse): Uma rede de espigamento feedforward que infere a ação de controle ideal ($u_t$) com base no estado atual ($s_t$) e em um estado alvo ($s^*_t$).

Estratégias e Componentes Chave de Treinamento:

• Gradientes Substitutos (Surrogate Gradients): A função de espigamento não diferenciável é aproximada durante a passagem de retropropagação usando funções substitutas suaves (especificamente o Gaussian Spike) para permitir a otimização baseada em gradiente.
• Arquitetura: Ambas as redes empregam neurônios LIF. A rede de predição inclui conexões recorrentes para inferir variáveis de estado ocultas (como velocidade) a partir de observações parciais, enquanto a rede de política é feedforward.
• Constantes de Tempo Treináveis: As constantes de tempo de membrana ($\tau_{mem}$) e sinápticas ($\tau_{syn}$) são tratadas como parâmetros treináveis (inicializados via inicialização impulsionada por flutuação) para permitir que a rede adapte sua dinâmica temporal intrínseca às demandas da tarefa.
• Limiares Adaptativos (ALIF): O modelo incorpora neurônios ALIF (LIF Adaptativo) com limiares de linha de base decrescentes e adaptação disparada pelo espigamento. Este mecanismo reengaja neurônios silenciosos e evita a sobreativação persistente, melhorando a atribuição de crédito em horizontes longos.
• Compressão de Espaço Latente: Para melhorar a eficiência de parâmetros, a arquitetura emprega compressão de espaço latente entre as camadas de espigamento, permitindo camadas mais largas dentro de um orçamento fixo de parâmetros.
• Pipeline de Treinamento: As redes são treinadas iterativamente usando um buffer de replay, enquanto o modelo de predição é atualizado via teacher forcing, e a política é otimizada através do rollout do modelo de predição congelado para gerar estimativas de estado diferenciáveis para a perda da política.

Configuração Experimental
O framework foi avaliado em dois ambientes de controle contínuo simulados:

1. Braço Planar 2D: Um braço de duas juntas com observabilidade parcial (sem dados de velocidade), usado para triagem de hiperparâmetros.
2. Braço Robótico 3D (6-DoF): Um robô Franka Emika Panda simulado com controle de torque, representando uma tarefa de controle contínuo de alta dimensão.

Resultos Principais

• Desempenho vs. Parâmetros: Na tarefa de alcance de 6-DoF, a SNN Pred-Control completa alcançou desempenho de tarefa (distância cumulativa, taxa de sucesso, tempo no alvo) comparável a uma linha de base recorrente não baseada em espigamentos de grande escala (aprox. 12,7 milhões de parâmetros), apesar de usar um número de parâmetros uma ordem de magnitude menor (aprox. 0,9 milhão).
• Estudos de Ablação:
  • Constantes de Tempo Treináveis: Melhoraram significativamente a convergência e o desempenho final, particularmente ao compensar uma inicialização suboptimal.
  • Limiares Adaptativos (ALIF): Aumentaram o desempenho ao estabilizar as taxas de disparo e permitir que neurônios silenciosos se reengajassem, facilitando uma melhor atribuição de crédito em horizontes longos.
  • Compressão Latente: Permitiu camadas de espigamento mais largas para orçamentos fixos de parâmetros, gerando trocas favoráveis de desempenho-eficiência.
• Predição vs. Controle: As linhas de base não baseadas em espigamento alcançaram um Erro Quadrático Médio (MSE) de predição de longo horizonte menor, porém isso não se traduziu em um desempenho de controle superior. A SNN alcançou eficácia de controle comparável, apesar de predições autorregressivas menos precisas, sugerindo que o controle eficaz requer um modelo suficientemente expressivo para capturar as dinâmicas da tarefa, em vez de uma fidelidade de predição perfeita.
• Estabilidade: A SNN proposta exibiu uma dinâmica de otimização mais suave e estável em comparação com controladores de espigamento básicos, embora tenha aprendido de forma mais gradual que as linhas de base não baseadas em espigamento.

Significância e Alegações
O artigo afirma demonstrar que arquiteturas totalmente baseadas em espigamento podem ser treinadas de ponta a ponta para controlar braços robóticos com múltiplos graus de liberdade em ambientes contínuos, preenchendo a lacuna entre ferramentas de treinamento de aprendizado profundo e computação inspirada biologicamente.

As principais contribuições incluem:

1. Escalabilidade: Estabelecer as SNNs como um substrato viável e escalável para controle contínuo de alta dimensão sem a necessidade de pré-treinamento de ANN, conversão ou restrições específicas de hardware.
2. Design Fundamentado: Destacar que escolhas específicas de arquitetura e treinamento — nomeadamente constantes de tempo treináveis, limiares adaptativos e compressão de espaço latente — são críticas para um treinamento estável e controle eficaz em domínios de espigamento.
3. Controle Baseado em Modelo: Demonstrar que a integração de modelos preditivos aprendidos no loop de controle permite que as SNNs escalem para tarefas de alta dimensão e longo horizonte.
4. Eficiência: Mostrar que um controle de alto desempenho pode ser alcançado com substancialmente menos parâmetros do que redes recorrentes equivalentes não baseadas em espigamento.

Os autores posicionam este trabalho como um passo em direção à construção de sistemas de controle escaláveis, adaptáveis e energeticamente eficientes que unificam o treinamento de aprendizado profundo com a computação preditiva, movendo as SNNs além dos benchmarks de classificação em direção à computação incorporada (embodied) e adaptativa. Eles reconhecem limitações quanto ao custo computacional da retropropagação através do tempo (BPTT) e a atual dependência de codificação por taxa (rate coding), sugerindo que trabalhos futuros devem explorar métodos de aprendizado online (ex: e-prop) e esquemas alternativos de codificação de espigamento.