Resumo Técnico: Treinando Neurônios de Silício Lentos para Controlar Robôs Extremamente Rápidos com Aprendizado por Reforço Espetante

Declaração do Problema

A robótica autônoma enfrenta um gargalo crítico de eficiência energética. Embora redes neurais de larga escala tenham alcançado um sucesso sem precedentes, seus custos de treinamento e inferência (megawatts-hora e drenagem rápida de bateria) são incompatíveis com plataformas móveis que operam em orçamentos de miliwatts. Por outro lado, o cérebro humano alcança aprendizado motor complexo com aproximadamente 20 W de potência e poucos exemplos de treinamento. Embora o hardware neuromórfico ofereça um caminho para a eficiência energética através do processamento assíncrono e orientado a eventos, as demonstrações existentes de aprendizado por reforço (RL) de Redes Neurais Espetantes (SNN) têm sido amplamente confinadas a benchmarks simplificados (ex: jogos 2D com ações discretas e observações de baixa dimensionalidade).

O desafio central abordado neste trabalho é escalar o RL neuromórfico para a manipulação robótica do mundo real, caracterizada por:

1. Alta dimensionalidade: Um espaço de estado contínuo de 6D (posição/velocidade do disco e coordenadas do efetuador).
2. Restrições físicas: Controle preciso do efetuador com latências mecânicas.
3. Dinâmicas temporais: Trajetórias do disco a 1,0–1,5 m/s exigindo planejamento preditivo com controle de 50 Hz e integração de física de 1 ms.

Os autores investigam se uma rede compacta de neurônios de silício "lentos", rodando em um processador neuromórfico de sinal misto, pode controlar um robô "extremamente rápido" em uma tarefa de air hockey de alta velocidade.

Metodologia

Configuração Experimental

O sistema opera em uma configuração de Hardware-in-the-Loop (HIL) usando a simulação MuJoCo de um ambiente de air hockey.

• Robótica: Um manipulador antropomórfico controla um efetuador em forma de malhete em uma mesa de 1,038 × 1,948 m.
• Loop de Controle: Opera a 50 Hz. O agente seleciona uma de duas ações discretas correspondentes a primitivas de movimento pré-definidas (Alvo Home ou Alvo Forward). Estas primitivas são executadas como trajetórias balísticas de malha aberta via um solver de cinemática inversa incorporado.
• Física: Integrada a 1000 Hz para modelar a dinâmica de disco sem atrito e colisões elásticas.

Arquitetura da Rede

O sistema utiliza o chip neuromórfico de sinal misto analógico-digital DYNAP-SE. A arquitetura é uma configuração de computação de reservatório com um readout plástico:

• Camada de Entrada: 60 geradores de spikes baseados em FPGA. Seis variáveis de estado (x, y, vx, vy do disco e x, y do efetuador) são codificadas como códigos de população usando perfis de atividade gaussiana em 10 neurônios cada.
• Camada Oculta (Reservatório): 1020 neurônios AdEx-LIF de silício com sinapses feedforward aleatórias fixas. Esta camada captura a estrutura temporal da tarefa sem exigir atualizações de peso.
• Camada de Readout: 2 unidades lineares representando a probabilidade de selecionar a Ação 0 ou a Ação 1. Os pesos que conectam a camada oculta ao readout são plásticos.
• Regra de Aprendizado: O sistema emprega e-prop (propagação de elegibilidade), uma regra de aprendizado local que aproxima o backpropagation através do tempo. As atualizações de peso dependem apenas da atividade pré e pós-sináptica local combinada com um sinal de recompensa global, permitindo o aprendizado totalmente online. A regra de atualização é:
  $$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$$
  Onde $\bar{s}$ é a atividade filtrada, $r_t$ é a recompensa e $\pi$ é a probabilidade da ação.

Função de Recompensa

Uma recompensa escalar $r_t$ é computada em cada etapa para incentivar o movimento frontal do disco e a interceptação precisa no tempo:

• +20: Recompensa terminal se o disco passar pelo alvo ($x_p > 1,5$ m) com momento frontal ($v_x > 0,1$ m/s).
• $0,2 v_x$: Recompensa de modelagem proporcional à velocidade frontal se o efetuador estiver a menos de 0,08 m do disco.
• -0,1: Penalidade por etapa para minimizar a duração do episódio.

Protocolo de Treinamento

O treinamento ocorre durante 2000 episódios por execução experimental, repetidos para 10 sementes aleatórias independentes para considerar a estocasticidade do chip. O sistema aprende apenas "acordado" (sem fase de "sonho" offline nesta implementação específica), baseando-se na interação em tempo real.

Principais Contribuições

O artigo reivindica três contribuições primárias ao escalar o RL neuromórfico de jogos para robótica física:

1. Além dos Jogos de Teste: Transição de jogos simples baseados em grade para air hockey do mundo real com codificação de estado contínuo de precisão adaptativa.
2. Controle Discreto para Contínuo: Demonstração de RL neuromórfico para primitivas de movimento contínuo executando trajetórias balísticas a 50 Hz, exigindo decisões preditivas em vez de decisões ao nível de frame.
3. Generalização sob Incerteza: Alcançando aprendizado robusto (96–98% de sucesso) apesar da randomização das posições e velocidades do disco (1,0–1,5 m/s), provando que o sistema pode se adaptar a variadas condições iniciais.

Resultados

• Eficiência de Aprendizado: O sistema alcançou gameplay robusto dentro de 1500–2000 episódios.
• Desempenho:
  • Disco Estacionário: 100% de sucesso em 200 tentativas.
  • Velocidade Constante: 100% de sucesso após 1000 episódios.
  • Velocidade Variável (1,0–1,5 m/s): O sucesso estabilizou acima de 96% após 1500 episódios.
  • Posição e Velocidade Aleatórias: O sucesso estabilizou acima de 98% após 1300 episódios.
• Testes de Escalabilidade:
  • Intervalos de velocidade estreitos ([0,7, 0,9] m/s) atingiram >97% de sucesso em ~150 episódios.
  • Intervalos mais amplos ([0,7, 1,5] m/s) exigiram ~700 episódios e mostraram uma queda modesta no sucesso assintótico (97% para 93%), indicando degradação graciosa em vez de falha catastrófica.
• Consolidação Comportamental: O comportamento de pré-treinamento era errático e estocástico. Pós-treinamento, o agente exibiu uma estratégia determinística e temporalmente precisa, caracterizada por um compromisso precoce com uma trajetória de interceptação seguido por manobras corretivas precisas.

Significância e Alegações

Os autores posicionam este trabalho como a primeira resposta afirmativa sobre se sistemas de RL neuromórficos podem escalar para estados de maior dimensionalidade, controle de tempo contínuo e restrições temporais apertadas típicas da robótica do mundo real.

• Preenchendo a Lacuna: O trabalho demonstra que abordagens inspiradas no cérebro podem lidar com tarefas de interação de ritmo acelerado (velocidades de disco de 1,5 m/s) enquanto suportam aprendizado "sempre ativo" em máquinas inteligentes.
• Eficiência: O sistema alcançou desempenho estável utilizando apenas 1020 neurônios, uma redução de 10x comparado a simulações anteriores de RL bio-inspirado para air hockey que exigiam ~10.000 neurônios.
• Praticidade: Ao co-projetar hardware e algoritmos de aprendizado (usando e-prop no DYNAP-SE), o sistema permite o aprendizado em tempo real com um computador e um chip neuromórfico em loop, validando a viabilidade de treinar redes neurais espetantes para sistemas robóticos autônomos sem depender de regras de aprendizado não-locais e computacionalmente caras.

O artigo conclui que o aprendizado sensoriomotor complexo é alcançável com um processador de sinal misto compacto, destacando o potencial para controle adaptativo e eficiente em energia em robótica autônoma.