Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing

No mundo da inteligência artificial, há um esforço constante para criar máquinas que possam aprender e se adaptar ao seu entorno, de forma muito semelhante a uma criança aprendendo a andar ou a um pássaro aprendendo a voar. Este campo, conhecido como aprendizagem por reforço, ensina programas de computador a tomar decisões recompensando-os por boas escolhas e penalizando-os por escolhas ruins. Durante anos, esses sistemas tornaram-se incrivelmente habilidosos em resolver problemas complexos, desde jogar videogames até controlar robôs. No entanto, o hardware que executa esses programas inteligentes é frequentemente volumoso e consome uma quantidade tremenda de eletricidade, tal como um computador de mesa potente a executar um jogo de vídeo pesado. Os cientistas estão agora a olhar para um tipo diferente de arquitetura de computador inspirado no cérebro humano, chamado hardware neuromórfico. Estes chips especializados são concebidos para serem muito mais eficientes energeticamente e mais rápidos no processamento de informações, mas funcionam de uma forma fundamentalmente diferente dos computadores que usamos todos os dias. O desafio tem sido descobrir como pegar nos algoritmos complexos e de alto desempenho que funcionam bem em computadores padrão e traduzi-los para que possam ser executados nestes chips semelhantes ao cérebro sem perder a sua capacidade de aprender.

Uma equipa de investigadores decidiu resolver este enigma específico testando uma nova abordagem num computador padrão antes mesmo de a tentar no hardware especializado. Eles focaram-se numa tarefa difícil chamada controlo contínuo, onde uma máquina deve fazer ajustes suaves e constantes para se manter equilibrada ou avançar, semelhante a um robô a tentar atravessar uma sala sem cair. Os investigadores criaram um novo sistema que chamaram de SANSAC, que significa Spiking Actor Network Soft Actor Critic. Para compreender o que o torna especial, ajuda saber que as redes de inteligência artificial padrão utilizam neurónios que disparam um sinal constante, enquanto o novo sistema utiliza neurónios de "picos" (spiking). Estes neurónios de picos são mais parecidos com células biológicas; permanecem quietos até receberem input suficiente para enviar um único pulso agudo de eletricidade, ou um "pico", e depois voltam a ficar quietos. Este método é a chave para tornar o software capaz de, eventualmente, ser executado nos chips neuromórficos de baixo consumo energético. A equipa queria ver se substituir o cérebro padrão do seu robô de aprendizagem por esta versão de picos prejudicaria o seu desempenho ou se ele conseguiria aprender tão bem quanto o outro.

Para encontrar a resposta, os investigadores submeteram tanto o sistema tradicional como o seu novo sistema de picos a um teste rigoroso num ambiente simulado conhecido como Bipedal Walker. Nesta simulação, um robô de duas pernas deve aprender a caminhar para a frente sem cair. A equipa treinou ambas as versões do software durante até 1.200 tentativas, ou episódios, para ver quão rapidamente e eficazmente poderiam aprender a caminhar. Eles testaram os sistemas com diferentes tamanhos de memória interna, variando de muito pequena a bastante grande, para garantir que os resultados se mantivessem sob várias condições. Os resultados foram surpreendentemente encorajadores. O novo sistema de picos aprendeu a caminhar tão bem quanto o sistema tradicional. Nos testes mais desafiantes, ambos os sistemas alcançaram uma taxa de sucesso de cerca de 70 a 80 por cento, o que significa que conseguiam completar a tarefa de caminhar na maioria das vezes. Os investigadores não encontraram nenhuma diferença estatística significativa no desempenho dos dois sistemas, provando que a abordagem de picos não sacrifica a inteligência pela eficiência.

No entanto, houve um compromisso claro observado durante os testes. Embora o sistema de picos tenha desempenhado tão bem quanto o outro, demorou significativamente mais tempo a ser treinado no computador padrão. Os investigadores notaram que a versão de picos exigiu aproximadamente o dobro do tempo para completar o mesmo número de episódios de treino em comparação com a versão tradicional. Isto aconteceu porque o computador padrão é construído para processar informação de forma linear, enquanto o sistema de picos depende de tempos e sequências que são difíceis de simular neste tipo de hardware. Os investigadores explicaram que este abrandamento é um artefacto de executar a simulação no tipo errado de máquina; nos chips neuromórficos reais desenhados para este propósito, o sistema provavelmente correria muito mais rápido, porque esses chips processam estes picos em paralelo, tal como um cérebro real faz. A equipa não mediu o consumo de energia no computador padrão porque os dados eram inconsistentes, mas o objetivo era provar que o algoritmo funciona antes de o mover para o hardware onde ele realmente brilharia.

O estudo também analisou o que acontece quando os sistemas são tornados menores, com menos conexões internas. Como esperado, ambos os sistemas tiveram dificuldades quando a rede era demasiado pequena para lidar com a complexidade da tarefa, com as taxas de sucesso a cair para apenas 10 por cento. Mas no intervalo médio de tamanhos, o sistema de picos manteve-se competitivo, mostrando que é robusto o suficiente para lidar com aprendizagens complexas mesmo quando os recursos são limitados. Os investigadores concluíram que o seu trabalho fornece uma base sólida para o futuro da inteligência artificial neuromórfica. Eles demonstraram que é possível conceber algoritmos de aprendizagem que estejam prontos para estes novos chips de baixo consumo, sem ter de aceitar uma queda no desempenho. Embora o caminho a seguir ainda exija testes em hardware neuromórfico físico para confirmar os benefícios energéticos, este artigo confirma que a lógica do software em si é sólida. As descobertas sugerem que o futuro da computação eficiente e semelhante ao cérebro não é apenas um sonho teórico, mas uma realidade prática que pode ser construída hoje, desde que estejamos dispostos a esperar um pouco mais para que o treino termine nos nossos computadores atuais.