⚡ electrical engineering

Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

Este artigo propõe uma Deep Asymmetric Ternary Spiking Q-Network (DATSQN) que utiliza um novo modelo de neurônio de spike ternário para mitigar o viés de estimativa de gradiente, superando assim a degradação de desempenho dos modelos ternários existentes e superando baselines binários em tarefas de deep Q-learning em sete jogos de Atari.

Autores originais: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

Publicado 2026-08-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a jogar videogames. Para tomar decisões, o robô precisa de um cérebro e, no mundo da inteligência artificial, frequentemente construímos esses cérebros usando "redes neurais". Essas redes são inspiradas no cérebro humano, onde unidades minúsculas chamadas neurônios passam sinais uns para os outros. Nos cérebros de computadores tradicionais, esses sinais são como ondas de eletricidade suaves e contínuas. Mas em um tipo especial de cérebro chamado "Rede Neural de Espigamento" (SNN - Spiking Neural Network), os neurônios se comunicam usando pequenos surtos agudos de eletricidade chamados "espigamentos" (spikes), muito parecido com a forma como os neurônios biológicos reais disparam. Este método é incrivelmente eficiente em termos de energia, tornando-o perfeito para robôs móveis ou dispositivos que não podem carregar baterias pesadas.

No entanto, há um problema. A maioria dos cérebros de espigamento eficientes possui apenas dois estados: ou eles disparam um espigamento (1) ou permanecem silenciosos (0). É como um interruptor de luz que só pode estar ligado ou desligado. Isso limita quanta informação o robô pode manter em sua cabeça de uma só vez. Recentemente, cientistas tentaram atualizar esses interruptores para neurônios "ternários", que possuem três estados: dispara positivamente (+1), permanece silencioso (0) ou dispara negativamente (-1). Você poderia pensar que adicionar um interruptor "negativo" tornaria o robô mais inteligente, mas, surpreendentemente, quando tentaram isso em um cenário de videogame, os robôs na verdade ficaram piores em jogar. Este artigo mergulha nesse mistério, perguntando por que ter mais opções tornou o robô mais burro e como eles corrigiram isso para tornar o robô um campeão de jogos novamente.

O Mistério do Robô Mais Burro

Os pesquisadores, uma equipe da Universidade Drexel, partiram para testar esses novos neurônios "ternários" em um sistema de aprendizado profundo projetado para jogar jogos de Atari (os clássicos jogos de arcade como Breakout e Space Invaders). Eles tinham o palpite de que o problema não era o estado extra em si, mas como os neurônios estavam aprendendo.

Pense em treinar um robô como ensinar truques a um cachorro. Você dá um comando ao cachorro, ele tenta, e você dá um petisco (uma recompensa) ou um "não" (uma penalidade). No mundo da IA, esse "petisco" é calculado observando a diferença entre o que o robô esperava e o que realmente aconteceu. Essa diferença é chamada de "gradiente", e ela diz ao robô como ajustar seu cérebro para fazer melhor na próxima vez.

A equipe descobriu que os neurônios ternários padrão eram como um professor que só se importava com a direção do erro, não com o tamanho dele. Se o robô cometesse um erro, o neurônio ternário só conseguia dizer: "Você foi pelo caminho errado!" (+1 ou -1), mas ignorava completamente a pergunta: "O quanto você errou?" (a atividade). Nos estágios iniciais do aprendizado de um videogame, o robô geralmente está adivinhando loucamente, então a "direção" do erro é confusa e aleatória. Como os neurônios ternários padrão eram tão focados na direção, eles se perderam no ruído e pararam de aprender completamente. Era como se o robô estivesse tentando navegar em um labirinto nebuloso enquanto ouvia apenas uma bússola que girava aleatoriamente; ele simplesmente ficava parado.

A Correção Assimétrica

Para resolver isso, os autores propuseram um novo design chamado Deep Asymmetric Ternary Spiking Q-Network (DATSQN). Eles perceberam que a natureza já havia dado a resposta. No cérebro humano, nem todos os neurônios são criados iguais. Cerca de 80% dos nossos neurônios são "excitatórios" (eles impulsionam o cérebro a agir) e apenas cerca de 20% são "inibitórios" (eles dizem ao cérebro para parar). Os antigos modelos ternários tratavam esses dois tipos como imagens espelhadas perfeitas, o que é biologicamente irrealista.

A nova equipe quebrou essa simetria. Eles criaram um neurônio onde os limiares "positivo" (excitatório) e "negativo" (inibitório) eram diferentes. Uma forma de visualizar isso é imaginar uma porta com duas fechaduras diferentes. O modelo antigo tinha duas fechaduras idênticas; se você empurrasse forte em qualquer um dos lados, a porta abria da mesma forma. O novo modelo tem uma fechadura pesada e difícil de abrir no lado do "parar" e uma fechadura fácil de abrir no lado do "ir". Essa assimetria significou que, mesmo quando o robô estava confuso sobre a direção de seu erro, o neurônio ainda podia enviar um sinal claro sobre o quanto ele deveria estar ativo. Ele manteve o "botão de volume" funcionando mesmo quando a "seta de direção" estava girando.

Os Resultados: De Travado a Superestrela

A equipe testou esse novo cérebro em sete jogos diferentes de Atari, colocando-o contra os robôs binários (ligado/desligado) básicos e os robôs ternários padrão. Eles tornaram a tarefa mais difícil forçando os robôs a tomar decisões mais rápido (usando uma janela de tempo de simulação mais curta de 20 passos em vez de 40), o que geralmente torna o aprendimento muito mais difícil.

Os resultados foram impressionantes. Os robôs ternários padrão (DTSQN) tiveram um desempenho terrível, pontuando muito abaixo dos robôs binários básicos. Eles estavam, de fato, presos na névoa do aprendizado. No entanto, os novos robôs assimétricos (DATSQN) não apenas alcançaram o nível, mas dispararam. Em seis dos sete jogos, o novo modelo superou a linha de base binária, alcançando uma melhora de 30% na pontuação média do jogo. Por exemplo, no Beam Rider, o novo robô marcou 4.000 pontos comparado aos 2.069 do robô binário. No Breakout, ele marcou 252 pontos contra 207.

Os pesquisadores também verificaram o "batimento cardíaco" do processo de treinamento. Eles descobriram que os sinais de aprendizado do novo modelo permaneceram fortes e estáveis, evitando o problema do "gradiente evanescente" (vanishing gradient), onde o robô esquece como aprender. Eles também observaram que os neurônios em seu novo modelo evoluíram naturalmente para serem majoritariamente excitatórios, assim como em um cérebro humano real, com os espigamentos positivos superando os negativos em uma proporção de pelo menos 60%.

O Que Isso Significa

Este artigo sugere que simplesmente adicionar mais estados a um neurônio não é suficiente; você precisa projetar como esses estados aprendem. Ao imitar o desequilíbrio natural dos neurônios excitatórios e inibitórios no cérebro humano, a equipe criou uma rede de espigamento que não é apenas mais eficiente em termos de energia, mas também mais inteligente para aprender tarefas complexas. Embora o estudo tenha sido realizado em simulações de videogames, as descobertas sugerem que essa abordagem "assimétrica" pode ser a chave para construir cérebros de IA melhores e mais eficientes para robôs e outros dispositivos no futuro. Os autores observam que, embora seu modelo funcione bem nesses jogos, ainda é uma sugestão de como construir sistemas melhores, e será interessante ver se essa abordagem ajudará em outras áreas, como visão ou processamento de linguagem.

Resumo Técnico: Melhorando o Desempenho de Deep Q-Learning Baseado em Espículas usando Neurônios Ternários

Problema
O Aprendizado por Reforço Profundo (DRL), particularmente as Redes Q-Deep (DQN), enfrenta desafios significativos em relação à eficiência energética e implantação em plataformas móveis. As Redes Neurais de Espículas (SNNs) oferecem uma alternativa energeticamente eficiente ao mimetizar neurônios biológicos que se comunicam via espículas discretas. No entanto, as SNNs atualmente apresentam desempenho inferior em comparação com as Redes Neurais Profundas (DNNs) clássicas em tarefas complexas e de alta dimensão por duas razões principais: a natureza não diferenciável da geração de espículas complica o treinamento, e os neurônios de espícula binários (que produzem {0, 1}) possuem capacidade de representação limitada.

Embora estudos recentes tenham introduzido neurônios de espícula ternários (que produzem {-1, 0, 1}) para aumentar a capacidade de representação e melhorar o desempenho em visão computacional e processamento de linguagem natural, este artigo identifica uma contradição crítica: em tarefas de Deep Q-learning, os modelos ternários simétricos existentes apresentam um desempenho substancialmente inferior aos seus equivalentes binários. Os autores hipotetizam que essa degradação é causada pelo viés de estimativa de gradiente durante o treinamento, especificamente a perda de sinais de aprendizado informativos quando os sinais das espículas não estão determinados.

Metodologia
Os autores desenvolvem um framework matemático para analisar a dinâmica de treinamento de SNNs ternárias, modelando as espículas como variáveis aleatórias para derivar gradientes esperados.

Análise de Neurônios Ternários Simétricos:
O artigo demonstra que, para um neurônio Leaky Integrate-and-Fire (LIF) ternário simétrico (onde os limiares positivos e negativos são iguais), o gradiente esperado durante a retropropagação divide-se em um "canal de sinal" e um "canal de atividade". No contexto do início do Q-learning, onde os valores alvo não são informativos em relação à polaridade, o canal de sinal desaparece. Como o design simétrico força o "canal de atividade" (que determina se o neurônio deve disparar ou permanecer silencioso) a zero, o neurônio recebe um gradiente de variância alta e quase nulo. Isso leva à estagnação do treinamento, explicando a degradação de desempenho observada.
Solução Proposta: Neurônio de Espícula Ternário Assimétrico:
Para resolver isso, os autores propõem um novo modelo de neurônio com limiares assimétricos ( $v_{thp} \neq v_{thn}$ ). Neste modelo:
- O limiar positivo ( $v_{thp}$ ) é fixo.
- O limiar negativo ( $v_{thn}$ ) é um parâmetro treinável.
- Esta assimetria garante que as sensibilidades aos potenciais de membrana positivos e negativos ( $c_p$ e $c_n$ ) sejam desiguais.
- Consequentemente, o "canal de atividade" na equação do gradiente permanece não nulo mesmo quando o canal de sinal desaparece, fornecendo um sinal de aprendizado contínuo.
Análise de Estabilidade:
Usando o conceito de isometria dinâmica de bloco, os autores provam matematicamente que redes construídas com estes neurônios ternários assimétricos evitam problemas de desaparecimento ou explosão de gradiente. Eles mostram que a isometria dinâmica do modelo proposto é pelo menos tão robusta quanto a de redes que utilizam ativações ReLU.
Arquitetura de Rede (DATSQN):
O neurônio proposto é integrado em uma Deep Asymmetric Ternary Spiking Q-Network (DATSQN). Para garantir a compatibilidade com hardware neuromórfico, a codificação de entrada utiliza amostragem de Bernoulli baseada em taxa para converter pixels brutos em trens de espículas, eliminando a primeira camada não-espícula de ponto flutuante encontrada em alguns trabalhos anteriores. A janela de tempo de simulação é reduzida para 20 passos (comparado a 40 nos baselines) para aumentar a dificuldade da tarefa e reduzir a latência.

Principais Contribuições

Identificação do Viés de Gradiente: O artigo fornece a primeira avaliação de neurônios ternários em Deep Q-learning, revelando que o aumento da capacidade de representação não se traduz automaticamente em melhor desempenho de RL devido ao viés de estimativa de gradiente em modelos simétricos.
Novo Modelo de Neurônio: A introdução do neurônio de espícula ternário assimétrico, que mantém alta capacidade de representação enquanto garante um gradiente esperado não nulo através de limiares assimétricos treináveis.
Garantias Teóricas: Provas matemáticas demonstrando que o modelo proposto evita o desaparecimento/explosão de gradiente e alcança isometria dinâmica comparável às redes ReLU.
Plausibilidade Biológica: O design alinha-se com a evidência biológica de que o cérebro exibe uma dominância de neurônios excitatórios (aprox. 70-80%) sobre os inibitórios, uma propriedade capturada naturalmente pelos limiares assimétricos.

Resultados Experimentais
Os autores avaliaram a DATSQN contra os baselines binário (DSQN) e ternário simétrico (DTSQN) em sete jogos Atari do ambiente Gym.

Desempenho: A DATSQN alcançou uma melhoria de 30% na pontuação média do jogo sobre o baseline binário DSQN nos sete jogos.
Comparação: Enquanto o modelo ternário simétrico (DTSQN) mostrou uma queda clara de desempenho em todos os jogos em comparação com o baseline binário, o modelo assimétrico (DATSQ️) superou o baseline binário em seis dos sete jogos.
Dinâmica de Treinamento: Experimentos confirmaram que a DTSQN sofreu com normas de gradiente médias baixas (indicando o "estancamento" previsto pela teoria), enquanto a DATSQN manteve normas de gradiente estáveis e alcançou recompensas cumulativas mais altas nos estágios tardios do treinamento.
Estudos de Ablação: Experimentos mostraram que tornar o limiar simplesmente treinável em um modelo simétrico era insuficiente; a assimetria específica (fixar um limiar enquanto treina o outro) era crucial para o desempenho. Além disso, tornar ambos os limiares treináveis não trouxe ganhos significativos sobre o design de limiar único treinável, justificando o design canônico mais simples.

Significância
O artigo afirma que a degradação de desempenho dos neurônios ternários no Q-learning não é uma falha inerente da codificação ternária, mas uma consequência do limiarismo simétrico que cega a rede para sinais de aprendizado baseados em atividade nos estágios iniciais de RL. Ao introduzir a assimetria, os autores recuperam com sucesso os benefícios de uma maior capacidade de representação enquanto garantem a estabilidade do treinamento. Os resultados sugerem que neurônios de espícula ternários assimétricos são uma alternativa viável e superior aos neurônios binários para o aprendizado por reforço de espículas profundo, ofereando um caminho para agentes neuromórficos mais eficientes e capazes. Os autores observam que esta abordagem merece mais avaliações em outros contextos de SNN, como tarefas baseadas em visão e modelagem de linguagem.

Mais como este