Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving

Título: Codificação e Decodificação Fuzzy para Melhorar o Desempenho do Aprendizado por Reforço com Spiking (Q-Learning) em Direção Autônoma

1. Problema Identificado

O artigo aborda as limitações de desempenho das Redes Neurais de Spiking (SNNs) quando aplicadas a tarefas de direção autônoma baseadas em visão, especificamente em redes Q-Profundas com Spiking (DSQNs). Embora as SNNs ofereçam eficiência energética e computacional superior (ideais para hardware de borda), elas sofrem de duas falhas críticas que criam uma lacuna de desempenho em relação às redes neurais tradicionais (não-spiking):

1. Perda de Informação na Codificação: A conversão de sinais visuais contínuos e densos em trens de pulsos binários esparsos (spikes) resulta na perda de informações perceptivas de alta granularidade. Isso degrada a representação do estado aprendido pelo agente.
2. Estimativas de Valor Q Esparsas e Quantizadas: A natureza orientada a eventos das SNNs faz com que os valores Q (que indicam a qualidade de uma ação) colapsem em uma faixa estreita e pouco discriminativa. Isso impede que o agente diferencie adequadamente entre ações, levando a políticas subótimas, especialmente em ambientes complexos e dinâmicos como o trânsito.

2. Metodologia Proposta

Os autores propõem uma arquitetura de ponta a ponta que integra um codificador e decodificador fuzzy baseados em população dentro de uma Rede Q-Profunda Multimodal com Spiking (MM-DSQN). A solução visa preservar a eficiência energética das SNNs enquanto recupera a capacidade representacional perdida.

• Codificador Fuzzy Baseado em População (Encoder):

  • Em vez de usar codificação por taxa simples (rate coding), o encoder transforma cada pixel da imagem de entrada em uma representação fuzzy de população.
  • Cada pixel é processado por um banco de $N$ funções de pertinência fuzzy triangulares treináveis.
  • Isso gera $N$ valores de ativação (entre 0 e 1) que são convertidos em trens de pulsos por neurônios Integrate-and-Fire (IF).
  • Resultado: Um único canal de imagem é expandido para $N$ canais de spiking distintos, enriquecendo a representação espacial e permitindo que a rede discrimine melhor as características da imagem. O uso de funções triangulares garante operações lineares simples, mantendo a eficiência computacional.

• Decodificador Neural Leve (Decoder):

  • Para resolver o problema da quantização dos valores Q, o sistema utiliza uma população de $M$ neurônios de saída para cada ação possível.
  • Em vez de usar operadores de defuzzificação clássicos (como o centróide), que são computacionalmente caros, os autores propõem uma rede neural leve (uma camada totalmente conectada com ativação ReLU).
  • Esta rede aprende a mapear as ativações da população de spiking de volta para valores Q contínuos e expressivos, permitindo uma estimativa de valor precisa e diferenciável.

• Treinamento:

  • O encoder fuzzy, a rede SNN e o decoder são treinados conjuntamente (end-to-end) via retropropagação, utilizando gradientes substitutos (surrogate gradients) para otimizar os parâmetros das funções de pertinência e os pesos da rede.

3. Principais Contribuições

1. Novo Encoder Fuzzy: Uma abordagem baseada em população que reduz significativamente a perda de informação durante a conversão de visão para spiking, aprendendo funções de pertinência otimizadas para a tarefa.
2. Novo Decoder Fuzzy: Um mecanismo baseado em população que reconstrói valores Q contínuos a partir de atividades neurais orientadas a eventos, mitigando o problema de valores Q esparsos.
3. Integração Pioneira: É, segundo os autores, o primeiro trabalho a integrar um mecanismo de codificação/decodificação fuzzy populacional dentro de MM-DSQNs para direção autônoma.
4. Eficiência Computacional: A abordagem utiliza funções triangulares e redes neurais leves, oferecendo um equilíbrio entre fidelidade representacional e custo computacional, superior a métodos baseados em kernels exponenciais (como RBFs).

4. Resultados Experimentais

A avaliação foi realizada no benchmark HighwayEnv, focando em um cenário de rodovia com múltiplos sensores (Câmera, LiDAR e IMU).

• Comparação de Desempenho:
  • O modelo MM-DSQN padrão (com codificação por taxa) apresentou uma queda de desempenho de aproximadamente 12,5% na recompensa média em comparação com a versão não-spiking (DQN tradicional).
  • O modelo proposto com Encoder-Decoder Fuzzy eliminou essa lacuna, alcançando um desempenho estatisticamente equivalente ao do DQN não-spiking em termos de recompensa acumulada e velocidade média.
• Segurança e Eficiência:
  • O modelo proposto manteve uma taxa de colisão baixa (aprox. 0,0025), comparável ao modelo não-spiking (0,002) e superior ao modelo de codificação por taxa, que, embora seguro, era excessivamente conservador e lento.
• Análise de Ablação:
  • Remover o decoder causou degradação significativa, confirmando sua importância para a estimativa de valores Q.
  • O uso de funções de pertinência triangulares superou o uso de funções Gaussianas, oferecendo melhor desempenho com menor custo computacional.

5. Significado e Conclusão

Este trabalho demonstra que é possível superar as limitações inerentes das Redes Neurais de Spiking em tarefas de percepção visual complexa sem sacrificar a eficiência energética. Ao introduzir mecanismos de codificação e decodificação fuzzy baseados em população, os autores conseguiram:

• Preservar a informação perceptiva fina necessária para a tomada de decisões em direção autônoma.
• Permitir que SNNs operem em tempo real com alta precisão, fechando a lacuna de desempenho com redes convencionais.
• Viabilizar o uso de SNNs em plataformas autônomas com recursos limitados (edge computing), onde a eficiência energética é crítica.

O estudo sugere que essa arquitetura é um passo fundamental para a implementação de sistemas de inteligência embarcada eficientes e seguros para direção autônoma baseada em aprendizado por reforço.