Resumo Técnico: Controle Adaptativo na Direção Autônoma via RL Recorrente em Tempo Real

Declaração do Problema

Políticas de controle baseadas em aprendizado frequentemente falham quando implantadas em ambientes que diferem de seus dados de treinamento. Essas "mudanças de distribuição" — causadas por alterações sutis na dinâmica do sistema, características dos sensores ou condições ambientais — podem levar a uma degradação catastrófica do desempenho. Paradigmas tradicionais de aprendizado offline, onde as políticas são treinadas uma única vez e implantadas sem adaptação, são insuficientes para esses cenários do mundo real não estacionários. Embora a adaptação online seja necessária, os métodos existentes frequentemente dependem de meta-aprendizado (exigindo dados específicos de tarefas), adaptação no momento do teste (baseada em recompensas criadas manualmente) ou RL online convencional que introduz latência ao aguardar episódios completos ou mini-lotes antes de atualizar. Além disso, o aprendizado online padrão em redes recorrentes frequentemente exige Retropropagação através do Tempo (BPTT), que é intensiva em memória e biologicamente implausível.

Metodologia

Os autores propõem um pipeline de aprendizado híbrido que combina clonagem comportamental offline com Aprendizado por Reforço Recorrente em Tempo Real (RTRRL) online. Essa abordagem permite que as políticas se adaptem continuamente a cada passo de tempo, sem retreinamento do zero ou acesso a grandes conjuntos de dados offline.

Algoritmo Central: RTRRL

O RTRRL é um algoritmo eficiente em memória e biologicamente plausível que atualiza os parâmetros da política a cada passo de tempo usando uma passagem apenas para frente, eliminando a necessidade de BPTT.

• Cálculo de Gradientes: Em vez de BPTT, o framework utiliza Aprendizado Recorrente em Tempo Real (RTRL) ou aprendizado Feedback Aleatório Local Online (RFLO). Esses métodos computam gradientes online usando traços de elegibilidade e aproximações de Jacobiano. O RFLO, em particular, impõe localidade e plausibilidade biológica ao usar matrizes de feedback aleatório fixas, reduzindo a complexidade de $O(n^3)$ para $O(n^2)$.
• Objetivo de Aprendizado: O algoritmo combina aprendizado de diferença temporal (TD) com traços de elegibilidade (TD($\lambda$)) para lidar com recompensas atrasadas. Ele atualiza as redes ator e critor com base no erro TD $\delta_t = r_t + \gamma\hat{v}(h_{t+1}) - \hat{v}(h_t)$.
• Arquitetura: Os autores empregam Redes Neurais Recorrentes (RNNs) separadas para a política (ator) e a função valor (critor), em vez de um backbone compartilhado. O ator recebe observações codificadas e produz uma distribuição de ação, enquanto o critor estima o valor do estado.

Integração do Modelo: LrcSSM

Uma extensão metodológica chave neste trabalho é a integração de Modelos de Espaço de Estado com Resistência Líquida e Capacitância Líquida (LrcSSMs) no framework RTRRL.

• Características do LrcSSM: Diferentemente das Unidades Recorrentes Lineares (LRUs), que usam dinâmicas puramente lineares, ou RNNs de Tempo Contínuo padrão (CT-RNNs) com constantes de tempo fixas, os LrcSSMs introduzem constantes de tempo não lineares dependentes da entrada e do estado. Isso permite que os neurônios adaptem seu comportamento temporal dinamicamente.
• Estrutura Diagonal: Os LrcSSMs mantêm uma estrutura diagonal, o que permite o cálculo exato dos gradientes RTRL sem a perda de desempenho tipicamente associada a aproximações, tornando-os computacionalmente eficientes para aprendizado online.

Pipeline de Treinamento

1. Pré-treinamento Offline: Uma política é primeiro treinada via clonagem comportamental em um conjunto de dados de demonstrações humanas. Isso envolve um codificador convolucional (autoencoder para reconstrução de imagem) e uma rede de política recorrente.
2. Ajuste Fino Online: A política pré-treinada é implantada e ajustada em tempo real usando RTRRL. Para evitar overfitting durante o ajuste fino em ambiente único (tamanho de lote efetivo de 1), uma penalidade de mudança de parâmetro ($L_\theta = \beta ||\theta_{pre} - \theta_t||^2$) é adicionada à função de perda.

Configuração Experimental

A abordagem foi validada em dois cenários distintos:

1. Simulação (CarRacing): Um ambiente modificado do OpenAI Gym onde os agentes devem seguir a linha central de uma pista. O ambiente inclui uma penalidade por desvio da roda.
2. Mundo Real (RoboRacer): Um veículo autônomo em escala 1:10 equipado com um Sensor de Visão Dinâmica (DVS) (câmera de eventos). A tarefa é o seguimento de linha. Esta configuração é notável por usar visão baseada em eventos (capturando mudanças de intensidade em vez de quadros) em hardware não espiking padrão.

Resultados Principais

Simulação (CarRacing)

• Desempenho: Todos os tipos de modelo (CT-RNN, LRU, LrcSSM) mostraram melhoria significativa após o ajuste fino online em comparação com suas bases pré-treinadas.
• Superioridade do LrcSSM: Políticas baseadas em LrcSSM demonstraram a melhoria mais rápida e consistente entre diferentes sementes aleatórias e pistas.
• Adaptação: Políticas ajustadas finamente adaptaram-se com sucesso a mudanças de distribuição, como um deslocamento simulado no ângulo de direção, recuperando níveis de desempenho comparáveis às recompensas iniciais.

Implantação no Mundo Real (LineTracking)

• Sucesso com Câmera de Eventos: Este trabalho apresenta a primeira demonstração de ajuste fino de RL online usando observações de câmeras de eventos em hardware padrão em um cenário de controle em malha fechada.
• Falha e Sucesso do Modelo:
  • Falha da LRU: Modelos LRU pré-treinados falharam em aprender uma política eficaz de seguimento de linha, sendo incapazes de completar uma única volta sem intervenção. Os autores hipotetizam que a recorrência puramente linear das LRUs é insuficiente para capturar as transições descontínuas, semelhantes a limiares, inerentes aos dados de quadros de eventos (alternando entre estados de linha visível e linha ausente).
  • Sucesso do LrcSSM: Em contraste, os LrcSSMs aprenderam com sucesso a tarefa. Os autores atribuem isso às dinâmicas de estado não lineares dos LrcSSMs, que são essenciais para lidar com as características específicas do controle baseado em eventos, mantendo ao mesmo tempo a estrutura diagonal necessária para o cálculo eficiente de gradientes.
• Robustez: O sistema adaptou-se a mudanças de distribuição do mundo real, incluindo um deslocamento de ângulo de direção de 0,1 rad e perturbações visuais causadas pela luz solar ambiente. A recompensa degradou-se inicialmente após o deslocamento, mas recuperou-se aos níveis pré-deslocamento dentro de algumas voltas.

Significado e Alegações

O artigo alega vários primórdios e contribuições significativas para o campo do controle autônomo:

1. Primeira Aplicação de LrcSSM em RL Online: Esta é a primeira aplicação de LrcSSMs em um cenário de aprendizado por reforço online, demonstrando sua viabilidade como substituto direto para LRUs que oferece expressividade superior.
2. Pipeline de Aprendizado Híbrido: O trabalho propõe o primeiro pipeline combinando clonagem comportamental offline com ajuste fino RTRRL em tempo real online, permitindo adaptação contínua a ambientes não estacionários sem retreinamento completo.
3. Viabilidade em Sistemas Embarcados: Os resultados validam que algoritmos de aprendizado online em tempo real biologicamente plausíveis são viáveis em sistemas robóticos embarcados (RoboRacer) sem exigir chips neuromórficos especializados.
4. Controle Online Baseado em Eventos: Apresenta a primeira aplicação de aprendizado de máquina não espiking de alta frequência de ajuste fino online usando observações de câmeras de eventos em um cenário de controle em malha fechada.
5. Sinergia de Bio-inspiração: O artigo mostra a sinergia entre sensores bio-inspirados (câmeras de eventos), modelos recorrentes bio-inspirados (LrcSSMs) e regras de aprendizado biologicamente plausíveis (RTRRL/RFLO).

Os autores concluem que, embora o controle baseado em aprendizado seja vulnerável a mudanças de distribuição, a abordagem proposta baseada em RTRRL permite que políticas implantadas mantenham o desempenho ao se adaptar continuamente em tempo real, com os LrcSSMs emergindo como a arquitetura mais eficaz para esse propósito.