Resumo Técnico: Aprendizado por Reforço em Streaming sob Parcial Observabilidade com Aprendizado Recorrente em Tempo Real

Declaração do Problema

O Aprendizado por Reforço (RL) em Streaming é um paradigma de aprendizado online onde um agente atualiza sua política ou função de valor a partir de cada amostra recebida imediatamente, sem manter um buffer de replay ou utilizar atualizações em lote. Embora trabalhos recentes tenham escalado com sucesso o RL em streaming para aproximação de funções profundas em ambientes totalmente observáveis usando traços de elegibilidade, estender isso para cenários parcialmente observáveis (POMDPs) permaneceu um desafio aberto.

Em ambientes parcialmente observáveis, os agentes devem confiar em arquiteturas recorrentes para manter um estado oculto que capture o contexto histórico. No entanto, os métodos padrão de aprendizado recorrente enfrentam um trade-off no cenário de streaming:

1. Backpropagation Through Time Truncada (TBPTT): Em um cenário de atualização de amostra única, a TBPTT colapsa para um horizonte de um passo (TBPTT(1)). Isso fornece apenas um gradiente de um passo, que é insuficiente para a atribuição de crédito sobre dependências temporais de longo prazo.
2. Aprendizado Recorrente em Tempo Real (RTRL): O RTRL mantém gradientes no modo forward de forma incremental, tornando-o teoricamente ideal para streaming. No entanto, para arquiteturas recorrentes gerais (como GRUs ou LSTMs), o RTRL possui complexidade computacional proibitiva, escalando de forma quártica ($O(n^4)$) com a dimensão oculta $n$.

O artigo aborda a lacuna entre a necessidade de atribuição de crédito de longo horizonte em POMDPs e as restrições computacionais das atualizações em streaming.

Metodologia

O método proposto integra Unidades de Rastreamento Recorrente (RTUs) com RTRL exato em algoritmos existentes de RL em streaming.

Arquitetura Central: Unidades de Rastreamento Recorrente (RTUs)

As RTUs são uma arquitetura recorrente diagonal e de valor complexo. Diferentemente de unidades recorrentes gerais, uma camada RTU é definida por:
$$h_t = \Lambda h_{t-1} + W x_t$$
onde $\Lambda$ é uma matriz diagonal com entradas complexas $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$. Como cada unidade oculta conecta-se apenas a si mesma (recorrência diagonal), o cálculo do gradiente simplifica-se significativamente. Essa estrutura permite que o RTRL exato seja computado com complexidade de tempo e memória linear em relação à contagem de parâmetros, evitando o gargalo $O(n^4)$ do RTRL padrão.

Integração com RL em Streaming

Os autores inserem uma única camada RTU entre o codificador de observação e a cabeça feedforward (valor ou política) de algoritmos padrão de streaming (especificamente QRC($\lambda$) para controle baseado em valor e stream AC($\lambda$) para controle baseado em política).

O mecanismo de atualização envolve dois traços distintos que se compõem naturalmente:

1. Traços de Elegibilidade: Traços padrão de atribuição de crédito temporal ($z_t$) usados no RL em streaming para acumular gradientes ao longo do tempo ($z_t = \gamma\lambda z_{t-1} + g_t$).
2. Traços RTRL: Matrizes de sensibilidade no modo forward ($S_t = \partial h_t / \partial \psi$) mantidas pela camada RTU para propagar gradientes através do estado recorrente.

Estratégia de Cálculo de Gradiente:

• Parâmetros Recorrentes ($\psi$): Os gradientes são calculados usando o traço RTRL exato $S_t$, atualizado no modo forward a cada passo.
• Parâmetros da Cabeça ($w$): A retropropagação padrão é usada, pois não há dependência temporal.
• Parâmetros do Codificador ($\theta$): Para evitar o custo proibitivo de manter traços exatos através de um codificador profundo, os autores usam uma aproximação de um passo. O codificador recebe crédito apenas por seu efeito imediato no estado oculto atual, ignorando sua influência através de estados passados. Esta é uma aproximação necessária para codificadores profundos no regime de streaming.

Análise e Correção de Desatualização (Staleness)

O artigo reconhece que, sob atualizações em streaming, os parâmetros $\psi$ mudam a cada passo. Consequentemente, a matriz de sensibilidade RTRL $S_t$ acumula Jacobianos avaliados em parâmetros desatualizados, levando a "desatualização" (staleness).

• Os autores derivam um limite teórico sobre esse erro de desatualização, mostrando que escala linearmente com o tamanho do passo e o horizonte de atribuição de crédito.
• Eles propõem uma correção de Taylor de primeira ordem à atualização de sensibilidade. Ao aproximar a mudança no Jacobiano imediato com base na atualização de parâmetros $\Delta \psi$, eles reduzem o erro de desatualização de $O(\eta)$ para $O(\eta^2)$.

Contribuições Principais

1. Algoritmo: Um algoritmo de RL profundo em streaming para ambientes parcialmente observáveis usando RTUs treinadas com RTRL exato. Não requer buffer de replay nem atualizações em lote.
2. Validação Diagnóstica: Um experimento MemoryChain demonstrando que essa combinação sustenta a atribuição de crédito sobre comprimentos de cadeia (até 64 passos) onde as linhas de base em streaming usando redes feedforward, GRUs ou RTUs com TBPTT(1) colapsam.
3. Desempenho Empírico: Evidências em cinco tarefas de memória do POPGym e tarefas de controle contínuo parcialmente observáveis do MuJoCo mostrando que a abordagem em streaming é competitiva com o PPO em lote, resolvendo todas as tarefas do POPGym e recuperando uma fração substancial do desempenho em lote no MuJoCo.
4. Análise de Desatualização: Uma análise quantitativa da desatualização da sensibilidade RTRL sob atualizações em streaming, fornecendo um limite de erro de estado estacionário e demonstrando a eficácia de uma correção de Taylor de primeira ordem no apertamento desse limite.

Resultados Experimentais

MemoryChain (Horizonte de Atribuição de Crédito)

Em uma tarefa diagnóstica exigindo que o agente lembre de uma dica binária após $L$ passos:

• Linhas de Base: Redes feedforward, GRUs com TBPTT(1) e RTUs com TBPTT(1) colapsaram para retornos próximos de zero para comprimentos de cadeia $L > 16$.
• Método Proposto: RTU com RTRL exato manteve alto desempenho até $L=48$ e permaneceu competitiva até $L=64$. Isso confirma que o método de gradiente (RTRL), e não apenas a arquitetura, é o fator crítico para a atribuição de crédito de longo horizonte em streaming.

POPGym (Tarefas de Memória Discretas)

Avaliado em cinco tarefas (Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst):

• Duas variantes em streaming (QRC($\lambda$)-RTU e stream AC($\lambda$)-RTU) foram comparadas contra uma linha de base PPO-RTU em lote.
• Os dois métodos em streaming foram complementares: o stream AC($\lambda$)-RTU teve sucesso em três tarefas onde o QRC($\lambda$)-RTU falhou, e vice-versa.
• Resultado: Juntos, os métodos em streaming resolveram todas as cinco tarefas, igualando o desempenho do PPO em lote sem armazenar trajetórias passadas.

MuJoCo Mascaramento (Controle Contínuo)

Avaliado em tarefas de locomoção (Ant, HalfCheetah, Hopper, Walker2d) com velocidades ou posições mascaradas:

• O método em streaming (stream AC($\lambda$)-RTU) foi competitivo com o PPO-RTU em lote em várias tarefas (por exemplo, igualando no HalfCheetah-P, superando no Walker2d-V).
• Embora tenha ficado atrás do PPO em lote em algumas tarefas (por exemplo, Walker2d-P), recuperou uma fração substancial do desempenho em lote, demonstrando viabilidade para controle contínuo sob parcial observabilidade sem buffers de replay.

KMemoryChain (Quantificação de Desatualização)

Uma variante do MemoryChain projetada para exercitar continuamente o traço RTRL:

• A desatualização foi medida como a distância $\ell_2$ entre a matriz de sensibilidade online e uma referência recalculada com os parâmetros atuais.
• A desatualização aumentou com o horizonte de memória $K$, consistente com os limites teóricos.
• A correção de Taylor reduziu significativamente a desatualização, particularmente em horizontes mais longos ($K=16$), e correspondeu a aprendizado mais rápido e curvas de treinamento mais estáveis no regime de alta desatualização.

Significado e Alegações

Os autores declaram explicitamente modéstia em relação às suas alegações:

• Sem Alegação de Estado da Arte (SOTA): Eles não afirmam alcançar o melhor desempenho absoluto em qualquer benchmark único comparado a métodos em lote sem restrições.
• Contribuição Primária: O significado reside em fechar a lacuna entre o RL em streaming e a parcial observabilidade. Eles demonstram que é possível realizar RL profundo em POMDPs com as restrições estritas de streaming (sem buffer de replay, atualizações de amostra única) combinando RTUs com RTRL exato.
• Aplicabilidade: O método é posicionado para cenários onde as restrições de recursos são reais, como aprendizado no dispositivo, controle em tempo real e aprendizado ao longo da vida, onde armazenar trajetórias passadas é impraticável.

O artigo conclui que, embora a lacuna para o desempenho em lote permaneça em algumas tarefas de controle contínuo, o método proposto estende com sucesso o paradigma de streaming para ambientes complexos e parcialmente observáveis, validando a viabilidade do RTRL exato com complexidade linear no RL profundo.