Resumo Técnico: Aprendizado por Reforço Adaptativo para Atrasos Aleatórios Inobserváveis

Definição do Problema

Algoritmos padrão de Aprendizado por Reforço (RL), como o Proximal Policy Optimization (PPO) e o Soft Actor-Critic (SAC), tipicamente assumem um Processo de Decisão de Markov (MDP) onde o agente observa o estado do sistema instantaneamente e executa ações sem atraso. Em sistemas ciberfísicos do mundo real, essa suposição frequentemente falha devido a atrasos de interação decorrentes da transmissão de observação, computação e atuação.

As abordagens existentes para lidar com atrasos geralmente se dividem em duas categorias:

1. Processos de Decisão de Markov Parcialmente Observáveis (POMDPs): Modelam os atrasos como observações desatualizadas, o que limita o acesso do agente às informações sobre a evolução do ambiente durante o período de atraso.
2. Suposições de Atraso Fixo: Impõem um atraso constante (frequentemente um limite superior do pior caso) por meio de buffers de ação. Embora isso simplifique a tomada de decisão ao fornecer informações perfeitas sobre o tempo de execução da ação, é excessivamente conservador. Isso força o agente a operar sob a latência do pior caso mesmo quando os atrasos reais são mínimos, levando a um desempenho subótimo.

Existe uma lacuna crítica no tratamento de atrasos aleatórios, variáveis e inobserváveis. Em muitos cenários do mundo real (ex: controle em rede), o agente não sabe, no momento da decisão, quanto tempo uma ação levará para ser executada, nem pode prever se pacotes serão perdidos ou chegarão fora de ordem. Métodos existentes como o DCAC permitem atrasos inobserváveis, mas carecem de controle sobre quando as ações são aplicadas, enquanto outros algoritmos de última geração (ex: BPQL, VDPO) dependem de paradigmas de atraso fixo.

Metodologia

1. O Framework da Camada de Interação (Interaction Layer)

Os autores introduzem um novo framework chamado Camada de Interação, que se posiciona entre o agente e o sistema controlado. Esta camada gerencia a incerteza dos atrasos inobserváveis através de dois componentes principais: um Observador e um Buffer de Ação.

• Pacotes de Observação: O observador amostra o estado do sistema e envia um pacote de observação para o agente. Este pacote inclui o estado, o conteúdo atual do buffer de ação, o atraso do pacote que atualizou o buffer e um contador de deslocamento (shift counter).
• Pacotes de Ação (Geração de Matriz): Em vez de enviar uma única ação, o agente gera um pacote de ação contendo uma matriz de ações candidatas.
  • A matriz possui $L$ linhas (comprimento de predição) e $h$ colunas (horizonte do buffer de ação).
  • A $i$-ésima linha corresponde à sequência de ações a serem executadas se o pacote chegar no tempo $t+i$.
  • As colunas lidam com cenários onde nenhum novo pacote chega; se um pacote estiver faltando em um passo específico, o sistema desloca para a próxima coluna no buffer.
• Lógica de Execução: Quando um pacote de ação chega à camada de interação, o sistema calcula o atraso de ida e volta (round-trip delay, $\delta$) usando relógios locais. Ele então seleciona a linha específica da matriz correspondente a esse atraso. Se o atraso exceder as linhas da matriz ($L$) ou se os pacotes chegarem fora de ordem, o pacote é descartado.

2. Actor-Critic com Adaptação de Atraso (ACDA)

Baseando-se na camada de interação, os autores propõem o ACDA, um algoritmo de RL baseado em modelo projetado para se adaptar dinamicamente a variações de atraso.

• Heurística para Ações Anteriores Assumidas: Como o agente não pode saber exatamente quais ações foram aplicadas ao sistema entre a geração de um pacote e sua chegada, o ACDA emprega uma heurística. Ele assume que, se o pacote atual possui um atraso de $k$, os pacotes anteriores também tiveram um atraso de $k$. Isso permite que o agente reconstrua a sequência de ações aplicadas ao sistema, permitindo prever a distribuição do estado atual.
• Agente de Distribuição Baseado em Modelo: Redes neurais padrão (MLPs) requerem entradas de tamanho fixo, mas a sequência de ações "memorizadas" no ACDA varia em comprimento. Para resolver isso, o ACDA utiliza um modelo de distribuição de múltiplos passos para codificar o histórico de ações de comprimento variável em uma representação latente de tamanho fixo.
  • EMBED: Codifica o estado atual em uma distribuição latente.
  • STEP: Uma Unidade Recorrente Gated (GRU) que atualiza a distribuição latente simulando o efeito da aplicação da sequência de ações memorizadas.
  • EMIT: Um decodificador usado durante o treinamento para garantir que a representação latente preveja com precisão os estados futuros (minimizando a divergência KL).
  • A política $\pi_\theta$ então gera ações baseadas neste embedding de tamanho fixo da distribuição do estado futuro, em vez de históricos estado-ação brutos.
• Treinamento: O ACDA segue uma configuração Actor-Critic baseada no Soft Actor-Critic (SAC). O crítico avalia os valores nos estados não atrasados do sistema, exigindo que o algoritmo reconstrua a trajetória do ponto de vista do MDP sem atraso durante o treinamento.

Principais Contribuições

1. Framework da Camada de Interação: Um framework geral que permite aos agentes lidar com atrasos estocásticos e inobserváveis, bem como perda de pacotes, através da geração de uma matriz de ações futuras. Isso permite a tomada de decisão informada sob incerteza sem assumir um atraso fixo.
2. Algoritmo ACDA: Um algoritmo de RL baseado em modelo que aproveita a camada de interação. Ele introduz uma heurística para estimar as ações aplicadas e um mecanismo de embedding baseado em distribuição para lidar com históricos de ações de comprimento variável, permitindo que a política raciocine sobre distribuições de estados futuros.
3. Validação Empírica: Avaliação abrangente em tarefas de locomoção MuJoCo utilizando tanto processos de atraso simulados (modelos Gilbert-Elliot e fila M/M/1) quanto atrasos de WiFi medidos no mundo real.

Resultados

O artigo avalia o ACDA contra baselines de última geração, incluindo SAC (com e sem Aumento de Atraso Constante), Dreamer, BPQL e VDPO.

• Desempenho: O ACDA supera consistentemente todos os baselines em uma ampla gama de ambientes (Ant, Humanoid, HalfCheetah, Hopper, Walker2d) e processos de atraso.
• Atrasos do Mundo Real: Em experimentos utilizando atrasos de rede WiFi registrados (DLib e DOff), o ACDA demonstrou desempenho superior, particularmente porque os atrasos do mundo real exibem correlações temporais que o ACDA é projetado para explorar.
• Robustez: Embora o ACDA assuma correlação temporal nos atrasos, ele mantém um desempenho aceitável mesmo sob processos de atraso de distribuição independente e identicamente distribuída (i.i.d.), embora com uma margem menor.
• Comparação com Métodos de Atraso Fixo: Métodos que dependem de atrasos de pior caso (como BPQL e VDPO com Aumento de Atraso Constante) tiveram desempenho significativamente inferior, destacando a ineficiência de suposições conservadoras em ambientes estocásticos.

Significância e Alegações

Os autores afirmam que este trabalho representa o primeiro framework que permite aos agentes tomarem decisões informadas e controladas sob atrasos aleatórios e inobserváveis em RL. Ao ir além do paradigma de atraso fixo, a camada de interação e o ACDA permitem que os agentes se adaptem ao atraso real do sistema, em vez de um limite superior conservador.

O artigo enfatiza que, embora as garantias de convergência para deep RL sob atrasos aleatórios (formulação POMDP) permaneçam teoricamente em aberto, os resultados empíricos demonstram que o ACDA alcança retornos médios significativamente maiores do que as abordagens atuais de última geração. O trabalho sugere que lidar diretamente com a incerteza do atraso, em vez de impor constância artificial, é uma estratégia mais eficaz para implantar RL em sistemas ciberfísicos do mundo real. As direções de trabalhos futuros incluem a extensão do framework para lidar com comportamentos de interação mais complexos e a otimização da estrutura do pacote de ação para reduzir o overhead computacional e de comunicação.