OnDeFog: Online Decision Transformer under Frame Dropping

Resumo Técnico: OnDeFog: Decision Transformer Online sob Queda de Quadros

Declaração do Problema
Em aplicações de aprendizado por reforço (RL) do mundo real, como condução autônoma ou controle de drones, agentes frequentemente encontram observações incompletas devido a atrasos de comunicação ou falhas de sensores, um fenômeno conhecido como queda de quadros (frame dropping). Isso resulta no fato de o agente perder estados e recompensas associadas, levando a uma degradação significativa de desempenho. Embora o Decision Transformer sob Queda de Quadros Aleatória (DeFog) tenha sido desenvolvido para abordar isso incorporando mecanismos específicos ao Decision Transformer (DT), ele é um método de RL offline. Consequentemente, o DeFog tem dificuldade em generalizar para novos estados não adequadamente representados em seus conjuntos de dados pré-coletados e depende de conjuntos de dados extensos e de alta qualidade, incorrendo em altos custos de coleta. Por outro lado, o Online Decision Transformer (ODT) permite o aprendizado através da interação direta com o ambiente, mas carece de mecanismos inerentes para lidar com a queda de quadros, tornando-se suscetível a quedas de desempenho quando as observações são perdidas.

Metodologia: OnDeFog
Os autores propõem o OnDeFog (Online DeFog), um novo método de RL online que integra os mecanismos de robustez do DeFog à arquitetura ODT. O OnDeFog visa alcançar um treinamento estável em ambientes com queda de quadros, mantendo a capacidade de explorar e aprender a partir de novas interações.

O método proposto emprega uma abordagem de treinamento em dois estágios:

1. Pré-treinamento Offline: A política é inicialmente treinada usando um conjunto de dados pré-coletado via RL offline.
2. Ajuste Fino Online: A política é posteriormente aprimorada através da interação direta com o ambiente.

Para lidar com a queda de quadros durante o treinamento, o OnDeFog incorpora duas técnicas principais do DeFog:

• Queda de Quadros no Tempo de Treinamento: Durante o treinamento, as entradas (estados e retornos) são intencionalmente descartadas em passos de tempo específicos com uma probabilidade definida ($p$). Para os quadros descartados, o estado e o retorno do quadro anterior são transportados. Isso simula o ambiente de queda, permitindo que o modelo aprenda a robustez contra dados ausentes.
• Embedding de Intervalo de Queda (Drop Span Embedding): O método calcula o número de quadros descartados consecutivamente ($D$) em cada passo de tempo. Essa contagem é codificada em um vetor por um codificador de intervalo de queda (drop span encoder) e adicionada aos tokens de estado e de retorno. Isso permite que o modelo aprenda explicitamente a lidar com padrões de ausência.

Diferente do DeFog, o OnDeFog não utiliza o "ajuste fino de tronco congelado" (freeze-trunk fine-tuning), pois experimentos indicaram que isso não produziu resultados substanciais no cenário online. Em vez disso, o OnDeFog utiliza um replay buffer onde as trajetórias coletadas durante a interação online são armazenadas. Durante o aprendizado online, o retorno alvo é escalonado (definido como o dobro do retorno ideal) para incentivar uma exploração agressiva, e o retorno real medido é usado para o aprendizado (rerotulagem de retorno hindsight) para corrigir discrepâncias entre o retorno alvo e o observado.

Principais Contribuições

• Integração de Robustez e Aprendizado Online: O OnDeFog une com sucesso a robustez offline e a adaptabilidade online ao incorporar os mecanismos de tratamento de queda de quadros do DeFog na arquitetidade ODT.
• Mitigação da Dependência de Dados: Ao alavancar a interação online, o OnDeFog reduz a dependos de conjuntos de dados offline extensos e de alta qualidade, abordando uma limitação primária do DeFog.
• Estrutura de Treinamento em Dois Estágios: O método estabelece um protocolo para pré-treinamento em dados offline seguido de ajuste fino online, especificamente adaptado para lidar com a queda de quadros via simulação no tempo de treinamento e embeddings de intervalo de queda.

Resultos Experimentais
Os autores avaliaram o OnDefog no benchmark D4RL (tarefas Gym-MuJoCo: Hopper, Walker2d e HalfCheetah) através de várias taxas de queda de quadros (0 a 0,9).

• Vs. ODT: Em ambientes com altas taxas de queda de quadros, o OnDeFog demonstrou desempenho superior e uma curva de degradação mais gradual em comparação ao ODT, que sofreu declínios acentuados de desempenho. Em ambientes com baixas taxas de queda, o OnDeFog teve desempenho comparável ou ligeiramente inferior ao ODT, um resultado que os autores atribuem às altas taxas de queda usadas durante o treinamento, que podem dificultar a adaptação a cenários de baixa queda.
• Vs. DeFog: Nos datasets de média reprodução (medium-replay, caracterizados por uma alta proporção de dados de baixa recompensa), o OnDeFog frequentemente superou o DeFog. Isso é atribuído à capacidade do OnDeFog de adquirir trajetórias de alta recompensa através da exploração online, enquanto o DeFog é limitado pelos dados de baixa qualidade no conjunto de dados offline.
• Limitações: No dataset de média reprodução do HalfCheetah e no dataset médio padrão (excluindo o Hopper), o OnDeFog teve desempenho ligeiramente inferior ao DeFog. Os autores atribuem isso à exploração insuficiente em grandes espaços de ação (HalfCheetah) e à incapacidade da exploração online de descobrir trajetórias com recompensas superiores às já presentes no dataset médio, o que pode degradar a qualidade do replay buffer.

Significância e Alegações
O artigo afirma que o OnDeFog fornece uma solução robusta para agentes de RL operando em ambientes do mundo real propensos a atrasos de comunicação e falhas de sensores. Demonstra que integrar mecanismos de queda de quadros em um framework de aprendizado online permite que os agentes mantenham o desempenho onde métodos online convencionais (ODT) falham e onde métodos offline (DeFog) são limitados pela qualidade dos dados.

Os autores observam modestamente que, embora o OnDeFog mitigue efetivamente a degradação de desempenho em ambientes de alta taxa de queda e em datasets de baixa recompensa, ele enfrenta desafios em cenários com trajetórias de recompensa extremamente baixas ou grandes espaços de ação onde a exploração é difícil. O trabalho futuro é identificado como o desenvolvimento de métodos para ajustar automaticamente o tempo de transição entre o aprendizado offline e o online com base na qualidade do dataset e no desempenho da política.