Data Deletion Can Help in Adaptive RL

1. Declaração do Problema

O artigo aborda o desafio da Aprendizagem por Reforço (RL) Adaptativa em implantação no mundo real. Diferentemente da RL padrão, onde os ambientes de treinamento e teste são idênticos, a RL adaptativa exige que um agente generalize para ambientes não vistos, mas similares.

• Estrutura: Os autores utilizam a estrutura do Processo de Decisão de Markov Contextual (cMDP). Um cMDP é uma família de MDPs indexada por um contexto $c$ de baixa dimensão (por exemplo, gravidade, massa, atrito) que afeta a dinâmica de transição.
• O Desafio: O contexto verdadeiro $c$ é conhecido durante o treinamento, mas desconhecido no momento do teste.
• Abordagem Padrão: O problema é tipicamente decomposto em duas partes:
  1. Política Universal ($K$): Treinada para tomar ações ótimas dado o estado e o verdadeiro contexto.
  2. Estimador de Contexto ($\phi$): Treinado para estimar o contexto $\hat{c}$ com base em trajetórias observadas de estado-ação.
  3. Política Adaptativa: Definida como $\pi = K(\hat{c})$.
• O Problema: Em treinamento de múltiplas rodadas, os dados são coletados usando políticas progressivamente melhores. Trajetórias mais antigas são geradas por políticas subótimas e provêm de uma distribuição que difere significativamente do cenário de implantação (onde o estimador é imperfeito). Essa diferença de distribuição entre os dados de treinamento e a realidade de implantação degrada o desempenho do estimador de contexto.

2. Metodologia: Exclusão Aleatória de Dados

Os autores propõem uma técnica simples e contra-intuitiva chamada Exclusão Aleatória de Dados para melhorar o desempenho do estimador de contexto.

• O Algoritmo:
  1. Treine uma política universal $K$ e um estimador de contexto inicial $\phi$.
  2. Colete trajetórias usando a política adaptativa atual $K(\phi)$.
  3. Adicione essas trajetórias a um buffer de dados.
  4. Etapa Crucial: Após cada rodada de treinamento, exclua aleatoriamente uma fração $(1 - \alpha)$ das trajetórias atualmente no buffer.
  5. Retreine o estimador $\phi$ nos dados restantes.
• Mecanismo de Ação:
  • Como os dados são coletados ao longo de múltiplas rodadas, dados mais antigos correspondem a políticas anteriores e menos capazes.
  • A exclusão aleatória cria um decaimento exponencial implícito sobre os dados mais antigos. Trajetórias de rodadas iniciais têm uma probabilidade de sobrevivência menor do que aquelas de rodadas recentes.
  • Isso filtra efetivamente dados "desatualizados" (que causam diferença de distribuição) enquanto preserva a diversidade de dados (ao contrário de simplesmente manter apenas os dados mais recentes, o que poderia faltar em cobertura).
• Justificativa Teórica:
  • Os autores analisam isso via Minimização de Risco Empírico Regularizado (ERM) com uma diferença entre a distribuição de treinamento ($P_{train}$) e a distribuição de teste ($P_{test}$).
  • Eles provam que, sob condições leves (especificamente para funções de perda convexas), remover um único ponto de dados uniformemente aleatório diminui a perda de teste esperada se a diferença de distribuição for significativa.
  • Para Regressão Ridge, eles derivam uma condição quantitativa: A exclusão é benéfica quando a Relação Sinal-Ruído (SNR) é suficientemente baixa e o coeficiente de regularização é moderado. O limiar de SNR mede diretamente a magnitude necessária da diferença de distribuição para que a exclusão seja útil.

3. Contribuições Principais

1. Técnica Novel: Introdução da Exclusão Aleatória de Dados como um método para aprimorar políticas de RL adaptativa.
2. Validação Empírica: Demonstração de ganhos de desempenho em Perceptrons Multicamada (MLPs) e Redes Neurais Recorrentes (RNNs como LSTM/GRU).
3. Eficiência: Demonstração de que a exclusão de dados permite que modelos menores (por exemplo, um MLP com 5x menos parâmetros) superem modelos maiores e mais amplos treinados sem exclusão.
4. Análise Teórica: Fornecimento de uma estrutura teórica explicando por que a exclusão ajuda, ligando-a à diferença de distribuição e regularização em configurações de otimização convexa.

4. Resultados Experimentais

Os autores avaliaram o método em benchmarks de Controle Clássico (Pêndulo, LunarLander, Acrobot, MountainCar) e Locomoção Brax (Ant, HalfCheetah), variando contextos como gravidade, massa e atrito.

• Ganhos de Desempenho:
  • MLPs: Reduziram a lacuna de robustez (distância até a política ótima de "contexto verdadeiro") em até 30%.
  • RNNs (LSTM/GRU): Reduziram a lacuna de robustez em uma média de 6%.
• Eficiência do Modelo:
  • Um MLP Estreito (8.322 parâmetros) treinado com exclusão de dados superou um MLP Amplo (47.426 parâmetros) treinado sem exclusão.
  • RNNs (LSTM/GRU) geralmente superaram o MLP Amplo, apesar de terem significativamente menos parâmetros.
• Estudos de Ablação:
  • Comparado contra Exclusão Desatualizada (remover apenas os dados mais antigos) e Exclusão Uniforme (amostragem aleatória para treinamento, mas mantendo todos os dados).
  • A Exclusão Aleatória foi superior para RNNs, enquanto a Exclusão Uniforme funcionou melhor para MLPs Estreitos. A Exclusão Desatualizada teve desempenho pobre, confirmando que alguns dados mais antigos são necessários para a diversidade.
  • A retenção ótima de dados ($\alpha$) foi encontrada em torno de 0,8 (excluindo 20%) ou 0,5 (excluindo 50%), dependendo da arquitetura e do ambiente.

5. Significado e Conclusão

Este trabalho desafia o senso comum de que "mais dados são sempre melhores" em RL. Demonstra que, em configurações adaptativas, dados mais antigos podem ser prejudiciais devido a mudanças de distribuição causadas pela política em evolução.

• Impacto Prático: O método oferece uma maneira computacionalmente barata e ajustável via hiperparâmetros para melhorar a generalização em RL sem alterar a arquitetura subjacente ou a função de recompensa.
• Insight Teórico: Ele preenche a lacuna entre heurísticas práticas e compreensão teórica, mostrando que a exclusão de dados atua como um regularizador contra diferenças de distribuição.
• Aplicação Mais Ampla: As descobertas sugerem que, em qualquer cenário de aprendizado onde a distribuição de treinamento se afasta da distribuição de implantação (comum em aprendizado online e transferência sim-real), a remoção seletiva de dados desatualizados pode melhorar a generalização.

Em resumo, o artigo estabelece que excluir aleatoriamente uma fração dos dados de treinamento é uma estratégia poderosa, simples e teoricamente fundamentada para aprimorar a robustez e a eficiência de agentes de RL adaptativa em ambientes variantes no tempo.