COOPO: Cyclic Offline-Online Policy Optimization Algorithm

Resumo Técnico do COOPO: Otimização Cíclica de Política Offline-Online

Declaração do Problema
O Aprendizado por Reforço (RL) enfrenta um compromisso fundamental entre eficiência de dados e desempenho. Métodos de RL puramente online (por exemplo, PPO, SAC) exigem um número proibitivo de interações com o ambiente para aprender políticas ótimas, tornando-os inadequados para sistemas ciber-físicos (CPS) críticos para a segurança, onde a exploração é custosa ou perigosa. Por outro lado, o RL offline aprende exclusivamente a partir de conjuntos de dados estáticos, evitando a interação online, mas sofre com deslocamento de distribuição e subotimalidade da política devido à incapacidade de explorar estados não vistos.

Abordagens híbridas recentes "offline-to-online" tentam preencher essa lacuna pré-treinando em dados offline e, em seguida, ajustando finamente online. No entanto, o artigo identifica dois modos de falha críticos em métodos híbridos existentes:

1. Esquecimento Catastrófico: Durante o ajuste fino online, a política frequentemente sobrescreve o conhecimento aprendido a partir do conjunto de dados offline, levando a uma degradação significativa do desempenho.
2. Deslocamento de Distribuição: A transição da distribuição offline estática para a distribuição online dinâmica faz com que a política desvie para regiões do espaço de estados não suportadas pelos dados, resultando em estimativas de valor imprecisas e aprendizado instável.

Soluções existentes, como fases de inicialização ou mistura de dados em buffers de replay, frequentemente falham em preservar a estabilidade de longo prazo ou não reduzem suficientemente a complexidade de amostragem da fase online.

Metodologia: Framework COOPO
Os autores propõem o COOPO (Otimização Cíclica de Política Offline-Online), um framework unificado que resolve esses problemas ciclando repetidamente entre treinamento offline restrito e ajuste fino online. Diferentemente dos métodos tradicionais que realizam um único pré-treinamento offline seguido de adaptação online, o COOPO intercala essas fases em um loop.

O mecanismo central opera da seguinte forma:

1. Estrutura Cíclica: O algoritmo alterna entre uma Fase Offline e uma Fase Online ao longo de $K$ ciclos.
2. Fase Offline (Estabilidade e Ancoragem):
   • A política é atualizada usando um algoritmo AWAC (Actor-Critic com Peso de Vantagem) regularizado por KL.
   • Esta fase emprega uma penalidade explícita de divergência Kullback-Leibler (KL) para restringir a nova política ($\pi_{new}$) a permanecer próxima da política anterior ($\pi_{old}$) e da política de comportamento ($\pi_\beta$) no conjunto de dados.
   • Uma função de valor é explicitamente treinada durante esta fase para suportar a subsequente transição online e fornecer estimativas de vantagem robustas, mitigando erros fora de distribuição (OOD).
   • Crucialmente, a fase offline atua como um "termo estabilizador corretivo", reancorando a política ao conjunto de dados estático de alta qualidade para evitar desvios e esquecimento.
3. Fase Online (Adaptação e Exploração):
   • A política é ajustada finamente usando um algoritmo on-policy de região de confiança (especificamente PPO nos experimentos).
   • Para manter a estabilidade do crítico, a função Q treinada durante a fase offline é congelada durante as atualizações online do PPO. Isso previne o desvio de valor causado por incompatibilidades de distribuição entre estados offline e online.
   • A fase online é mantida curta (poucos episódios) para minimizar interações com o ambiente, permitindo ao mesmo tempo a exploração necessária.
4. Sinergia: O comportamento cíclico cria um loop de feedback onde as fases offline estabilizam a política e corrigem erros, enquanto as fases online refinam a política usando sinais do mundo real. Isso permite a amortização dos custos de dados offline através de múltiplos ciclos.

Principais Contribuições

1. Framework Cíclico Generalizado: Os autores introduzem um framework inovador que alterna treinamento offline regularizado por KL com ajuste fino online adaptativo. Este design previne explicitamente o esquecimento catastrófico e o deslocamento de distribuição ao retornar periodicamente a política ao conjunto de dados offline.
2. Garantias Teóricas:
   • Limite de Desempenho: O artigo deriva um limite de diferença de desempenho (Teorema 1) mostrando que o aumento do retorno por ciclo é garantido sob suposições padrão de cobertura de dados.
   • Complexidade de Amostragem: Os autores provam que o COOPO alcança uma complexidade de amostragem total de $\tilde{O}(\frac{1}{\epsilon^2} \log \frac{1}{\epsilon})$. Notavelmente, a complexidade de amostragem offline é independente do tamanho do conjunto de dados $|D|$ devido à reutilização de dados, e a complexidade de amostragem online escala com $H^3$ (onde $H$ é o horizonte), o que representa uma melhoria sobre a escala $H^4$ do PPO online puro.
   • Convergência: O Teorema 2 estabelece convergência linear para a vizinhança da política ótima.
3. Superioridade Empírica: Experimentos extensivos em benchmarks D4RL (HalfCheetah, Hopper, Walker2D) demonstram que o COOPO supera o estado da arte em RL offline (por exemplo, IQL, CQL) e baselines offline-to-online (por exemplo, Cal-QL, Uni-O4) em termos de retorno final e eficiência de amostragem.

Resultados

• Desempenho: O COOPO alcançou o melhor desempenho em 7 de 9 tarefas D4RL, superando métodos puramente offline e abordagens híbridas de um único passo. Por exemplo, na tarefa halfcheetah-medium-expert, o COOPO alcançou um retorno de 9242.2, superando a próxima melhor baseline (Uni-O4 com 8859.3).
• Eficiência de Amostragem: O COOPO reduziu significativamente o número de interações com o ambiente online necessárias para alcançar alto desempenho em comparação com o PPO online puro. A análise teórica e os resultados empíricos (Figura 7) confirmam que o COOPO reduz as interações online por um fator constante.
• Estabilidade: A arquitetura cíclica demonstrou desempenho assintótico robusto, evitando o platô precoce observado em métodos como AWAC e IQL. Estudos de ablação mostraram que equilibrar épocas offline ($E$) e episódios online ($T$) é crítico; especificamente, enfatizar o treinamento offline nos estágios iniciais e o ajuste fino online nos estágios posteriores produz resultados ótimos.
• Sensibilidade a Hiperparâmetros: O coeficiente KL ($\lambda$) foi encontrado controlando o compromisso entre velocidade de convergência e conservadorismo de atualização. Um $\lambda$ moderado (por exemplo, 3) forneceu o melhor equilíbrio entre velocidade de convergência e baixa variância.

Significado e Alegações
O artigo afirma que o COOPO estabelece um novo paradigma para aprendizado adaptativo estável e eficiente em amostras, particularmente para sistemas ciber-físicos críticos para a segurança. Ao formalizar uma "sinergia cíclica", o método transforma as limitações do RL offline (restrições de cobertura) e do RL online (ineficiência de amostragem) em pontos fortes complementares.

Os autores enfatizam que o COOPO fornece uma fundação principista para implantação confiável em aplicações do mundo real onde a exploração em grande escala é inviável. O framework oferece garantias teóricas sobre melhoria de desempenho e interação online limitada, abordando a necessidade crítica de algoritmos que permaneçam estáveis sob deslocamentos de distribuição e perturbações adversariais. O trabalho sugere que essa sinergia em loop mitiga efetivamente o esquecimento catastrófico e o desvio de distribuição, oferecendo uma solução robusta para controle adaptativo em ambientes com dados limitados e dinâmicas incertas.