Active Offline-to-Online Reinforcement Learning

Resumo Técnico: Aprendizado por Reforço Ativo de Offline-para-Online

Definição do Problema
O Aprendizado por Reforço (RL) Offline permite o treinamento de políticas a partir de conjuntos de dados estáticos, evitando os custos e riscos da exploração online inicial. No entanto, políticas pré-treinadas offline frequentemente sofrem de desvio de distribuição (distributional shift), levando a um desempenho imprevisível ou insatisfatório em ambientes reais. O paradigma Offline-to-Online (O2O-RL) aborda isso utilizando um orçamento limitado de interações online para ajustar (fine-tune) as políticas pré-treinadas.

As abordagens de O2O-RL existentes focam tipicamente em melhorar a etapa de pré-treinamento offline ou assumem que uma única política é selecionada para o ajuste fino. Existe uma lacuna crítica na seleção ativa de políticas sob um orçamento de interação limitado. As pipelines padrão costumam comprometer-se com uma única política para o ajuste fino ou dividem o orçamento igualmente entre todos os candidatos. Isso é arriscado porque:

1. Políticas pré-treinadas podem performar arbitrariamente mal em ambientes reais.
2. O desempenho do ajuste fino é altamente sensível à escolha do algoritmo, hiperparâmetros e sementes aleatórias.
3. As trajetórias de ajuste fino não são monotônicas; elas podem estagnar, regredir ou exibir alta variância, tornando difícil identificar qual política terá sucesso sem desperdiçar todo o orçamento em um candidato suboptimal.

O desafio central é o equilíbrio entre alocar interações online para avaliar múltiplos candidatos para identificar os de alto desempenho versus ajustar finamente um candidato específico para melhorar seu desempenho.

Metodologia
Os autores propõem um framework de O2O-RL Ativo que realiza conjuntamente a seleção de política e o ajuste fino. A abordagem opera em duas etapas:

1. Etapa Offline: Um conjunto diversificado de $K$ políticas candidatas é treinado usando vários algoritmos de RL offline (ex: AWAC, IQL, CalQL, ReBRAC) e configurações de hiperparâmetros (ex: taxas de aprendizado, tamanhos de lote) no conjunto de dados estático.
2. Etapa Online (Seleção Ativa e Ajuste Fino):
   • Previsão Linear Local: Para cada linhagem de política candidata, o sistema mantém um histórico de estimativas de valor obtidas através de avaliação online. Ele ajusta um modelo de regressão linear local às últimas $w$ estimativas de valor para prever tendências futuras de desempenho. Este modelo captura tendências de curto prazo (ascendentes ou descendentes) e estima a incerteza variante no tempo (variância residual).
   • Seleção por Limite Superior de Confiança (UCB): O sistema calcula um Limite Superior de Confiança (UCB) para o desempenho futuro de cada política. O UCB é derivado do valor previsto mais um intervalo de predição escalonado.
   • Exploração Adaptativa: Em vez de usar um parâmetro de exploração fixo, o método ajusta dinamicamente o grau de exploração com base no melhor valor observado atualmente ($v^*_j$). Ele seleciona a política que requer o mínimo de "escala" para atingir o valor atual de melhor desempenho, efetivamente equilibrando a necessidade de explorar políticas incertas, mas promissoras, contra a exploração de políticas de alto desempenho conhecidas.
   • Loop Iterativo: Em cada iteração, a política com o maior UCB é selecionada, ajustada finamente por um passo e avaliada online. A estimativa de valor é adicionada à linhagem, o modelo linear local é atualizado e os UCBs são recalculados. Se o UCB de uma política diferente exceder o melhor atual, o sistema muda para essa política.

Principais Contribuições

• Formulação de Problema Inovadora: Tanto quanto os autores sabem, este é o primeiro trabalho a abordar a seleção ativa de políticas para ajuste fino sob um orçamento de interação limitado em cenários de O2O-RL. Ele modela explicitamente o equilíbrio entre avaliação e ajuste fino.
• Algoritmo de Seleção Ativa: O artigo propõe um método que utiliza regressão linear local para prever o desempenho futuro e emprega um critério UCB para selecionar ativamente qual política realizar o ajuste fino. Isso evita o compromisso prematuro com políticas subotimais.
• Validação Empírica: A abordagem é avaliada através de um conjunto diversificado de benchmarks de robótica simulada, incluindo navegação (Point Maze), controle clássico (Inverted Pendulum, Swimmer, Reacher, Pusher) e locomoção de pernas (Hopper, HalfCheetah, Walker2d, Ant).

Resultados
Experimentos foram conduzidos com um orçamento de interação online de 1.000K transições (e um orçamento menor de 750K em estudos de ablação). O método proposto ACTIVE foi comparado contra várias baselines:

• RANDOM: Selecionar uma política aleatoriamente sem realizar o ajuste fino.
• BEST: Selecionar a melhor política estimada offline sem realizar o ajuste fino.
• FTS (Fine-Tuning Single): Ajustar finamente uma única política selecionada aleatoriamente com o orçamento total.
• FTA (Fine-Tuning All): Dividir o orçamento igualmente entre todos os candidatos.

Descobertas:

• Desempenho Superior Consistente: A abordagem ACTIVE superou consistentemente todas as baselines na maioria dos ambientes, alcançando um retorno normalizado médio geral de 82,3%, comparado a 64,3% para FTS e 63,1% para FTA.
• Adaptabilidade: Em ambientes onde as políticas melhoram lentamente ou exigem períodos de aquecimento longos (ex: locomoção de pernas), o ACTIVE identificou com sucesso linhagens promissoras e alocou a maior parte do orçamento para elas, superando o FTA que desperdiçou recursos em candidatos fracos. Inversamente, em ambientes onde as políticas poderiam regredir ou estagnar, o ACTIVE mudou para longe de linhagens falhas, superando o FTS que ficaria preso em ótimos locais.
• Limitações: O método teve dificuldades em ambientes específicos como Swimmer e Ant, onde as linhagens de política mostraram pouca indicação de melhoria por períodos prolongados. Nesses casos, o sistema às vezes esgotou o orçamento tentando identificar uma linhagem de melhoria que nunca se materializou.
• Sensibilidade: Um estudo de ablação sobre o tamanho da janela ($w$) para o modelo linear local mostrou que, embora $w=3$ seja geralmente eficaz, janelas maiores podem melhorar o desempenho em ambientes de alta dimensão e ruidosos (como Ant) ao produzir previsões menos ruidosas, embora possam reduzir a sensibilidade a mudanças rápidas.

Significância e Alegações
O artigo afirma que seu framework avança o RL offline em direção ao implante prático em sistemas do mundo real onde a interação online é custosa ou arriscada. Ao demonstrar que a seleção ativa e a alocação dinâmica de orçamento são mais eficazes do que comprometer-se com uma única política ou dividir recursos igualmente, o trabalho fornece um mecanismo robusto para lidar com a volatilidade do ajuste fino de políticas pré-treinadas.

Os autores observam modestamente que, embora sua abordagem supere as fortes baselines, há espaço para melhorias. Eles sugerem direções futuras, como o uso de rollouts de exploração para monitorar o progresso, incorporar similaridades de políticas e desenvolver métodos de OPE especificamente adaptados para O2O-RL para eliminar melhor candidatos ruins precocemente. O trabalho estende seu artigo de conferência anterior ao fornecer uma análise mais abrangente, experimentos expandidos em mais tarefas e estudos de ablação detalhados.