Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning

Resumo Técnico: Seleção Adaptativa de Políticas e Ajuste Fino sob Orçamentos de Interação para Aprendizado por Reforço Offline para Online

1. Formulação do Problema

O artigo aborda um desafio crítico no Aprendizado por Reforço Offline para Online (O2O-RL): como utilizar eficientemente um orçamento limitado de interações online para selecionar e refinar a melhor política de um conjunto de candidatos pré-treinados offline.

Em pipelines padrão de O2O-RL, múltiplas políticas candidatas são treinadas offline usando diversos algoritmos e configurações de hiperparâmetros. Estas são tipicamente avaliadas via Avaliação Off-Policy (OPE) para selecionar uma única política para implantação, que é então ajustada finamente. Os autores identificam duas falhas primárias nesta abordagem:

1. Inconfiabilidade da OPE: As estimativas da OPE são frequentemente imprecisas devido a desvios distribucionais, tornando arriscado implantar uma política baseada apenas nesses escores.
2. Ineficiência da Avaliação Online (OE) e do Ajuste Fino Naive: Avaliar exaustivamente todos os candidatos online consome o orçamento de interação sem refinar nenhuma política. Por outro lado, comprometer-se com uma única política para ajuste fino é arriscado porque políticas pré-treinadas podem estagnar ou regredir durante a interação online, especialmente em ambientes não estacionários. Além disso, é frequentemente impossível saber a priori qual política se beneficiará mais do ajuste fino.

O problema central é definido como a minimização do arrependimento dentro de um orçamento fixo de interação $N$. O objetivo é encontrar um procedimento que aloque $N$ transições online entre $K$ políticas candidatas (cada uma potencialmente passando por múltiplas iterações de ajuste fino) para maximizar o valor da política final selecionada, em vez de simplesmente selecionar o melhor candidato inicial ou avaliar todos os candidatos igualmente.

2. Metodologia

O framework proposto, Seleção Adaptativa de Políticas e Ajuste Fino, opera em duas etapas:

A. Etapa Offline

• Um conjunto diversificado de $K$ políticas candidatas é treinado usando vários algoritmos de RL offline (e.g., AWAC, IQL, CalQL, ReBRAC) e configurações de hiperparâmetros.
• A Avaliação Off-Policy (OPE) é realizada para gerar estimativas iniciais de desempenho. Estas estimativas são usadas para ranquear as políticas, mas não são tratadas como verdade absoluta para estimativa de valor durante a fase online.
• Estimativas de valor iniciais para a fase online são definidas como o valor da política de comportamento ($\hat{v}_B$) derivado do conjunto de dados, aumentado com pseudo-observações para lidar com problemas de identificação em estágios iniciais.

B. Etapa Online (Loop Adaptativo)
A fase online utiliza uma abordagem de Limite Superior de Confiança (UCB) para alocar dinamicamente o orçamento de interação $N$. O processo itera da seguinte forma:

1. Seleção: Uma fila de prioridade (max-heap) seleciona a política com o maior max-UCB. O UCB é calculado com base em uma previsão do desempenho futuro da política.
2. Ajuste Fino e Avaliação: A política selecionada passa por uma iteração de ajuste fino usando uma porção do orçamento, seguida por uma avaliação online para obter uma nova estimativa de valor.
3. Modelo de Previsão de Valor: Os autores modelam a evolução dos valores das políticas durante o ajuste fino usando um processo Autoregressivo Linear (AR(2)) combinado com um processo Heterocedástico Condicional (ARCH(1)). Isso captura tanto tendências de curto prazo (ascendente/descendente) quanto variância variante no tempo (volatilidade), o que é crucial pois as curvas de ajuste fino podem ser irregulares, estagnar ou regredir.
4. Previsão e Atualização: Usando o modelo AR-ARCH ajustado, o sistema simula $R$ trajetórias futuras de valor para calcular o percentil 95 (UCB) para passos futuros. O max-UCB (o UCB máximo sobre o horizonte restante do orçamento) é calculado.
5. Reenfileiramento: A política é atualizada com seu novo valor e max-UCB e inserida de volta na fila de prioridade.
6. Troca: Se o max-UCB de um candidato diferente exceder o da política atualmente selecionada, o sistema muda o foco para o novo candidato. Isso permite que o algoritmo abandone políticas que estão regredindo ou estagnando e aloque recursos para candidatos mais promissores.

O processo continua até que o orçamento de interação seja esgotado, retornando a política com o maior valor estimado do conjunto de todas as políticas avaliadas.

3. Contribuições Principais

• Framework Novel: O artigo propõe a primeira abordagem para combinar conjuntamente seleção adaptativa de políticas e ajuste fino sob um orçamento estrito de interação online. Vai além da escolha binária de "selecionar e depois ajustar" ou "avaliar todos" para uma estratégia de alocação dinâmica.
• Modelagem da Volatilidade do Ajuste Fino: Os autores introduzem um modelo AR(2)-ARCH(1) para prever a evolução não estacionária dos valores das políticas durante o ajuste fino. Isso conta explicitamente com a possibilidade de regressão de desempenho e variância, que modelos de regressão padrão frequentemente ignoram.
• Alocação Baseada em UCB: Ao usar um critério UCB no desempenho futuro previsto, o método equilibra eficientemente a exploração (avaliar novos candidatos) e a exploração (ajustar finamente candidatos promissores), garantindo que o orçamento não seja desperdiçado em políticas improváveis de melhorar.

4. Resultados Experimentais

A abordagem foi avaliada em quatro tarefas padrão de locomoção de robôs com pernas do benchmark D4RL (Hopper, Cheetah, Walker, Ant) através de quatro níveis de qualidade de conjunto de dados (Random, Medium, Medium-Replay, Medium-Expert).

• Baselines: O método foi comparado contra:
  • OPE: Selecionar a melhor política baseada apenas em estimativas offline.
  • OE: Compartilhar o orçamento igualmente para avaliar todos os candidatos online sem ajuste fino.
  • FT: Selecionar a política melhor segundo OPE e ajustá-la finamente com todo o orçamento.
  • Best: Um limite superior hipotético usando a melhor política verdadeira.
• Desempenho:
  • O método proposto consistentemente alcançou os maiores escores médios em todos os ambientes e tamanhos de orçamento (160K e 320K transições).
  • Superou significativamente o FT, que frequentemente sofreu porque comprometeu todo o orçamento a uma única política que poderia regredir (e.g., em Walker-Medium-Expert).
  • Superou OPE e OE ao utilizar efetivamente o orçamento tanto para identificar candidatos de alto potencial quanto para refiná-los, evitando a "perda de oportunidade" de não ajustar finamente ou o "arrependimento" de ajustar finamente a política errada.
  • Os resultados demonstraram que a alocação adaptativa permite que o sistema se recupere de ranqueamentos OPE iniciais pobres e evite desperdiçar recursos em políticas que não melhoram com interação online.

5. Significado e Alegações

Os autores afirmam que este trabalho fornece uma solução prática para implantar RL em sistemas do mundo real onde interações online são custosas, arriscadas ou demoradas. Ao reconhecer que políticas pré-treinadas podem performar arbitrariamente mal e que os resultados do ajuste fino são voláteis, o framework proposto oferece um mecanismo robusto para navegar nessas incertezas.

O artigo nota modestamente que, embora a abordagem supere baselines fortes, não é uma solução final. Limitações incluem o custo computacional de avaliações online frequentes e a dependência de configurações específicas de hiperparâmetros. Os autores sugerem direções futuras como alavancar rolagens de exploração para reduzir custos de avaliação explícita, incorporar métricas de similaridade de políticas e desenvolver métodos de OPE especificamente adaptados para ranqueamento O2O-RL. Em última análise, o framework visa fechar a lacuna entre o RL offline teórico e sistemas práticos e implantáveis.