Resumo Técnico: Os Três Regimes de Aprendizado por Reforço Offline-para-Online

Declaração do Problema

O Aprendizado por Reforço (RL) Offline-para-Online emergiu como um paradigma prático, aproveitando conjuntos de dados offline pré-coletados para o pré-treinamento e interações online para o ajuste fino (fine-tuning). No entanto, o comportamento empírico desta abordagem é altamente inconsistente. Escolhas de design que produzem resultados de estado da arte em um cenário frequentemente falham completamente em outro. Por exemplo, métodos que dependem exclusivamente da política pré-treinada (ex: Warm-Start RL) podem superar aqueles que utilizam o conjunto de dados offline durante o ajuste fino em certos ambientes, enquanto o inverso ocorre em outros. Essa inconsistência levanta uma questão fundamental: Quais fatores subjacentes determinam se uma escolha específica de design de ajuste fino terá sucesso ou falhará?

Metodologia

Os autores propõem um framework guiado pelo princípio da estabilidade-plasticidade, um conceito enraizado na neurociência e no aprendizado de máquina. Este princípio postula que o aprendizado eficaz requer o equilíbrio entre a preservação do conhecimento existente (estabilidade) e a capacidade de se adaptar a novos dados (plasticidade).

A Taxonomia dos Três Regimes

A contribuição central é uma taxonomia que define três regimes distintos para o RL offline-para-online, determinados pelo desempenho relativo de dois priors offline:

1. A Política Pré-treinada ($\pi_0$): O agente obtido ao executar um algoritmo de RL offline no conjunto de dados.
2. O Conjunto de Dados Offline ($D$): Os dados brutos em si, representando a política de comportamento ($\pi_D$).

Os regimes são definidos da seguinte forma:

• Regime Superior ($J(\pi_0) > J(\pi_D)$): A política pré-treinada supera significativamente o conjunto de dados bruto. Aqui, o objetivo primário é preservar a utilidade de $\pi_0$. A estabilidade deve ser ancorada em torno dos parâmetros da política.
• Regime Inferior ($J(\pi_0) < J(\pi_D)$): A política pré-treinada tem um desempenho inferior ao conjunto de dados (comum em conjuntos de dados de especialistas próximos com recompensas esparsas). Aqui, o conjunto de dados contém informações mais úteis. A estabilidade deve ser ancorada em torno dos dados offline $D$, e é necessária alta plasticidade para superar a inicialização deficiente.
• Regime Comparável ($J(\pi_0) \approx J(\pi_D)$): Ambas as fontes oferecem utilidade semelhante.

Decomposição de Desempenho

O artigo decompõe o desempenho final de um processo de ajuste fino online em três termos:
$$\max J(\pi_n) = J^*_{off} + \text{Estabilidade}(J^*_{off}) + \text{Plasticidade}$$
Onde $J^*_{off}$ é o desempenho base (o mais forte entre $\pi_0$ ou $D$), Estabilidade mede a retenção deste baseline (não-positivo) e Plasticidade mede o ganho proveniente da interação online (não-negativo).

Análise de Escolhas de Design

Os autores categorizam os métodos de ajuste fino existentes com base em qual propriedade eles aprimoram:

• $\pi_0$-centrado (Estabilidade em torno da Política): Métodos como Online Data Warm-up (coleta de dados online iniciais antes da atualização) e Regularização de RL Offline (penalizando desvios da distribuição de pré-treinamento).
• $D$-centrado (Estabilidade em torno do Conjunto de Dados): Métodos como Offline Data Replay (mistura de dados offline e online no buffer de replay).
• Potencializadores de Plasticidade: Métodos como Full Parameter Reset (re-inicialização dos pesos da rede), que descartam a política prévia para maximizar a adaptabilidade.

Resultados Empíricos

Para validar o framework, os autores conduziram um estudo empírico em larga escala abrangendo 63 configurações, cobrindo 21 composições de tarefa-conjunto de dados de quatro domínios D4RL (MuJoCo, AntMaze, Adroit, Kitchen) e três algoritmos de pré-treinamento (CalQL, ReBRAC, BC).

• Precisão Preditiva: As previsões do framework alinharam-se com os resultados observados em 45 de 63 casos (71%).
• Análise de Incongruência: Houam apenas 3 incompatibilidades opostas (5%), onde o framework previu que um método falharia mas ele teve sucesso, ou vice-versa. As incompatências restantes foram "adjacentes", indicando pequenas diferenças de desempenho em vez de falhas fundamentais.
• Descobertas Específicas por Regime:
  • No Regime Superior, métodos $\pi_0$-centrados (ex: warm-up) geralmente superaram métodos $D$-centrados.
  • No Regime Inferior, métodos $D$-centrados (frequentemente combinados com reset de parâmetros) superaram significativamente os métodos $\pi_0$-centrados.
  • No Regime Comparável, as diferenças de desempenho entre os métodos foram frequentemente pequenas e sensíveis a detalhes de implementação, consistentes com a teoria de que ambos os ancoradouros fornecem utilidade similar.

Análise Mecanística

Os autores forneceram uma explicação mecanística para esses comportamentos analisando a dinâmica de aprendizado de valor. Eles descobriram que, no Regime Inferior, o ajuste fino sem o ancoramento de dados offline leva a erros de Diferença Temporal (TD) explosivos e valores Q divergentes no conjunto de dados offline. Em contraste, o Regime Superior é mais robusto a tal instabilidade, embora o ancoramento ao conjunto de dados ainda proporcione segurança.

Comparação com Métricas Alternativas

O artigo comparou sua taxonomia baseada em retorno bruto com alternativas usando proxies de recompensa densa, valores Q aprendidos e desempenho de Clonagem de Comportamento (BC). A métrica de retorno bruto provou ser superior, alcançando 71% de precisão em comparação com 51% para taxonomias baseadas em função Q e 41% para taxonomias baseadas em BC, demonstrando que o desempenho direto da tarefa é o critério de primeira ordem mais confiável para a identificação de regimes.

Significância e Alegações

O artigo afirma fornecer um framework diagnóstico e preditivo que reconcilia as evidências empíricas aparentemente inconsistentes na literatura de RL offline-para-online. Ao identificar o regime de uma determinada configuração, os praticantes podem:

1. Selecionar métodos apropriados: Escolher estratégias que correspondam aos requisitos de estabilidade-plasticidade (ex: priorizar a estabilidade da política no regime Superior vs. a estabilidade do conjunto de dados no regime Inferior).
2. Reduzir o método de tentativa e erro: Reduzir o espaço de busca para hiperparâmetros e escolhas algorítmicas ao compreender qual fonte de conhecimento prévio (política ou conjunto de dados) é dominante.

Os autores enfatizam que este framework não propõe um único "melhor" algoritmo, mas sim uma lente para entender por que diferentes algoritmos funcionam em diferentes contextos. Eles reconhecem que, embora sua taxonomia comprima fenômenos complexos em categorias discretas, ela serve como um critério de primeira ordem robusto e prático, com fatores como a cobertura de estado-ação podendo atuar como influências de segunda ordem para explorações futuras.