Resumo Técnico: Você Realmente Precisa Pré-treinar Funções Q para o Ajuste Fino de RL Online?

1. Formulação do Problema

O artigo investiga a eficácia de pré-treinar funções Q em dados offline ao realizar o ajuste fino (fine-tuning) de uma política pré-treinada usando Aprendizado por Reforço (RL) online. O cenário envolve um Processo de Decisão de Markov (MDP) onde um agente possui um conjunto de dados offline fixo $D_{offline}$ e uma política base pré-treinada $\pi_{base}$ (tipicamente treinada via aprendizado supervisionado ou aprendizado por imitação em $D_{offline}$). O objetivo é realizar o ajuste fino de RL online para maximizar os retornos.

A questão central é se a função Q ($Q_\phi$), que guia a seleção de ações da política durante as atualizações online, deve também ser pré-treinada em $D_{offline}$ juntamente com a política, ou se deve ser inicializada aleatoriamente e aprendida inteiramente de forma online. O senso comum na literatura de RL offline-para-online sugere que o pré-treinamento conjunto da política e da função Q é benéfico. No entanto, trabalhos recentes mostraram que começar com uma política pré-treinada e uma função Q inicializada aleatoriamente pode produzir resultados altamente performantes. Este artigo testa sistematicamente a intuição de que o pré-treinamento da função Q fornece uma vantagem inicial necessária para o desempenho subsequente.

2. Metodologia

Configuração Experimental

Os autores avaliam suas hipóteses em seis tarefas desafiadoras de controle contínuo de manipulação do Robomimic (lift, can, square) e OGBench (cube, scene, puzzle). Estas tarefas envolvem recompensas esparsas e raciocínio de longo horizonte.

• Algoritmo Base: O estudo utiliza o EXPO, um algoritmo de RL off-policy com eficiência de amostra. O EXPO emprega uma "política de fluxo base" ($\pi_{base}$) e uma "política de edição" leve ($\pi_{edit}$) que prevê correções de ação. A ação final é selecionada maximizando o valor Q sobre um conjunto de ações base e editadas.
• Baselines:
  1. Pré-treinamento Ingênuo (Naive Pretraining): Pré-treina tanto $\pi_{base}$ quanto $Q_\phi$ em $D_{offline}$ usando aprendizado supervisionado e aprendizado TD offline, respectivamente, antes do ajuste fino de RL online.
  2. Inicialização Aleatória: Pré-treina apenas $\pi_{base}$ em $D_{offline}$; inicializa $Q_\phi$ aleatoriamente e a aprende inteiramente durante o ajuste fino online.
  3. Maximização de Valor Offline: Tenta reduzir a lacuna entre os alvos offline e online realizando a maximização de valor offline (por exemplo, aprendendo uma política de edição ou destilando uma política de um passo) durante o pré-treinamento.

Método Proposto: Inicialização via Ensemble de Políticas (IPE)

Motivado pela descoberta de que o pré-treinamento ingênuo falha, os autores propõem o IPE, um método para utilizar melhor os dados offline para a inicialização da função Q sem os problemas de incompatibilidade do pré-treinamento padrão.

• Ideia Central: Uma única política pré-treinada frequentemente produz uma distribuição de ações estreita, fazendo com que a função Q colapse em direção à função de valor daquela política específica ($Q_{\pi_{base}} \approx V_{\pi_{base}}$), em vez de aprender uma estrutura de valor-ação generalizável.
• Procedimento:
  1. Treinar uma política base $\pi_{base}$ no conjunto de dados offline.
  2. Treinar $N$ políticas adicionais diversas ($\pi_1, \dots, \pi_N$) na mesma distribuição de ação (usando o mesmo conjunto de dados ou subconjuntos com sementes diferentes).
  3. Executar (rollout) todas as $N+1$ políticas no ambiente para coletar transições diversas.
  4. Agrupar esses rollouts para inicializar o buffer de replay para o ajuste fino de RL online.
     Esta abordagem fornece à função Q cobertura sobre uma gama mais ampla de ações em cada estado, permitindo que ela aprenda uma função Q mais próxima do alvo online ideal ($Q^*_{RL}$) em vez de ser restringida pela distribuição estreita de uma única política.

3. Principais Descobertas e Análise

A Falha do Pré-treinamento Ingênuo

Contrário à intuição convencional, os autores descobrem que pré-treinar ingenuamente a função Q oferece pouco ou nenhum benefício em relação à inicialização aleatória. Em várias tarefas, isso até prejudica o aprendizado online.

• O Descompasso (Mismatch): A função Q aprendida durante o pré-treinamento offline ($Q_{\pi_{base}}$) visa a função de valor da política base. No entanto, o ajuste fino de RL online converge para uma função Q ótima diferente ($Q^*_{RL}$).
• Precisão de Preferência: Mesmo quando a política base está próxima do ideal, o crítico pré-treinado offline não se alinha com o crítico aprendido pelo RL online. O Q offline falha em classificar corretamente as ações da política ótima ($\pi^*$) versus a política base ($\pi_{base}$) da maneira exigida para a convergência online.
• Ineficácia de Correções: Tentativas de fechar essa lacuna via maximização de valor offline (por exemplo, treinando uma política de edição ou aplicando gradientes de ação durante o pré-treinamento) falham em melhorar o desempenho ou a precisidade de preferência, indicando que a interação online é necessária para aprender o alvo correto.

O Mecanismo do IPE

O artigo demonstra que a falha do pré-treinamento ingênuo decorre da falta de diversidade de ações. O rollout de uma única política resulta em uma função Q com variância muito baixa, tornando-a efetivamente determinística e incapaz de distinguir entre ações alternativas.

• Diversidade: Ao usar um ensemble de políticas, o IPE gera rollouts com diversidade de ações significativamente maior.
• Resultado: Essa diversidade permite que a função Q aprenda estruturas de valor-ação significativas ($Q^*_{RL}$) em vez de colapsar para o valor do comportamento de uma única política.

4. Resultados

• Melhoria de Desempenho: Em toda a suíte de benchmarks de controle contínuo, o IPE proporciona um melhoria média de 1.26x (aproximadamente 26%) no desempenho do ajuste fino em comparação ao pré-treinamento ingênuo da função Q.
• Comparação com Inicialização Aleatória: O IPE supera tanto o pré-treinamento ingênuo quanto a inicialização aleatória, demonstrando que a qualidade da inicialização da função Q é crítica, mas a fonte dessa inicialização deve ser diversa.
• Escalabilidade: O desempenho escala com o número de políticas ($N$) usadas no ensemble. Nos experimentos, $N=5$ proporcionou os melhores resultados, sugerindo que uma cobertura mais ampla das políticas de comportamento leva a um melhor ajuste fino subsequente.
• Precisão de Preferência: As funções Q treinadas via IPE mostram maior precisão de preferência para ações ótimas em comparação aos baselines, confirmando que o método faz a ponte com sucesso em direção ao $Q^*_{RL}$.

5. Significância e Alegações

O artigo desafia a suposição prevalecente de que "mais pré-treinamento é sempre melhor" no contexto de RL offline-para-online. Suas principais contribuições são:

1. Evidência Empírica: Demonstra sistematicamente que pré-treinar diretamente uma função Q em dados offline frequentemente falha em acelerar ou melhorar o ajuste fino de RL online ao partir de uma política pré-treinada.
2. Insight Teórico: Identifica um descompasso fundamental entre a função Q offline ($Q_{\pi_{base}}$) e o alvo online ($Q^*_{RL}$), mostrando que a maximização de valor offline sozinha não pode resolver essa discrepância.
3. Solução Prática: Introduz o IPE, um método simples e eficaz que utiliza ensembles de políticas para impulsionar o aprendizado da função Q. Ao aumentar a diversidade de ações na fase de pré-treinamento, o IPE permite que o RL online aprenda a função de valor correta de forma mais eficiente.

Os autores concluem que, embora o pré-treinamento da política seja essencial, a estratégia para inicializar a função Q deve considerar a diversidade de ações necessária para aprender o panorama de valor ideal, em vez de simplesmente ajustar a distribuição de dados offline de uma única política. O trabalho é limitado a configurações de RL off-policy, e os autores observam que reduzir a sobrecarga de coleta de dados do IPE continua sendo uma direção para trabalhos futuros.