Resumo Técnico: Aprendizado por Reforço On-Policy Escalável via Escalonamento Adaptativo de Lotes

1. Declaração do Problema

O senso comum no Aprendizado por Reforço (RL) postula que o treinamento com lotes grandes é fundamentalmente incompatível com o campo. Diferentemente do aprendizado supervisionado, onde o aumento dos tamanhos de lote estabiliza a estimativa de gradientes e permite o treinamento de modelos massivos (Leis de Escala), os praticantes de RL geralmente dependem de tamanhos de lote modestos (por exemplo, 256–1024). Essa limitação é atribuída à não estacionariedade inerente da distribuição de dados no RL; à medida que a política ($\pi_\theta$) é atualizada, a distribuição de dados se desloca, criando um compromisso entre viés e variância.

A visão predominante sugere que aumentar os tamanhos de lote além de um limiar crítico produz retornos decrescentes ou degradação de desempenho. Acredita-se que lotes grandes causem que os agentes superajustem trajetórias transitórias e instáveis durante os estágios iniciais e voláteis do treinamento. Consequentemente, a prática padrão favorece lotes pequenos para manter a plasticidade do modelo e adaptar-se a distribuições em mudança, mesmo ao utilizar arquiteturas em grande escala. Este artigo desafia a natureza estática dessa visão, argumentando que o grau de não estacionariedade não é constante, mas evolui ao longo do treinamento.

2. Metodologia: Escalonamento Adaptativo de Lotes (ABS)

Os autores propõem o Escalonamento Adaptativo de Lotes (ABS), um framework que ajusta dinamicamente o tamanho efetivo do lote com base na estabilidade da política de aprendizado. A hipótese central é que o treinamento de RL consiste em dois regimes distintos:

1. Estágio Inicial (Alta Não Estacionariedade): Caracterizado por mudanças comportamentais rápidas. Lotes pequenos são necessários para preservar a plasticidade e evitar o superajuste a trajetórias instáveis.
2. Estágio Final (Quase Estacionariedade): À medida que a política converge, a distribuição de dados se estabiliza. Lotes grandes tornam-se benéficos para suprimir o ruído do gradiente e permitir uma convergência precisa.

Componentes Chave

• Divergência Comportamental ($\delta_\pi$): Uma nova métrica introduzida para quantificar a não estacionariedade da política. Ela mede a fração de estados onde a ação preferida muda entre a política atual ($\pi_\theta$) e a política anterior ($\pi_{\theta_{old}}$) em um lote de referência.
  • Formalmente: $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$.
  • Um $\delta_\pi$ alto indica alta volatilidade (estágio inicial); um $\delta_\pi$ baixo indica estabilidade (estágio final).
• Programação de Escalonamento Dinâmico: O tamanho efetivo do lote ($|B|$) é escalado inversamente proporcional à divergência comportamental.
  • O comprimento da rodada ($L_{adapt}$) é ajustado logaritmicamente entre um mínimo ($L_{min}$) e um máximo ($L_{max}$) com base na divergência normalizada.
  • Quando $\delta_\pi$ é alto (mudança rápida), $L_{adapt}$ é definido como $L_{min}$ (lote pequeno).
  • Quando $\delta_\pi$ é baixo (estável), $L_{adapt}$ escala para $L_{max}$ (lote grande).
• Integração: O método é integrado ao algoritmo Rede Q Paralelizada (PQN). O cálculo da Divergência Comportamental depende exclusivamente de passagens para frente, tornando-o computacionalmente eficiente em comparação com métodos que exigem passagens para trás (por exemplo, Escala de Ruído do Gradiente).

3. Contribuições Principais

1. Quantificação da Não Estacionariedade no RL: A introdução da Divergência Comportamental como uma métrica prática de passagem para frente para medir mudanças ao nível de ação entre atualizações sucessivas da política.
2. Framework de Escalonamento Adaptativo de Lotes: Um algoritmo simples, porém eficaz, que escala dinamicamente os tamanhos de lote (comprimentos de rodada) em resposta à estabilidade da política, preenchendo a lacuna entre a necessidade de plasticidade no treinamento inicial e estabilidade no treinamento final.
3. Verificação de Escalabilidade: Demonstração empírica de que o ABS permite melhorias de desempenho com tamanhos de lote maiores no benchmark ALE, particularmente quando combinado com arquiteturas de rede maiores (por exemplo, modelos multi-skip estilo ResNet), um comportamento de escala anteriormente considerado inatingível no RL.

4. Resultados Experimentais

O método foi avaliado nos benchmarks Atari-57 e Atari-10 usando o algoritmo PQN, e estendido para controle contínuo (MuJoCo) e configurações off-policy (BTR).

• Desempenho vs. Lotes Fixos: O ABS superou o PQN puro e as linhas de base fixas de lotes pequenos/grandes na maioria dos ambientes. Alcançou pontuações mais altas no estágio inicial (devido a lotes pequenos) e menor variância no estágio final (devido a lotes grandes).
• Comparação com GNS: O ABS superou a abordagem de Escala de Ruído do Gradiente (GNS) tanto em eficiência de amostra quanto no desempenho final, sendo significativamente mais eficiente computacionalmente, pois evita passagens para trás adicionais.
• Escalabilidade com Modelos Grandes: Quando aplicado a arquiteturas maiores (PQN-L e PQN-XL), o ABS aprimorou consistentemente o desempenho. Crucialmente, enquanto o uso de um lote grande fixo degradou o desempenho em modelos grandes, o ABS (escalando de pequeno para grande) desbloqueou o potencial desses modelos, alcançando o melhor desempenho. Isso confirma uma correlação positiva entre a escala do modelo e a eficácia do escalonamento adaptativo de lotes.
• Generalização:
  • Controle Contínuo: Aplicado ao PPO no MuJoCo usando Divergência KL como proxy de não estacionariedade, o ABS melhorou a eficiência de amostra e o desempenho final.
  • RL Off-Policy: Aplicado ao BTR com modificação mínima (substituindo o comprimento da rodada por uma faixa de tamanho de lote), o ABS melhorou o desempenho em 4 dos 5 ambientes do Atari-5.

5. Significado e Alegações

O artigo afirma desafiar o "senso comum" de que o treinamento com lotes grandes é incompatível com o RL. Ao demonstrar que a não estacionariedade é uma propriedade evolutiva e não uma restrição fixa, os autores mostram que redes maiores e tamanhos de lote maiores podem alcançar o melhor desempenho no RL quando gerenciados de forma adaptativa.

O significado deste trabalho reside em seu potencial para desbloquear o potencial de escala do aprendizado por reforço, permitindo que agentes de RL de alta capacidade utilizem as mesmas vantagens de treinamento com lotes grandes que impulsionaram o sucesso no aprendizado supervisionado (por exemplo, LLMs e Vision Transformers). Os autores posicionam o ABS como um passo fundamental em direção a um RL escalável, fechando a lacuna de desempenho entre o RL e o aprendizado supervisionado em grandes escalas.

Limitações e Direções Futuras:
Os autores observam que, embora o trabalho atual se concentre em algoritmos on-policy, trabalhos futuros incluem estender o ABS para RL offline, validar em arquiteturas baseadas em Transformer e integrar o método em técnicas de alinhamento de Grandes Modelos de Linguagem (por exemplo, GRPO) para RLHF escalável.