Resumo Técnico: Repensando a Adequação de Algoritmos de Aprendizado por Reforço sob Restrições Práticas de Transferência

Declaração do Problema

Aplicações de aprendizado por reforço (RL) orientadas à transferência, particularmente em pipelines de sim-to-real ou sim-to-sim, exigem a avaliação de algoritmos ao longo de dimensões que se estendem além da eficiência de amostragem padrão. Protocolos de avaliação convencionais priorizam o número de interações agente-ambiente necessárias para atingir um determinado nível de desempenho. No entanto, em fluxos de trabalho de transferência prática, as interações com o ambiente são frequentemente baratas e escaláveis via simulação paralela, enquanto o tempo de relógio (wall-clock time) permanece uma restrição operacional primária.

Além disso, a adequação de um algoritmo para transferência depende de sua robustez sob desajuste de dinâmica (dynamics mismatch). Embora a randomização de domínio (DR) seja uma técnica padrão para melhorar a robustez ao expor as políticas à variabilidade nos parâmetros físicos (ex: massa, fricção, amortecimento) durante o treinamento, permanece incerto se diferentes paradigmas de RL (on-policy, off-policy e model-based) respondem de forma distinta ao aumento da variabilidade na distribuição de treinamento. Este artigo aborda duas questões centrais:

1. As conclusões sobre a adequação de algoritmos mudam quando o treinamento é avaliado sob orçamentos de tempo de relógio em vez de orçamentos baseados em interações?
2. Diferentes paradigmas de aprendizado respondem de forma diferente ao aumento da variabilidade na distribuição de treinamento induzida pela randomização de domínio?

Metodologia

Os autores conduziram uma comparação sistemática e controlada de três algoritmos de RL distintos em 18 tarefas de controle contínuo do DeepMind Control Suite (implementado via MuJoCo XLA). Os algoritmos representam três grandes paradigmas:

• PPO (Proximal Policy Optimization): Um método on-policy, configurado com ambientes massivamente paralelos (2.048) para aproveitar a escalabilidade da simulação moderna.
• SAC (Soft Actor-Critic): Um método off-policy, com ator-crítico regularizado por entropia, treinado usando configurações de ambiente único padrão (implementação CleanRL).
• TD-MPC2: Um método model-based que combina dinâmica aprendida com planejamento online, treinado usando configurações padrão (codebase oficial).

Eixos de Avaliação

O estudo avalia esses algoritmos ao longo de dois eixos complementares:

1. Eficiência Prática (Tempo de Relógio): O desempenho é medido contra o tempo real necessário para o treinamento, refletindo restrições operacionais onde a velocidade de iteração e a prontidão de implantação são críticas.
2. Eficiência Baseada em Interação: O desempenho é medido contra o número de interações com o ambiente, refletindo os benchmarks convencionais de eficiência de amostragem.

Configuração de Transferência e Randomização de Domínio

A transferência é modelada como generalização através de distribuições de contexto dentro de um Processo de Decisão de Markov Contextual (CMDP). O estudo investiga a transferência zero-shot sim-to-sim sob desajuste de dinâmica.

• Distribuições de Treinamento: Os autores variaram a amplitude da distribuição de treinamento ($p_{train}$) usando cinco níveis de randomização de domínio: Nominal (sem randomização), Estreita (Narrow), Moderada, Ampla (Broad) e Extensiva. A randomização foi aplicada multiplicativamente aos parâmetros físicos, incluindo massa, amortecimento, força do atuador, fricção e comprimento do elo.
• Regimes de Avaliação: Dois regimes de avaliação fixos foram usados para testar a generalização:
  • Centrado no Nominal (Nominal-Centered): Contextos próximos à dinâmica nominal (dentro do suporte para todos os regimes de treinamento).
  • Deslocado (Shifted): Contextos com desvios estruturados dos parâmetros nominais (variando de fora do suporte para dentro do suporte, dependendo da cobertura de treinamento).

Principais Resultados

1. Eficiência de Tempo de Relógio vs. Baseada em Interação

O estudo revela uma divergência significativa entre os rankings baseados em interação e em tempo de relógio:

• Baseada em Interação: Consistente com os benchmarks convencionais, SAC e TD-MPC2 geralmente demonstram maior eficiência de amostragem, atingindo um desempenho sólido com menos interações com o ambiente do que o PPO.
• Tempo de Relógio: Sob avaliação baseada em tempo, o PPO frequentemente atinge um desempenho competitivo ou superior mais cedo do que o SAC e o TD-MPC2. Isso é atribuído à capacidade do PPO de explorar a simulação massivamente paralela (2.048 ambientes), permitindo que ele acumule as interações necessárias em um período de tempo de relógio mais curto, apesar de sua menor eficiência de amostragem por interação.
• Implicação: O ranking de algoritmos muda com base na métrica de avaliação. Um algoritmo considerado "ineficiente em amostragem" (PPO) pode ser "eficiente em tempo" em configurações paralelizadas.

2. Impacto da Randomização de Domínio na Robustez

A análise dos efeitos da randomização de domínio nos três algoritmos produz várias descobertas matizadas:

• Sem Vantagem Específica de Algoritmo: Não há evidência consistente de que qualquer paradigma único (on-policy, off-policy ou model-based) seja sistematicamente mais ou menos compatível com a randomização de domínio. PPO, SAC e TD-MPC2 todos se beneficiam da DR, mas a magnitude e a direção do efeito dependem da tarefa específica, do nível de cobertura e do regime de avaliação.
• Ganhos Não Monotônicos: Aumentar a amplitude da randomização de domínio não garante a melhoria do desempenho de transferência.
  • Sob avaliação Centrada no Nominal, a randomização Estreita frequentemente supera a Extensiva.
  • Sob avaliação Deslocada, distribuições mais amplas (Ampla/Extensiva) não superam consistentemente as mais estreitas, mesmo quando os contextos de avaliação estão dentro do suporte de treinamento.
• Trade-offs: Uma randomização mais ampla aumenta a exposição a dinâmicas diversas, mas também aumenta a dificuldade do problema de aprendizado e reduz a concentração de experiência em regiões específicas, criando um compromisso entre cobertura distributiva e aprendizado eficaz.

Significância e Alegações

O artigo argumenta que a eficiência de amostragem sozinha é um critério insuficiente para avaliar algoritmos de RL em aplicações orientadas à transferência. Os autores alegam duas percepções primárias para praticantes:

1. Reavaliando a Eficiência: Restrições práticas, especificamente o tempo de relógio, devem ser uma consideração primária. O conhecimento comum de que o PPO é "ineficiente em amostragem" não impede que ele seja a escolha mais prática em pipelines onde a paralelização massiva está disponível. A métrica "tempo-para-desempenho" pode inverter os rankings algorítmicos padrão derivados de benchmarks baseados em interação.
2. Robustez Dependente de Contexto: A eficidade da randomização de domínio não é uma propriedade inerente de uma família específica de algoritmos (ex: on-policy vs. off-policy). Em vez disso, a robustez é governada pela interação entre a tarefa, o algoritmo, a cobertura específica da distribuição de treinamento e a natureza do desajuste de implantação. Consequentemente, os praticantes não devem assumir que um paradigma é universalmente superior para DR; em vez disso, devem avaliar empiricamente a combinação de algoritmo e cobertura de randomização para suas restrições de transferência específicas.

O estudo conclui que a adequação de um algoritmo para transferência é um problema multidimensional que requer avaliação tanto em termos de eficiência prática (tempo) quanto de robustez (desajuste de dinâmica), em vez de depender apenas da eficiência de amostragem baseada em interação.