Resumo Técnico: O Aprendizado de Representação Viabiliza o Aprendizado por Reforço Profundo Multitarefa Escalável

Problema

Escalar o aprendizado por reforço (RL) profundo para configurações multitarefa diversas permanece um desafio central. Embora abordagens recentes de RL baseadas em modelos alcancem um forte desempenho, elas dependem de pipelines de treinamento complexos que envolvem planejamento e modelos de mundo latentes, tornando difícil isolar quais componentes são essenciais para a escalabilidade. Além disso, esses métodos frequentemente incorrem em uma sobrecarga computacional significativa e sensibilidade a hiperparâmetros.

Concomitantemente, escalar apenas o tamanho do modelo no MTRL (Aprendizado por Reforço Multitarefa) tem se mostrado insuficiente; sem objetivos de treinamento e mecanismos de aprendizado de representação apropriados, modelos maiores muitas vezes exigem mais dados para estabilizar em vez de melhorar o desempenho. Os autores hipotetizam que o principal motor do RL multitarefa escalável não é o controle baseado em modelos (planejamento) em si, mas sim a qualidade do aprendizado de representação. Especificamente, eles postulam que representações preditivas e baseadas em modelos, combinadas com uma aproximação de função de valor de alta capacidade, são suficientes para alcançar um forte desempenho, mesmo na ausência de planejamento explícito.

Metodologia

O artigo avalia o MR.Q, um algoritmo de ator-crítico puramente model-free que integra objetivos auxiliares preditivos no aprendizado de diferença temporal (TD).

• Arquitetura: O agente emprega um framework de ator-crítico off-policy onde as observações e as informações da tarefa são codificadas em uma representação latente $z_t = \phi_\xi(s_t, \tau)$. A política ($\pi_\psi$) e os críticos gêmeos ($Q_{\theta_1}, Q_{\theta_2}$) operam neste espaço latente.
• Objetivos Preditivos: Para moldar as representações, o sistema aumenta o aprendizado TD padrão com modelagem preditiva auxiliar no espaço latente. Os modelos preveem o próximo estado latente ($z_{t+1}$), a recompensa ($r_t$) e o sinal de terminação ($d_t$) a partir do estado latente atual e da ação ($z_t, a_t$). Os gradientes das perdas preditivas são retropropagados através do codificador $\phi_\xi$.
• Distinção Chave: Crucialmente, o MR.Q não realiza planejamento. Os modelos preditivos aprendidos são usados unicamente para fornecer supervisão densa para o aprendizado de representação, isolando os benefícios dos objetivos preditivos dos custos computacionais e da instabilidade do controle baseado em modelos explícito (ex: rollouts latentes).
• Protocolo de Avaliação: Os autores avaliam o MR.Q contra o Newt, um método recente de grande escala baseado em modelo de mundo, através de um conjunto diversificado de tarefas de controle contínuo (incluindo DMControl, MetaWorld, ManiSkill e RoboDesk).
  • Regime Primário: As avaliações são conduzidas em 10M de passos de ambiente, um regime de baixos dados onde a eficiência de amostra é crítica, contrastando com trabalhos anteriores que frequentemente avaliam em 100M+ de passos.
  • Eixos de Escala: O estudo analisa o desempenho através da diversidade de tarefas (200 tarefas), capacidade do modelo (Small a X-Large), disponibilidade de dados, razão de atualização-para-dados (UTD) e tempo de relógio (wall-clock time).
  • Ablações: Os autores comparam o MR.Q contra um baseline livre de codificador (TD3 padrão) para isolar o impacto do aprendizado de representação, e contra o Newt para avaliar a necessidade de planejamento.

Contribuições Principais e Resultados

1. O Aprendizado de Representação Impulsiona a Escalabilidade

O artigo demonstra que o aprendizado de representação preditiva é o fator crítico para a escalabilidade, e não o componente de planejamento do RL baseado em modelos.

• Evidência de Tarefa Única: Em configurações controladas de tarefa única (HalfCheetah, Humanoid), adicionar representações preditivas a um agente PPO padrão permite que ele utilize efetivamente o aumento da capacidade do modelo. Sem essas representações, escalar o tamanho do modelo produz pouco ou nenhum benefício e pode até degradar o desempenho.
• Desempenho Multitarefa: No regime multitarefa de 10M de passos, o MR.Q consistentemente iguala ou supera o baseline Newt (baseado em modelo de mundo) em diversos domínios (DMControl, MuJoCo, MetaWorld, etc.). O MR.Q alcança maior eficiência de amostra e pontuação normalizada final sem a sobrecarga computacional do planejamento de modelo de mundo.

2. Comportamento de Escala Superior

O MR.Q exibe propriedades de escalonamento mais estáveis e eficazes em comparação com baselines baseados em modelos:

• Escala de Dados: O MR.Q mantém um forte desempenho mesmo com dados reduzidos, enquanto o Newt mostra degradação significativa em configurações de baixos dados.
• Escala de Modelo: O MR.Q mostra melhorias de desempenho suaves e previsíveis à medida que a capacidade do modelo aumenta. O Newt mostra um escalonamento mais fraco e maior sensibilidade ao tamanho do modelo.
• Razão de Atualização-para-Dados (UTD): O MR.Q beneficia-se consistentemente de razões UTD aumentadas, enquanto o Newt exibe retornos decrescentes em frequências de atualização mais altas.

3. Transferência e Adaptação

• Inicialização Zero-Shot: O MR.Q demonstra uma transferência significativamente melhor para tarefas não vistas. No ajuste fino (finetuning) de poucos disparos (few-shot) em 28 tarefas retidas, o MR.Q alcança um desempenho zero-shot 50% superior ao Newt antes de qualquer ajuste fino ocorrer.
• Eficiência de Ajuste Fino: A vantagem de desempenho do MR.Q é preservada durante a adaptação, superando o Newt em 61% das tarefas retidas após 200k passos de ajuste fino.

4. Eficiência Computacional

Ao eliminar o planejamento explícito e os rollouts latentes, o MR.Q alcança uma eficiência de tempo de relógio superior. Ele atinge retornos mais altos significativamente mais cedo no tempo de treinamento em comparação ao Newt, apesar do forte desempenho de eficiência de amostra do Newt. Isso destaca que os ganhos das abordagens de modelo de mundo muitas vezes vêm ao custo de uma sobrecarga computacional aumentada.

5. Análise Mecanística

Estudos de ablação revelam por que o MR.Q tem sucesso:

• Geometria da Representação: Remover o codificador preditivo (usando estados brutos) leva a um colapso no ranking da representação (SRank) e na dimensionalidade efetiva (95%-d). O MR.Q aprende variedades (manifolds) estruturadas e de alto ranking que capturam melhor a diversidade de tarefas.
• Estabilidade de Otimização: O MR.Q mantém uma fração menor de "neurônios dormentes" em comparação ao baseline livre de codificador, particularmente na rede do crítico. Isso indica que os objetivos preditivos evitam o colapso da representação e preservam a plasticidade da rede, permitindo que o crítico utilize efetivamente a capacidade do modelo.

Significância e Alegações

O artigo defende uma visão centrada na representação para o escalonamento de RL profundo. Os autores alegam que:

1. Objetivos preditivos sozinhos são suficientes para alcançar eficiência de amostra e generalização competitivas em escala, desafiando a necessidade de planejamento explícito para o RL multitarefa.
2. A qualidade da representação é o gargalo central no escalonamento de sistemas de RL. Melhores representações reduzem a variância do TD, aceleram o aprendizado e estabilizam o treinamento entre tarefas.
3. Abordagens model-free podem igualar o desempenho de modelos de mundo se incorporarem aprendizado de representação preditiva estruturada, ofereando uma alternativa mais eficiente computacionalmente e escalável.

Os autores concluem que, embora os métodos baseados em modelos agrupem múltiplos componentes (dinâmica, planejamento, valor), os ganhos atribuídos a eles derivam amplamente das representações aprendidas via objetivos preditivos. Ao isolar essas representações em um framework model-free, o MR.Q alcança um forte desempenho multitarefa com redução de complexidade e custo computacional.

O artigo reconhece limitações, observando que as descobertas são primariamente em benchmarks de controle contínuo e que os mecanismos teóricos por trás dessas melhorias requerem uma compreensão mais fundamentada. No entanto, os resultados sugerem que futuros agentes multitarefa escaláveis devem priorizar o aprendizado de representação eficaz junto com, ou potencialmente acima de, mecanismos de planejamento explícito.