MRS: Multi-Resolution Skills for HRL Agents

Título: Multi-Resolution Skills (MRS) para Agentes de Aprendizado por Reforço Hierárquico (HRL)

Autores: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri (Universidade de Bath).
Contexto: O artigo aborda as limitações de desempenho de agentes de Aprendizado por Reforço Hierárquico (HRL) em tarefas que exigem agilidade e controle de precisão, propondo uma nova arquitetura que resolve o dilema entre precisão local e suavidade global.

---

1. O Problema: A Lacuna de Agilidade no HRL

O Aprendizado por Reforço Hierárquico (HRL) decompõe a política em um Gerente (que propõe subobjetivos abstratos) e um Trabalhador (que executa ações primitivas para alcançá-los). Embora isso facilite o planejamento de longo prazo, o artigo identifica uma lacuna de desempenho (agility gap) significativa entre agentes HRL e agentes monolíticos (não hierárquicos) em tarefas que exigem controle reativo preciso (como locomoção ágil).

As causas raiz identificadas são:

1. Representação de Subobjetivos Desconstruída: Em métodos HRL baseados em subobjetivos (como o Director), o gerente aprende a representar objetivos sem restrições de alcançabilidade ou distância temporal. O gerente pode propor qualquer estado como subobjetivo, mesmo que o trabalhador não consiga alcançá-lo a partir do estado atual. Isso dilui a capacidade representacional sobre todo o manifold de estados, dificultando a seleção de subobjetivos locais precisos.
2. Compromisso Precisão-Suavidade (Trade-off): O artigo demonstra que a distância temporal ideal de um subobjetivo não é fixa; ela depende do estado e da tarefa:
   • Subobjetivos próximos (Curto alcance): Permitem controle preciso em curvas, mas amplificam o ruído de previsão (pequenos erros angulares causam grandes desvios).
   • Subobjetivos distantes (Longo alcance): Produzem trajetórias suaves em retas, mas acumulam erros geométricos em transições e curvas (o agente "corta cantos").
   • Conclusão: Nenhuma resolução fixa é universalmente ótima. Um agente que alterna dinamicamente entre resoluções finas e grossas deve superar abordagens fixas.

---

2. Metodologia: Multi-Resolution Skills (MRS)

O MRS é um framework HRL projetado para aprender múltiplos módulos de previsão de objetivos, cada um especializado em um horizonte temporal fixo, permitindo a seleção adaptativa durante a execução.

Arquitetura Principal

• Módulos de Habilidade (CVAEs): Em vez de um único autoencoder de objetivos, o MRS treina $N$ Variational Autoencoders Condicionais (CVAEs) em paralelo. Cada CVAE $i$ é especializado em prever estados alcançáveis em um horizonte temporal fixo $l_i$ (ex: $K, 2K, 4K, 8K$ passos).
  • O decodificador é condicionado ao estado atual $s_t$, garantindo que o espaço latente represente apenas a transição possível, e não o estado absoluto.
  • Compartilhamento de Parâmetros: Todos os CVAEs compartilham uma "espinha dorsal" (backbone) comum. Apenas as camadas finais do codificador e inicial do decodificador são específicas para cada resolução. Isso minimiza o custo computacional e de parâmetros.
• Meta-Controlador: O gerente possui uma política com múltiplas cabeças de saída:
  • $N$ cabeças de habilidade ($\pi_{Mi}$): Preveem distribuições latentes para cada resolução específica.
  • 1 cabeça de escolha ($\pi_{MC}$): Prevê uma distribuição one-hot sobre qual resolução utilizar no estado atual.
  • Mecanismo de Seleção: Em cada passo do gerente, todas as habilidades geram candidatos a subobjetivos, e a cabeça de escolha seleciona ativamente qual subobjetivo será enviado ao trabalhador.
• Habilidade $\infty$ (Incondicional): Inclui um módulo de VAE incondicional (sem condicionamento em $s_t$) que gera objetivos independentes do estado atual. Isso atua como um mecanismo de robustez para evitar o colapso do aprendizado no início do treinamento (quando os CVAEs finitos ainda não aprenderam boas transições), permitindo exploração diversificada.

Objetivo de Treinamento

• Treinamento Conjunto: Todos os componentes (CVAEs, políticas de habilidade, meta-controlador e trabalhador) são treinados em uma única fase end-to-end.
• Recompensa Exploratória: O agente é recompensado por executar transições que ainda não são bem modeladas por nenhum dos módulos de habilidade (minimizando o erro de reconstrução do melhor CVAE disponível). Isso incentiva a descoberta de novas transições em todas as escalas temporais.
• Gradientes Específicos: O gradiente para cada cabeça de habilidade é zeroado quando essa habilidade não é selecionada, garantindo que cada módulo se especialize apenas em sua resolução sem contaminação de gradientes.

---

3. Contribuições Principais

1. Caracterização do Trade-off Precisão-Suavidade: O trabalho formaliza matematicamente e empiricamente que a representação de objetivos desconstruída e a falta de estrutura temporal são causas fundamentais da lacuna de desempenho do HRL em tarefas ágeis. Demonstra-se que a distância ótima do subobjetivo é dependente do estado e da tarefa.
2. Proposta do MRS: Uma nova arquitetura que aprende múltiplos módulos de previsão de objetivos especializados em horizontes temporais fixos, com um controlador meta-aprendido que seleciona dinamicamente a resolução adequada. A arquitetura é eficiente em parâmetros devido ao compartilhamento de camadas.
3. Desempenho Superior e Redução da Lacuna: Evidências empíricas mostram que o MRS supera consistentemente baselines de resolução fixa e reduz significativamente a diferença de desempenho entre HRL e agentes monolíticos de última geração (como o DreamerV3) em benchmarks de agilidade, mantendo a competitividade em tarefas de longo prazo e recompensa esparsa.

---

4. Resultados Experimentais

O MRS foi avaliado em três famílias de benchmarks: DeepMind Control Suite (DMC), Gym-Robotics e AntMaze.

• DeepMind Control Suite (Locomoção Ágil):
  • O MRS superou o Director (HRL padrão) em todas as tarefas de locomoção (ex: cheetah_run, quadruped_run).
  • Reduziu drasticamente a lacuna de desempenho em relação ao DreamerV3 (o estado da arte não hierárquico), alcançando ou superando o Director em tarefas de manipulação e de longo prazo.
  • Em tarefas como hopper_hop, o MRS obteve ~511 pontos vs. 380 do Director.
• Gym-Robotics (Manipulação com Recompensa Esparsa):
  • O MRS superou o Director e o DreamerV3 (que falhou completamente nestas tarefas devido à falta de estrutura hierárquica para recompensas esparsas).
• AntMaze (Navegação de Longo Prazo):
  • O MRS demonstrou melhor desempenho final e velocidade de convergência em comparação ao Director, confirmando que a previsão de subobjetivos restrita não prejudica o planejamento de longo prazo.
• Ablações:
  • Resoluções Únicas: Nenhum agente treinado com uma única resolução fixa ($l=64, 32, 16$) conseguiu igualar o desempenho do MRS completo em todas as tarefas, provando que a vantagem vem da cobertura multi-resolução estrutural.
  • Meta-Controlador: A seleção aprendida superou a seleção aleatória e o uso exclusivo de qualquer habilidade individual, confirmando que o agente aprendeu a escolher a resolução correta baseada no contexto do estado.
  • Dinâmica de Treinamento: Observou-se que o agente começa preferindo a habilidade $\infty$ (exploração) e gradualmente migra para habilidades finitas à medida que os CVAEs amadurecem.

---

5. Significado e Impacto

O artigo estabelece que a lacuna de agilidade no HRL não é um problema de capacidade de treinamento ou de modelo de mundo, mas sim um problema representacional.

• Viés Indutivo Estrutural: A introdução de uma partição temporal explícita no espaço de objetivos atua como um viés indutivo poderoso, permitindo que o agente aprenda simultaneamente controle preciso e planejamento de longo prazo.
• Generalização: A abordagem sugere que outras arquiteturas HRL baseadas em subobjetivos podem se beneficiar da partição temporal, independentemente do algoritmo de otimização ou do modelo de mundo utilizado.
• Aplicabilidade Prática: Ao reduzir a lacuna entre HRL e métodos monolíticos, o MRS torna os agentes hierárquicos viáveis para aplicações robóticas reais que exigem tanto planejamento estratégico quanto reatividade de alta frequência.

Em resumo, o MRS resolve o dilema fundamental do HRL ao permitir que o agente "mude de marcha" dinamicamente, usando habilidades de curto alcance para curvas precisas e habilidades de longo alcance para retas suaves, tudo dentro de um único framework de aprendizado unificado.