Resumo Técnico: Trajetória Primeiro: Um Currículo para Descobrir Políticas Diversas

Declaração do Problema

Métodos de Aprendizado por Reforço (RL) frequentemente assumem distribuições unimodais de ações, produzindo uma única política que pode ser frágil a perturbações ambientais e propensa a ficar presa em ótimos locais. Embora a descoberta de um conjunto de políticas diversas maximize a robustez, os métodos existentes de otimização de diversidade com restrições frequentemente falham em tarefas complexas e ricas em contato, como a manipulação robótica.

O desafio central identificado é a subexploração. Em domínios como a manipulação robótica, os estados dos objetos são mediados por contatos intermitentes, criando mapeamentos não suaves entre ações e estados dominados por descontinuidades de contato. Consequentemente, objetivos que buscam diversidade frequentemente colapsam para poucos modos, porque estratégias alternativas são descobertas com muita pouca frequência para serem reforçadas. Métodos padrão de exploração local (por exemplo, ruído gaussiano no espaço de políticas) são insuficientes para conectar variedades de alta recompensa desconectadas nesses ambientes.

Metodologia: Um Currículo em Duas Etapas

Os autores propõem "Trajetória Primeiro", um currículo projetado para superar gargalos de exploração ao desacoplar a exploração global de trajetórias da aprendizagem de políticas reativas. A abordagem consiste em duas etapas distintas:

Etapa 1: Busca de Novidade Constrained (CNS) no Espaço de Trajetórias

Em vez de otimizar diretamente os parâmetros de redes neurais, a primeira etapa explora o espaço de trajetórias em malha aberta usando uma Estratégia Evolutiva (ES).

• Parametrização Baseada em Splines: As trajetórias $\tau$ são parametrizadas como B-splines definidas por pontos de controle $\omega$. Isso fornece um viés indutivo suave e reduz a dimensionalidade do espaço de busca em comparação com sequências de ações brutas.
• Objetivo de Otimização: O objetivo é encontrar um conjunto de parâmetros de trajetória $\Omega_n$ que maximize a diversidade sujeito a uma restrição de quase-optimalidade ($v_{\omega_i} \geq \alpha v^*$).
• Busca de Novidade Constrained: Os autores introduzem um objetivo Lagrangiano que equilibra uma recompensa intrínseca de novidade (baseada na entropia do conjunto de trajetórias, estimada via distância k-NN) e a recompensa extrínseca da tarefa.
• Algoritmo de Otimização: Os pontos de controle $\omega$ são otimizados usando CMA-ES, que é altamente eficiente para o espaço de parâmetros de tamanho moderado das B-splines. Isso permite que o algoritmo "salte" entre modos e descubra âncoras diversas e de alta recompensa que a busca local no espaço de políticas perderia.

Etapa 2: Destilação em Políticas Reativas

As trajetórias diversas descobertas na Etapa 1 são destiladas em um conjunto de $n$ políticas reativas condicionadas a habilidades $\Pi_n$ usando aprendizagem off-policy com restrições.

• Estrutura: Os autores adotam a estrutura Domino, tratando o gradiente do objetivo de diversidade como uma recompensa intrínseca.
• Técnicas de Estabilização: Para garantir uma destilação estável de dados de trajetória offline para políticas reativas online em tarefas ricas em contato, três modificações críticas são introduzidas:
  1. Amostragem Simétrica: Os lotes de treinamento são compostos por 50% de dados online e 50% de trajetórias CNS filtradas (selecionadas do top 25% dos retornos). Isso previne o colapso da diversidade durante a transição para o RL online.
  2. O truque $v_{max}$: Em vez de depender de uma única política especialista para estimar o valor ótimo $v^*$, os autores atualizam $v^*$ como o máximo desempenho alcançado em todas as habilidades e em todo o histórico de treinamento ($v^* \leftarrow \max\{v^*, \max_i v_i\}$). Isso fornece um alvo monotonicamente crescente e estável para a restrição de suboptimalidade, impedindo que o objetivo de diversidade seja sufocado por pressão de optimalidade prematura.
  3. Alta Atualização de Política por Dado (UTD): Diferentemente do RL offline-para-online padrão, onde o crítico é atualizado frequentemente e a política raramente, este método aumenta a frequência de atualização da política (por exemplo, 4 atualizações por etapa do ambiente). Isso é necessário porque a recompensa intrínseca depende da ocupação de estados do conjunto atual de políticas; atualizações frequentes da política permitem que o agente acompanhe a paisagem intrínseca em mudança.

Contribuições Principais

1. Identificação Empírica de Gargalos de Exploração: O trabalho demonstra que os métodos existentes de otimização de diversidade com restrições (por exemplo, Domino) falham em descobrir políticas diversas em tarefas de manipulação robótica devido à incapacidade da exploração local de conectar regiões de alta recompensa desconectadas.
2. Currículo Trajetória-Primeiro: Uma abordagem inovadora em duas etapas que usa busca evolutiva sobre trajetórias baseadas em splines para gerar âncoras diversas de alta recompensa, que são então destiladas em políticas reativas.
3. Receita de Estabilização: Um conjunto de técnicas (Amostragem Simétrica, truque $v_{max}$, Alta UTD de Política) que permitem aprendizagem estável de offline para online para objetivos de diversidade, abordando a não estacionariedade das recompensas intrínsecas em configurações com restrições.

Resultados Experimentais

O método foi avaliado em quatro tarefas robóticas: Navegação em Labirinto, Empurrar Cubo, Pressionar Botão e Virar Cubo.

• Diversidade vs. Desempenho: O currículo proposto alcançou um aumento de 1,5x na diversidade comportamental em comparação com a linha de base mais forte (Domino), mantendo desempenho de tarefa comparável.
• Descobertas Específicas por Tarefa:
  • Em Navegação em Labirinto, o método descobriu o maior número de caminhos distintos, enquanto as linhas de base tendiam a agrupar-se em rotas seguras e livres de colisões.
  • Em Pressionar Botão, as linhas de base frequentemente colapsaram para usar o mesmo elo do robô para todas as habilidades. O método proposto descobriu com sucesso estratégias de manipulação de corpo inteiro usando diferentes elos do robô.
  • Em Virar Cubo, o método encontrou modos de contato e perfis de força diversos, enquanto as linhas de base de exploração baseada em ruído falharam devido a colisões frequentes e recompensas negativas.
• Robustez: O método permaneceu robusto sob especificações de recompensa adversárias (por exemplo, penalidades altas por colisão) onde as linhas de base falharam em interagir com os objetos completamente, pois a fase CNS forneceu um ponto de partida quente dentro de regiões de alta recompensa.

Significado e Alegações

O artigo afirma que o principal gargalo na otimização de diversidade com restrições para robótica não é o próprio objetivo de aprendizagem, mas a dependência da exploração local. Ao introduzir um viés indutivo através de priors de trajetória baseados em splines, os autores permitem a descoberta de modos de contato diversos que são inacessíveis à busca padrão no espaço de políticas.

Os autores posicionam este trabalho como uma solução para o trade-off "exploração-exploração" na otimização de diversidade. Eles argumentam que, enquanto trabalhos anteriores assumem que comportamentos diversos de alta recompensa são facilmente alcançáveis sob otimização de política online, essa suposição falha em tarefas complexas de manipulação. O currículo proposto conecta a exploração global no nível da trajetória e o controle reativo, oferecendo uma receita prática para treinar agentes robustos e diversos. Os autores notam modestamente limitações, como a dependência de características de estado definidas manualmente para medição de diversidade e a transição fixa entre as etapas, sugerindo que trabalhos futuros poderiam explorar a troca adaptativa e a aprendizagem de representação a partir de observações brutas.