Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL

Resumo Técnico: Aprendizado de Política de Habilidade Generalizável com RL Não Supervisionado de Eficiência de Dados

Declaração do Problema
O Aprendizado por Reforço Não Supervisionado (URL) visa pré-treinar políticas condicionadas a habilidades escaláveis, sem recompensas extrínsecas, para servirem como base para tarefas de controle downstream. Apesar do progresso recente, os autores argumentam que os métodos atuais de URL off-policy enfrentam dois gargalos críticos e negligenciados que impedem a escalabilidade:

1. Semântica de Habilidade Não Estacionária (Ineficiência de Amostragem): Em configurações off-policy, trajetórias são armazenadas em um buffer de replay com rótulos de habilidade ($z$) amostrados no momento da coleta. À medida que a política de habilidade e a função de representação latente ($\phi$) evoluem durante o treinamento, o significado semântico de um $z$ fixo muda. Consequentemente, o mesmo $z$ armazenado no buffer pode corresponder a diferentes trajetórias comportamentais ao longo do tempo. O uso desses rótulos "obsoletos" para o treinamento introduz ruído de alta variância e deriva semântica, desestabilizando o aprendizado e reduzindo a eficiência de dados.
2. Generalização Frágil: Métodos existentes frequentemente condicionam as políticas de habilidade em observações de estado completas, que incluem informações contextuais globais (ex: coordenadas absolutas ou fundos visuais). Isso faz com que a política sofra overfitting ao contexto global específico. Quando implantada em ambientes com distribuições deslocadas (ex: diferentes posições iniciais ou fundos), a mesma habilidade $z$ falha em produzir comportamentos consistentes, limitando a reutilização em tarefas downstream.

Metodologia: GenDa
Os autores propõem o GenDa (Agente de Dados Eficientes Generalizável), um framework unificado projetado para abordar esses gargalos através de dois mecanismos primários:

1. Relabeling de Habilidade para Aprendizado de Representação e Política:

   • Mecanismo: Para mitigar a deriva semântica, o GenDa rotula dinamicamente trajetórias passadas no buffer de replay. Em vez de usar o rótulo de rollout original ($z_{roll}$), o framework computa um novo rótulo ($z_{relab}$) baseado na atual função de representação latente $\phi$. Especificamente, $z_{relab}$ é definido como o vetor unitário da diferença entre os estados final e inicial no espaço latente: $z_{relab} = \text{unit}(\phi(s_T) - \phi(s_0))$.
   • Otimização: O objetivo de aprendizado de representação é atualizado usando esses alvos relabelados, enquanto o gradiente é interrompido na rede alvo (usando uma Média Móvel Exponencial, EMA). Isso alinha o sinal de supervisão com a interpretação atual do espaço latente.
   • Regularizador de Uniformidade: Para evitar o colapso de representação (onde todos os estados mapeiam para uma região estreita) causado pela distribuição não fixa de habilidades relabeladas, um regularizador de uniformidade de estilo contrastivo é introduzido. Ele maximiza a entropia das habilidades relabeladas ($H(z_{relab})$), garantindo a descoberta de comportamentos diversos.
   • Relabeling de Política: Para o aprendizado da política, a recompensa intrínseca é enriquecida misturando a habilidade relabelada $z_{relab}$ com alvos de múltiplos horizontes ($z_c$) derivados de pares de estados intermediários dentro da mesma trajetória, melhorando o bootstrapping e a utilização de dados off-policy.

2. Gargalo de Informação Complementar (CIB):

   • Mecanismo: Para desacoplar a execução da habilidade do contexto global, o GenDa introduz um módulo CIB. Um codificador variacional $q_\psi(\ell|s)$ aprende um embedding $\ell$ que é complementar à representação latente sensível a métricas $\phi(s)$.
   • Objetivo: O codificador é treinado via um objetivo de gargalo de informação variacional ($J_{CIB} = I(\ell; s) - I(\ell; \phi(s))$). Como o decodificador pode reconstruir informações já capturadas por $\phi(s)$, o codificador é forçado a preservar apenas a informação restante necessária para reconstruir o estado $s$.
   • Aplicação: A política de habilidade $\pi(a|s, z)$ é substituída por $\pi(a|\ell, z)$, onde a política condiciona no embedding CIB $\ell$ em vez do estado bruto $s$. Isso impede estruturalmente que a política explore pistas contextuais globais, forçando-a a depender de características egocêntricas relevantes para a habilidade.

Principais Contribuições

• Formalização de Modos de Falha: O artigo identifica formalmente e fornece evidência teórica e empírica para a "deriva semântica" em URL off-policy e a "generalização frágil" devido ao overfitting de contexto global.
• Framework de Relabeling de Habilidade: Uma abordagem inovadora para mitigar a não estacionalidade ao alinhar dinamicamente experiências passadas com o espaço latente em evolução, melhorando significativamente a eficiência de dados.
• Gargalo de Informação Complementar (CIB): Um módulo plug-and-play que aprende um embedding para desentranhar o contexto global da execução da habilidade, aumentando a robustez a mudanças de distribuição.
• Framework Unificado: O GenDa integra esses componentes em um pipeline escalável de descoberta de habilidades não supervisionadas baseado em objetivos sensíveis a métricas de última geração.

Resultados Experimentais
Os autores avaliam o GenDa em diversos benchmarks baseados em estado e pixels (DeepMind Control Suite e MuJoCo), incluindo ambientes de alta dimensão (ex: "Dog" com 226 dimensões de estado) onde métodos anteriores falham.

• Eficiência de Dados: O GenDa alcança cobertura de estado e tarefa superior com significativamente menos interações com o ambiente em comparação aos baselines (METRA, CSF, DIAYN, CIC). Em ambientes de alta dimensão como "Dog" e "Fish", o GenDa consegue aprender habilidades coerentes onde os baselines falham em descobrir comportamentos significativos.
• Generalização Downstream: Em tarefas downstream envolvendo condições iniciais deslocadas (ex: Random Start, Random Goal) e navegação complexa (benchmarks de Maze), o Gen além do GenDa demonstra taxas de sucesso significativamente maiores.
• Robustez: Estudos de ablação confirmam que remover o mecanismo de relabeling leva a um pré-treinamento ineficiente, enquanto remover o CIB resulta em políticas que falham sob mudanças de distribuição (ex: diferentes coordenadas iniciais ou cores de fundo).
• Escalabilidade: O GenDa atinge desempenho comparável aos limites assintóticos dos baselines com 5$\times$ menos interações com o ambiente, demonstrando seu potencial como um fundamento prático para o aprendizado robótico no mundo real.

Significância e Alegações
O artigo afirma que o GenDa aborda limitações fundamentais na escalabilidade do aprendizado por reforço não supervisionado. Ao resolver a deriva semântica, o método desbloqueia o potencial do aprendizado off-policy para URL, tornando o pré-treinamento mais eficiente em termos de dados. Ao impor a execução de habilidades egocêntricas via CIB, ele garante que as habilidades aprendidas sejam robustas e reutilizáveis através de diversas tarefas downstream e mudanças ambientais. Os autores posicionam o GenDa como um passo em direção à criação de políticas de fundação de propósito geral para controle que podem se adaptar a variadas tarefas com mínimo ajuste fino.

Limitações e Direções Futuras
Os autores reconhecem que o atual framework de relabeling assume uma habilidade por episódio, o que pode não se aplicar a comportamentos heterogêneos dentro de uma única trajetória. Eles sugerem que trabalhos futuros poderiam estender o relabeling para rótulos de habilidade variantes no tempo. Além disso, a eficácia do CIB depende da função latente sensível a métricas $\phi$, e o atual objetivo sensível a métricas pode dificultar a aquisição de habilidades de manipulação refinadas, sugerindo a necessidade de mecanismos condicionados por magnitude em futuras iterações.