Resumo Técnico: Imitação Zero-Shot Consistente com Inferência de Objetivo Contrastiva

Definição do Problema

O artigo aborda o Aprendizado de Imitação (IL) Zero-Shot, um cenário onde um agente deve reproduzir o comportamento de um especialista a partir de uma única demonstração, sem interação adicional com o ambiente, atualizações de gradiente ou acesso a funções de recompensa no momento do teste. As abordagens atuais frequentemente dependem da mimetização direta de demonstrações (Behavioral Cloning) ou da inferência de funções de recompensa via Aprendizado de Reforço Inverso (IRL). No entanto, o Behavioral Cloning sofre com o desvio de distribuição (distributional shift), e os métodos padrão de IRL frequentemente têm dificuldade com a natureza subespecificada da inferência de recompensa, particularmente ao falhar em considerar a dificuldade relativa de alcançar diferentes estados (a função de partição).

Os autores propõem um framework onde os agentes são pré-treinados puramente através de interação autossupervisionada (sem demonstrações, sem recompensas, sem dados humanos) para desenvolver uma base de conhecimento. O desafio central é permitir que esses agentes infiram a intenção de um demonstrador a partir de uma única trajetória e executem uma política para alcançar essa intenção sem treinamento adicional.

Metodologia: Aprendizado de Reforço Inverso Contrastivo (CIRL)

O framework proposto, Aprendizado de Reforço Inverso Contrastivo (CIRL), reformula o problema de multi-tarefa de IRL como um problema de inferência de objetivo. Ele opera na observação de que muitas tarefas podem ser resumidas por um único estado-objetivo. O método consiste em três componentes primários integrados durante o pré-treinamento:

1. Aprendizado de Reforço Contrastivo de Máxima Entropia (MaxEnt CRL):

   • O agente aprende uma política condicionada ao objetivo usando um objetivo autossupervisionado.
   • Ele estende o Aprendizado de Reforço Contrastivo (CRL) para o cenário de Máxima Entropia (MaxEnt). Em vez de apenas aprender recompensas futuras descontadas, o agente otimiza a soma das recompensas futuras descontadas e a entropia.
   • A função de crítico $f_{\phi,\psi}(s, a, g)$ estima a medida de ocupação de estado descontada usando Estimativa de Contraste de Ruído (NCE), distinguindo a tupla estado-ação-objetivo atual de amostras negativas.
   • O ator maximiza um objetivo regularizado por entropia, aprendendo uma função Q suave $\tilde{Q}_g(s, a)$.

2. Proposta Automática de Objetivos (GoalKDE):

   • Para impulsionar a exploração sem recompensas externas, o agente emprega o GoalKDE, um mecanismo de amostragem de objetivos automático.
   • Ele ajusta um Estimador de Densidade de Kernel Gaussiano (KDE) aos estados visitados no buffer de replay.
   • O agente amostra objetivos a partir de estados com a menor probabilidade sob o KDE (estados subvisitados), incentivando o agente a explorar o espaço de estados autonomamente.

3. Inferência de Objetivo Variacional:

   • No momento do teste, dada uma trajetória de demonstração $\tau$, o agente deve inferir o objetivo do especialista $\hat{g}$.
   • Os autores provam que, sob MaxEnt IRL com recompensas condicionadas ao objetivo, inferir a recompensa é equivalente a inferir o objetivo latente.
   • Eles utilizam um modelo variacional de campo médio $q_\xi(g|\tau) = \prod_{t=0}^T q_\xi(g|s_t, a_t)$ para aproximar a distribuição posterior do objetivo. Este modelo de inferência amortizada é treinado para maximizar a verossimilhança do objetivo dado a trajetória, aprendendo efetivamente a "ler" a intenção da demonstração.

Principais Contribuições Teóricas

O artigo fornece uma prova teórica de consistência para o método CIRL:

• Inferência de Objetivo Consistente: Os autores provam que o CIRL recupera consistentemente a intenção do demonstrador ao considerar a dificuldade relativa de alcançar diferentes estados (a função de partição $Z_g$).
• Inconsistência de Trabalhos Anteriores: Eles demonstram que métodos estruturalmente similares, como as representações Forward-Backward (FB), são inconsistentes. Métodos FB inferem recompensas baseadas em contagens de visitação de estado sem considerar a função de partição. Os autores fornecem um contraexemplo (um MDP de 2 estados) mostrando que o FB pode identificar incorretamente a política de um demonstrador porque falha em distinguir entre um estado que é frequentemente visitado devido à facilidade de acesso versus um estado que é o verdadeiro objetivo difícil de alcançar.

Resultados Experimentais

Os autores avaliam o CIRL nos ambientes JaxGCRL e Unsupervised Reinforcement Learning Benchmark (URLB), incluindo tarefas de Reacher, Pusher, Ant e PointMaze.

• Desempenho vs. Baselines: O CIRL supera consistentemente os métodos anteriores de imitação zero-shot, incluindo:
  • 1-Nearest Neighbor (1-NN): Um baseline ingênuo que copia a ação do estado mais próximo na trajetória do especialista.
  • Representações Forward-Backward (FB): Um método de ponta para RL zero-shot e imitação.
  • HILP: Uma abordagem de variável latente para pré-treinamento não supervisionado.
• Estudos de Ablação:
  • Pré-treinamento: O CIRL com pré-treinamento autossupervisionado supera significativamente métodos sem ele.
  • Inferência de Objetivo: A aproximação de campo médio para inferência de objetivo supera universalmente modelos que usam a trajetória completa como entrada, ofereção melhor eficiência computacional e desempenho.
  • Exploração: Embora o GoalKDE alcance pontuações de imitação quase perfeitas em alguns ambientes (ex: Reacher), a lacuna entre o GoalKDE e um amostrador de objetivo "oracle" aumenta em espaços de maior dimensão (ex: Ant, PointMaze), sugerindo espaço para melhoria nas estratégias de exploração para espaços de estados complexos.
• Generalização: O CIRL imita com sucesso políticas treinadas em tarefas padrão de maximização de recompensa (não condicionadas a objetivos) ao inferir objetivos relacionados à posição 3D e velocidade do agente, demonstrando que a hipótese do espaço de objetivos pode capturar estruturas de recompensa complexas.

Significância e Alegações

O artigo afirma que objetivos servem como um resumo compacto e expressivo do comportamento. Ao reduzir o espaço de hipóteses de funções de recompensa para recompensas condicionadas ao objetivo, os autores mostram que:

1. Eficiência: A imitação torna-se mais eficiente quando o comportamento é projetado no espaço restrito de funções de recompensa condicionadas ao objetivo.
2. Consistência Teórica: O método é teoricamente consistente, inferindo corretamente a intenção onde outros métodos falham devido à negligência da função de partição.
3. Fundação Autossupervisionada: É possível construir uma base para agentes interativos através de exploração puramente autossupervisionada (propor objetivos, tentar alcançá-los e aprender com o resultado) sem quaisquer demonstrações humanas ou sinais de recompensa durante o pré-treinamento.

Os autores concluem que este ciclo de "imaginar e praticar" permite que os agentes aprendam políticas transferíveis através de diversas distribuições de tarefas, apoiando uma reavaliação dos objetivos como um mecanismo fundamental para a imitação zero-shot.