Value Explicit Pretraining for Learning Transferable Representations

1. Declaração do Problema

Agentes de Aprendizado por Reforço (RL) visual lutam para generalizar entre tarefas quando confrontados com variações na dinâmica do ambiente e na aparência visual. Enquanto humanos podem extrair informações relevantes para a tarefa independentemente dessas mudanças, robôs requerem representações aprendidas que sejam invariantes a tais variações.

As abordagens atuais de aprendizado de representação enfrentam duas limitações principais:

1. Objetivos Desalinhados: Muitos métodos utilizam objetivos de pré-treinamento (por exemplo, reconstrução de imagem, consistência temporal) que são distintos da tarefa de controle a jusante (previsão de ação).
2. Requisitos de Dados: Métodos existentes de aprendizado por transferência frequentemente exigem demonstrações de especialistas de alta qualidade, rotuladas, ou trajetórias bem-sucedidas. Há uma falta de métodos que possam aprender efetivamente representações transferíveis a partir de dados subótimos e não rotulados (sequências de observações e recompensas esparsas onde o agente frequentemente falha em completar a tarefa).

O desafio central é: Como podemos aprender um codificador que produza representações úteis para o controle sem treinar na própria tarefa de controle, utilizando apenas dados imperfeitos e não rotulados?

2. Metodologia: Pré-treinamento Explícito de Valor (VEP)

Os autores propõem o Pré-treinamento Explícito de Valor (VEP), um método de aprendizado contrastivo auto-supervisionado que aprende representações agnósticas à tarefa codificando explicitamente a "propensão para o sucesso" (valor) em vez de apenas proximidade visual ou temporal.

Insight Central

A função de valor $V(s)$ de um estado representa o retorno esperado (propensão a ter sucesso) sob uma política ótima. Os autores hipotetizam que estados com estimativas de valor semelhantes entre diferentes tarefas (mesmo com aparências visuais distintas) compartilham uma estratégia ótima similar. Portanto, as representações devem ser agrupadas com base na similaridade de valor e não na similaridade visual.

Visão Geral do Algoritmo

1. Fonte de Dados: O método utiliza conjuntos de dados offline, subótimos e não rotulados ($D_{train}$) de um conjunto de tarefas de treinamento. Esses conjuntos contêm sequências de observações e sinais de recompensa esparsos, mas sem rótulos de ação.
2. Estimativa de Valor Monte Carlo:
   • Como a função de valor ótima verdadeira é desconhecida, o VEP calcula uma estimativa Monte Carlo (MC) $G$ para cada quadro no conjunto de dados usando as recompensas esparsas:
     $$G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$$
   • Quadros com uma estimativa de valor de 0 (indicando que nenhuma recompensa foi alcançada naquele segmento de trajetória) são descartados.
3. Objetivo de Aprendizado Contrastivo:
   • O codificador $f_\phi$ é treinado usando uma perda contrastiva (InfoNCE ou perda Triplet).
   • Estratégia de Amostragem:
     • Âncora ($z_{an}$): Uma observação da Tarefa $T_i$ com uma estimativa de valor $g$.
     • Positivo ($z_{ps}$): Uma observação de uma diferente tarefa $T_j$ com uma estimativa de valor dentro de um limiar $v_{thresh}$ de $g$.
     • Negativo ($z_{ng}$): Uma observação de uma tarefa $T_k$ com uma estimativa de valor significativamente diferente de $g$ (além de $v_{thresh}$).
   • Objetivo: A função de perda minimiza a distância entre a âncora e o positivo (valor/propensão ao sucesso semelhantes) e maximiza a distância para o negativo, forçando o codificador a aprender representações invariantes à aparência e dinâmica específicas da tarefa.

Detalhes de Implementação

• Pré-processamento: Um dicionário mapeia estimativas de valor ordenadas para índices de quadro para permitir amostragem eficiente por busca binária.
• Treinamento da Política: Após o pré-treinamento, o codificador é congelado. Um algoritmo de RL online (PPO) é treinado nas tarefas de teste usando as representações latentes $z_t$ como entrada. Nenhuma ajuste fino (fine-tuning) do codificador ocorre.

3. Contribuições Principais

1. Representação Explícita de Valor: Um novo framework de pré-treinamento que utiliza explicitamente estimativas de valor para organizar o espaço latente, garantindo que as representações reflitam o progresso da tarefa e não apenas consistência visual ou temporal.
2. Utilização de Dados Subótimos: O método aprende com sucesso representações transferíveis usando dados não rotulados e subótimos (episódios que nem sempre resolvem a tarefa), um desvio significativo de métodos que exigem demonstrações de especialistas.
3. Generalização Agnóstica à Tarefa: Ao focar na similaridade de valor, o método aprende representações que generalizam para tarefas fora da distribuição (OOD) com dinâmicas visuais diferentes, mas objetivos semelhantes.
4. Comparações de Ablação e Baseline: O artigo compara rigorosamente o VEP contra:
   • VIP (Pré-treinamento Implícito de Valor): Que depende da consistência temporal.
   • TCN (Aprendizado Contrastivo de Tempo): Que amostra positivos com base na distância temporal.
   • SOM (Medida de Ocupação de Estado): Que usa medidas de ocupação para amostragem.
   • Regressão de Valor (VR): Uma baseline que simplesmente regressa a estimativa de valor (provando que a amostragem contrastiva é superior à regressão simples).

4. Resultados Experimentais

Os autores avaliaram o VEP em três benchmarks: Atari, Navegação Visual (StreetLearn) e Locomoção Ant (Maze).

• Benchmark Atari:
  • Configuração: Pré-treinado em Demon-Attack e Space Invaders; testado em 4 outros jogos de tiro.
  • Resultado: O VEP superou as baselines (VIP, TCN, SOM) em até 2× em recompensas em tarefas fora da distribuição. Mostrou uma melhoria de ~25% em tarefas dentro da distribuição.
• Navegação Visual:
  • Configuração: Pré-treinado em 2 cidades; testado em 4 cidades não vistas.
  • Resultado: O VEP alcançou o mesmo desempenho que o treinamento de ponta a ponta 2,1× mais rápido (eficiência de amostra). Superou significativamente modelos de visão-linguagem de última geração (CLIP, R3M, MVP).
• Locomoção Ant (Maze):
  • Configuração: Pré-treinado em labirintos simples; testado em labirintos complexos com diferentes obstáculos e variações visuais.
  • Resultado: O VEP alcançou desempenho de última geração em labirintos tanto dentro do domínio quanto OOD.
  • Visualização: Gráficos t-SNE mostraram que, enquanto os embeddings do TCN se agrupavam pela aparência do labirinto (sobreajuste), os embeddings do VEP se agrupavam pelo progresso da tarefa (valor), demonstrando verdadeiro aprendizado agnóstico à tarefa.
• Estudos de Ablação:
  • Suboptimalidade: O desempenho do VEP permaneceu robusto mesmo ao usar dados de episódios que completaram apenas 10% da tarefa.
  • Limiarização: Um limiar de valor ótimo ($v_{thresh} \approx 0,03$) foi identificado; um limiar muito alto degradou o desempenho.
  • Contrastivo vs. Regressão: Simplesmente regredir o valor (baseline de Regressão de Valor) falhou em produzir representações transferíveis, confirmando que a amostragem contrastiva de tripletas é o mecanismo crítico.

5. Significado e Impacto

• Eficiência: O VEP melhora drasticamente a eficiência de amostra (até 3×) para RL a jusante, reduzindo a necessidade de interação online cara.
• Acessibilidade de Dados: Ao remover a exigência de demonstrações de especialistas, rotuladas ou bem-sucedidas, o VEP reduz a barreira de entrada para aprendizado por transferência, permitindo o uso de vastas quantidades de dados "desorganizados" do mundo real ou simulados.
• Generalização: O método aborda a lacuna "sim-to-real" e "task-to-task" aprendendo representações que capturam o objetivo da tarefa (progresso em direção a um objetivo) em vez de características visuais superficiais.
• Direções Futuras: Os autores sugerem estender isso para algoritmos de controle contínuo (como SAC) e aprendizado por imitação com poucos exemplos, bem como escalar para cenários de pré-treinamento mais complexos e em grande escala.

Em resumo, o VEP representa uma mudança de paradigma no aprendizado de representação para robótica, movendo-se de "como o mundo parece" para "quão perto o agente está do sucesso", permitindo transferência robusta mesmo com dados imperfeitos.