Resumo Técnico: Transporte Ótimo Baseado em Vídeo para Aprendizado por Reforço Offline com Preferência e Eficiência de Feedback

Declaração do Problema

Agentes de Aprendizado por Reforço (RL) requerem funções de recompensa adequadas para resolver tarefas de tomada de decisão. Em cenários do mundo real, projetar manualmente recompensas densas e informativas é desafiador, muitas vezes exigindo instrumentação extensa (ex: captura de movimento, sensores táteis) e correndo o risco de especificação incorreta da recompensa, onde os agentes exploram atalhos indesejados. O Aprendizado por Reforço baseado em Preferência (PbRL) oferece uma alternativa ao aprender funções de recompensa a partir de feedbacks humanos sobre pares de trajetórias de comportamento. No entanto, a escalabilidade do PbRL é dificultada pelo alto custo da rotulagem humana, frequentemente exigindo milhares de consultas para aprender funções de recompensa eficazes. Embora trabalhos anteriores tenham explorado o aprendizado semissupervisionado e o meta-aprendizado para mitigar isso, o potencial de aproveitar a percepção visual humana — especificamente o espaço de representação estruturada de Modelos de Fundação de Vídeo (ViFMs) — para inferir preferências para dados não rotulados permanece pouco explorado.

Metodologia: Transporte Ótimo de Preferência Baseado em Vídeo (VOTP)

Os autores propõhem o VOTP, um framework semissupervisionado projetado para aprender funções de recompensa eficazes a partir de um número mínimo de rótulos de preferência humana (ex: 10 consultas), aproveitando dados não rotulados de conjuntos de dados offline. O método opera em duas etapas principais:

1. Representação de Trajetória via ViFMs

Em vez de depender de pares estado-ação brutos, o VOTP modela segmentos de trajetória como clipes de vídeo curtos. Esses clipes são incorporados em um espaço latente usando um Modelo de Fundação de Vídeo (ViFM) pré-treinado, especificamente o S3D treinado no HowTo100M. Esta escolha é motivada pela capacidade dos ViFMs de capturar tanto detalhes espaciais quanto dinâmicas temporais, fornecendo embeddings semanticamente ricos e agnósticos ao ator que são robustos a variações de incômodo (iluminação, viewpoint) e generalizam para ambientes robóticos não vistos.

2. Geração de Rótulos de Pseudo-Preferência via Transporte Ótimo

A inovação central do VOTP é o uso do Transporte Ótimo (OT) para alinhar pares de segmentos rotulados e não rotulados no espaço latente do ViFM para gerar pseudo-rótulos.

• Configuração: Seja $L$ o conjunto de segmentos rotulados com relações de preferência conhecidas codificadas em uma matriz antissimétrica $R$, e $U$ o conjunto de segmentos não rotulados.
• Plano de Transporte Ótimo: O VOTP calcula um plano de OT $\mu^*$ que minimiza o custo de transporte (distância Euclidiana ou de cosseno no espaço latente) entre as medidas empíricas de $L$ e $U$. Este plano $\mu_{ii'}$ representa a probabilidade de um segmento não rotulado $\bar{\sigma}_{i'}$ corresponder a um segmento rotulado $\sigma_i$.
• Inferência: A pontuação de preferência para um par não rotulado $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$ é inferida agregando preferências de todos os pares rotulados, ponderadas por suas forças de alinhamento relativo derivadas do plano de OT:
  $$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$$
  Esta pontuação é normalizada e limiarizada para atribuir um pseudo-rótulo ($\tilde{y} \in \{0, 1, 0.5\}$).
• Aprendizado de Recompensa: A função de recompensa é treinada usando tanto os dados rotulados originais quanto os novos dados pseudo-rotulados. Durante a fase de RL offline, a função de recompensa aprendida substitui as recompensas originais no conjunto de dados para otimizar a política.

Principais Contribuições

1. Framework VOTP: Introdução de um framework semissupervisionado que utiliza o Transporte Ótimo sobre o espaço latente de Modelos de Fundação de Vídeo para atribuir automaticamente rótulos de preferência a pares de trajetórias não rotuladas.
2. Eficiência de Feedback: Demonstração de que o VOTP pode aprender funções de recompensa e políticas eficazes a partir de apenas um punhado de consultas de preferência humana (ex: 10), reduzindo significativamente a carga de anotação em comparação com métodos de PbRL offline de última geração.
3. Robustez à Variação Visual: Validação de que aproveitar os ViFMs permite que o método mantenha o desempenho na presença de distratores visuais (mudanças de iluminação, variações de textura, fundos dinâmicos) onde outros métodos podem ter dificuldades.
4. Aplicabilidade no Mundo Real: Aplicação bem-sucedida do framework em tarefas de manipulação robótica no mundo real (Lift Banana, Drawer Open) usando um braço Sawyer de 7-DoF, alcançando taxas de sucesso superiores às das baselines com o mínimo de entrada humana.

Resultados Experimentais

Os autores avaliaram o VOTP em locomoção (D4RL), manipulação (MetaWorld) e tarefas robóticas do mundo real.

• Desempenho de Benchmark: No D4RL e MetaWorld, o VOTP superou consistentemente as baselines de PbRL offline de última geração (incluindo P-IQL, SURF, LiRE e FTB) sob orçamentos de feedback limitados. Notavelmente, o VOTP alcançou um desempenho comparável a uma baseline "Oracle" (que tem acesso a recompensas de verdade fundamental para dados não rotulados) em tarefas D4RL.
• Regime de Baixos Dados: Em experimentos variando o número de rótulos, o VOTP exigiu significativamente menos rótulos para atingir o desempenho de recompensa da tarefa em comparação com as baselines. Na tarefa door-open, o VOTP com apenas 10 rótulos superou as políticas treinadas com recompensas de verdade fundamental.
• Estudos de Ablação:
  • ViFMs vs. IFMs: Modelos de Fundação de Vídeo (S3D, VideoCLIP, InternVideo) superaram os Modelos de Fundação de Imagem (R3M, CLIP), destacando a importância de capturar dinâmicas temporais para o aprendizado de preferência.
  • OT vs. Similaridade: A estratégia de pseudo-rotulagem baseada em OT superou significativamente as baselines que dependiam de métricas simples de similaridade (SIM-individual, SIM-mean, SIM-weighted), demonstrando a eficácia do plano de transporte na agregação de informação de preferência.
  • Correlação de Recompensa: A função de recompensa aprendida pelo VOTP mostrou uma correlação de Pearson significativamente maior com as recompensas de verdade fundamental em comparação com o P-IQL, indicando melhor cobertura dos espaços de estado e ação.
• Avaliação em Robô Real: Em um robô Sawyer físico, o VOTP alcançou 80% de sucesso no "Lift Banana" e 70% no "Drawer Open", superando o Behavior Cloning (20-20%) e o P-IQL (50%). Crucialmente, o VOTP distinguiu corretamente entre trajetórias bem-sucedidas e falhas nas saídas de recompensa, enquanto o P-IQL atribuiu altas recompensas a comportamentos falhos.

Significância e Alegações

O artigo afirma que o VOTP representa uma solução escalável e prática para o Aprendizado por Reforço baseado em Preferência offline. Ao aproveitar o espaço de representação expressivo de Modelos de Fundação de Vídeo pré-treinados e o rigor matemático do Transporte Ótimo, o método efetivamente preenche a lacavra entre a supervisão humana limitada e a necessidade de ampla cobertura de recompensa. Os autores afirmam que esta abordagem reduz substancialmente a necessidade de supervisão humana, mantendo a robustez contra distratores visuais, tornando-a um caminho viável para o deployment de agentes de RL em ambientes complexos do mundo real onde a engenharia de recompensa é inviável.

Os autores reconhecem limitações relativas a potenciais vieses herdados dos ViFMs pré-treinados e o custo computacional de resolver o plano de OT para conjuntos de dados muito grandes, sugerindo trabalhos futuros em métodos de transporte aproximado. No entanto, dentro do escopo de seus experimentos, o método prova ser altamente eficaz para o aprendizado eficiente de feedback.