Resumo Técnico: RMTL – Aprendizado de Microtarefas Reforçado para Manipulação de Longo Horizonte com Recompensas de VLM

Declaração do Problema

O aprendizado por reforço (RL) para manipulação robótica de longo horizonte enfrenta um gargalo fundamental no design de recompensas. Recompensas densas projetadas manualmente são frágeis e frequentemente exigem estados privilegiados do simulador, enquanto aprender recompensas a partir de demonstrações humanas é caro e difícil de escalar. Abordagens recentes utilizam Modelos de Visão-Linguagem (VLMs) congelados como modelos de recompensa zero-shot, substituindo o design manual por um único prompt de texto que descreve o objetivo final.

No entanto, os autores identificam um modo de falha crítico neste regime de "prompt único": para tarefas de longo horizonte com condições iniciais randomizadas, um prompt global único gera uma recompensa quase plana ao longo da maior parte da trajetória. Isso ocorre porque o robô deve passar por estágios qualitativamente diferentes (ex: aproximar-se, alinhar, agarrar) antes de atingir o estado final; consequentemente, estados intermediários iniciais muitas vezes possuem baixa similaridade semântica com o prompt do objetivo final. Como resultado, o agente recebe pouco ou nenhum sinal de gradiente para guiar a exploração inicial. Além disso, a pontuação de VLM de visão única é suscetível a ruídos de oclusão (ex: a garra bloqueando o objeto), degradando ainda mais o sinal.

Metodologia: RMTL

Os autores propõem o Aprendizado de Microtarefas Reforçado (RMTL), um pipeline projetado para decompor a tarefa de manipulação em uma sequência de microtarefas descritas por linguagem, criando assim um cenário de recompensa mais informativo. O método opera no ambiente de manipulação Fetch utilizando um VLM congelado (PE-Core-bigG-14-448) e consiste nos seguintes componentes principais:

1. Decomposição de Microtarefas e Recompensa por Fases

Em vez de um único prompt global, o RMTL decompõe a tarefa em $K$ prompts curtos e específicos de cada estágio (ex: "aproximar", "alinhar", "agarrar").

• Seleção Ativa de Prompts: Em qualquer passo de tempo dado, o agente é avaliado apenas contra o prompt correspondente à microtarefa ativa no momento.
• Cálculo da Recompensa: A recompensa é calculada como a similaridade de cosseno entre o embedding da imagem e o embedding de texto da microtarefa ativa, projetada ao longo do eixo semântico definido pela diferença entre o prompt alvo e um prompt de "sem progresso" de base.
• Transformação de Sinal: Esta decomposição transforma o sinal de prompt único quase plano em um sinal de monotonia por partes, permitindo que o agente receba gradientes positivos conforme progride através de cada estágio específico.

2. Agregação Multi-Visão

Para mitigar oclusões e ambiguidades específicas de visualização, o sistema renderiza $V=6$ pontos de vista de câmera fixos. O VLM pontua cada visão independentemente contra o prompt da microtarefa ativa, e essas pontuações são agregadas pela média aritmética para produzir a recompensa escalar. Esta abordagem suaviza flutuações por visão e ruídos de oclusão sem fundir os dados de pixels previamente.

3. Aprendizado de Currículo Reverso

Treinar diretamente em condições iniciais totalmente randomizadas é frágil porque a recompensa do VLM é pouco informativa quando o agente começa longe do objeto. O RMTL emprega um currículo reverso que amplia gradualmente a distribuição das poses iniciais da garra, partindo de uma região "fácil" (próxima ao objeto) para o espaço de trabalho totalmente randomizado. A progressão para condições iniciais mais difíceis é controlada por estatísticas de sucesso online, garantindo que o agente só enfrente desafios maiores após resolver confiavelmente o nível atual.

4. Aprendizado de Política Hierárquica (Dois Estágios)

O sistema treina em dois estágios distintos para transitar de uma seleção baseada em regras para uma seleção de fase totalmente aprendida:

• Estágio 1 (Baseado em Regras): Um trabalhador PPO é treinado usando uma regra determinística baseada em distância para selecionar a microtarefa ativa. Isso fornece uma base estável e gera dados para o próximo estágio.
• Estágio 2 (Gerenciador Aprendido): Um gerenciador hierárquico pequeno, de ação discreta (um MLP pequeno), é introduzido para substituir o seletor baseado em regras.
  • Warmstart: O gerenciador é inicializado via Clonagem de Comportamento (BC) usando os rótulos da regra do Estágio 1.
  • Refinamento: O gerenciador é refinado adicionalmente via REINFORCE em retornos de segmento, enquanto o ator do PPO é inicialmente congelado para estabilizar o alvo de aprendizado.
  • Resultado: Isso transforma a seleção de fase heurística em uma política hierárquica totalmente aprendida.

Principais Contribuições

O artigo reivindica quatro contribuições primárias:

1. Decomposição de Microtarefas: Demonstrar que dividir a recompensa do VLM em três prompts específicos de estágio converte um sinal quase plano em um sinal de monotonia por partes escalável, permitindo que o PPO converja onde os baselines de prompt único falham.
2. Gerenciador Hierárquico Aprendido: Mostrar que um gerenciador aprendido pequeno, iniciado via warmstart a partir de um seletor baseado em regras, pode igualar ou exceder o desempenho da regra mantendo-se estável, automatizando efetivamente a seleção de fase.
3. Agregação Multi-Visão: Provar que a média das pontuações do VLM entre múltiplas visões reduz o ruído de oclusão e produz um sinal de treinamento mais suave do que qualquer visão única, sem penalizar a forma do gradiente.
4. Currículo Reverso: Estabelecer que um currículo reverso é necessário para preencher a lacuna entre as condições iniciais fáceis e o regime de inicialização aleatória, já que as recompensas de linguagem sozinhas são insuficientes para impulsionar a exploração nos cenários mais difíceis.

Resultados Experimentais

Experimentos foram conduzidos no ambiente FetchPickAndPlace-v4 com condições iniciais randomizadas.

• Desempenho: A pilha completa do RMTL com o gerenciador aprendido alcançou uma taxa de sucesso de ~98% em inicializações aleatórias.
• Comparações:
  • Baseline de Prompt Único: Variantes usando um prompt global único (com visão única ou multi-visão) falharam em convergir (0% de sucesso).
  • Regra vs. Gerenciador Aprendido: O gerenciador aprendido superou a regra baseada em distância (98% vs. 94%), apesar de concordar com a regra apenas 73% das vezes. Isso sugere que a regra é um bom viés indutivo, mas subótimo.
  • PPO Não-Hierárquico: Um trabalhador PPO padrão sem decomposição hierárquica alcançou 89% de sucesso.
• Qualidade da Recompensa: A análise mostrou que a agregação multi-visão produziu trajetórias de recompensa mais suaves do que as visões únicas, e que a decomposição de microtarefas forneceu gradientes significativamente mais informativos do que a abordagem de prompt único.

Significância e Alegações

O artigo postula que decompor as recompensas de VLM em prompts de linguagem específicos para microtarefas melhora substancialmente a escalabilidade do aprendizado por reforço guiado por linguagem para manipulação robótica. Ao abordar o modo de falha de "recompensa quase plana" das abordagens de prompt único, o RMTL permite que agentes aprendam tarefas complexas de longo horizonte usando apenas observações visuais e linguagem natural, sem a necessidade de estados privilegiados do simulador ou demonstrações humanas dispendiosas.

Os autores observam que, embora a abordagem seja eficaz, ela herda as limitações perceptivas do VLM subjacente (ex: sensibilidade à iluminação e textura) e atualmente depende de prompts escritos à mão. Trabalhos futuros visam automatizar o processo de geração de prompts usando Grandes Modelos de Linguagem (LLMs) para desmontar tarefas de alto nível em microtarefas, removendo o último elemento manual do pipeline.