Resumo Técnico: Treinamento Pós-Treinamento Hierárquico para Agentes Incorporados (HiRoC)

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) têm mostrado promessa na manipulação robótica ao unificar percepção visual, compreensão de linguagem e geração de ação. No entanto, os métodos de pós-treinamento existentes tratam predominantemente os modelos VLA como políticas planas, mapeando instruções globais de tarefas diretamente para ações de baixo nível. Esta abordagem enfrenta limitações significativas em cenários do mundo real:

1. Falta de Progressão Explícita da Tarefa: Políticas planas mantêm a mesma instrução global durante toda a execução, falhando em modelar explicitamente a estrutura por estágios de tarefas complexas de longo horizonte.
2. Acúmulo de Erros: Sem âncoras semânticas intermediárias (submetas), pequenos desvios de execução se acumulam ao longo do tempo, levando à degradação da tomada de decisão ou falha da tarefa.
3. Aprendizado Hierárquico Ineficaz: Embora abordagens hierárquicas existam, elas geralmente dependem de aprendizado supervisionado a partir de demonstrações offline e têm dificuldade em melhorar a execução através de interação online. Além disso, os métodos de Aprendizado por Reforço (RL) online existentes ainda otimizam políticas planas em vez de estruturas de planejador-executor hierárquicas.

O desafio central reside em criar um framework de pós-treinamento que desacople efetivamente o planejamento de alto nível da execução de baixo nível, garantindo que os dois módulos colaborem eficientemente sem sofrer de desalinhamento de distribuição.

Metodologia: Framework HiRoC

Os autores propõem o Hierarchical Robotic Control (HiRoC), um framework de pós-treinamento hierárquico que integra decomposição de tarefas, alinhamento planejador-executor e aprendizado por reforço online. O framework consiste em dois módulos primários: um Planejador de alto nível e um Executor de baixo nível.

1. Treinando o Planejador via Ajuste Fino Supervisionado (SFT)

O planejador é responsável por decompor instruções de tarefas globais em submetas executáveis baseadas em observações atuais.

• Preparação de Dados: Os autores reorganizam conjuntos de dados multimodais existentes (ex: do VLA-OS) para criar um conjunto de dados limpo e consistente ($D_{plan}$), onde as trajetórias são anotadas com a próxima submeta imediata.
• Otimização: O planejador (baseado em um backbone VLM como Qwen2.5-VL) é treinado via SFT para prever a sequência de tokens da próxima submeta condicionada ao estado multimodal atual ($s_t$) e aos tokens de submetas anteriores.
• Congelamento: Uma vez treinado, o planejador é congelado durante o subsequente ajuste de RL para preservar suas capacidades de decomposição de tarefas e evitar mudanças de distribuição.

2. Treinando o Executor via SFT e Ajuste de RL

O executor gera ações de baixo nível condicionadas à submeta atual fornecida pelo planejador.

• Abordagem do Desalinhamento de Distribuição (DM): Um desafio crítico é que os VLAs pré-treinados são otimizados para metas globais, não para submetas intermediárias. Acoplar diretamente um planejador a um executor pré-treinado leva a um "cold start" devido ao desalinhamento de distribuição.
  • Solução: Os autores reorganizam os dados de trajetória em amostras condicionadas a submetas ($s_i, l_i, a_i$) e realizam o SFT Condicionado a Submetas no executor. Isso alinha a política do executor com a saída do planejador antes do início do RL.
• Aprendizado por Reforço Online (RL): O executor é otimizado adicionalmente via interação online com o ambiente, guiado pelo planejador congelado.
  • GRPO Hierárquico: Os autores introduzem um objetivo de Otimização de Política Relativa de Grupo (GRPO) que incorpora sinais de aprendizado tanto globais quanto locais.
    • Vantagem Global ($A_{task}$): Derivada da recompensa cumulativa da trajetória completa.
    • Vantagem Local ($A_{sub}$): Derivada do progresso feito nas submetas intermediárias registradas durante o rollout.
  • Integração Ponderada: O sinal de vantagem final ($\hat{A}_i$) é uma soma ponderada das vantagens globais e locais. Os pesos ($w_t, w_s$) são equilibrados adaptativamente com base no número médio de submetas por trajetória e no comprimento da trajetória, garantindo que tarefas com diferentes complexidades recebam supervisão apropriada.
  • Atualização da Política: O executor é atualizado usando um objetivo de ator clipado estilo PPO, otimizando a razão de probabilidade dos tokens de ação enquanto limita o desvio da política.

Principais Contribuições

1. Framework HiRoC: A proposta de um framework de pós-treinamento hierárquico que separa explicitamente o planejamento de tarefas de alto nível da execução de ações de baixo nível, permitindo raciocínio estruturado e manipulação robusta de longo horizonte.
2. Estratégia de Treinamento Colaborativo:
   • Alinhamento de Distribuição: Um estágio de SFT condicionado a submetas que faz a ponte entre as submetas geradas pelo planejador e a execução pelo executor, mitigando o problema de "cold start".
   • Objetivo de RL Hierárquico: Uma nova formulação de GRPO que explora conjuntamente sinais de aprendizado de nível de tarefa (global) e de nível de submeta (local), fornecendo orientação mais estruturada para a otimização da política.
3. Validação Empírica: Experimentos extensos demonstrando melhorias de desempenho consistentes em diversos benchmarks de manipulação robótica.

Resultados Experimentais

Os autores avaliaram o HiRoC no benchmark LIBERO (suítes Goal, Spatial, Object e Long) e na suíte de generalização LIBERO-Plus.

• Desempenho Geral: O HiRoC alcançou desempenho de Estado da Arte (SOTA), superando fortes baselines incluindo políticas VLA planas (OpenVLA), outros métodos baseados em RL (VLA-RL, TGRPO) e abordagens baseadas em modelos de mundo.
  • Na suíte LIBERO-Long, o HiRoC alcançou uma taxa de sucesso de 98%, superando significativamente os baselines e demonstrando a eficácia do controle hierárquico para tarefas complexas.
  • O método mostrou uma melhoria média de 10,06% entre os benchmarks em comparação aos baselines.
• Generalização (Zero-Shot): No LIBERO-Plus, que introduz sete tipos de perturbações, o HiRoC demonstrou generalização superior comparado a modelos baseados em SFT e abordagens de modelo de mundo, atribuído à sua capacidade de decompor metas em submetas gerenciáveis.
• Estudos de Ablação:
  • Remover o planejador (w/o Plan) degradou significativamente o desempenho, confirmando a necessidade de decomposição explícita de tarefas.
  • Remover o pré-treinamento de desalinhamento de distribuição (DM) resultou em um "cold start" severo e menor desempenho final.
  • Remover o GRPO local (w/o L) mostrou que, embora o GRPO global seja primário, o sinal de submeta local fornece melhorias complementares.
• Transferência para o Mundo Real: Um experimento sim-to-real em uma plataforma robótica física implantou com sucesso a política treinada sem necessidade de ajuste fino adicional, validando a aplicabilidade prática do framework.

Significância e Alegações

O artigo afirma que o HiRoC aborda a limitação fundamental das políticas VLA planas ao lidar com tarefas robóticas de longo horizonte e múltiplos estágios. Ao modelar explicitamente a progressão da tarefa através de uma hierarquia planejador-executor e resolver o problema do desalinhamento de distribuição via SFT direcionado e RL hierárquico, o HiRoC permite que agentes realizem manipulação robusta e autocorretiva.

Os autores enfatizam que, embora seu trabalho atual foque em pós-treinamento hierárquico, direções futuras incluem explorar o treinamento end-to-end e mecanismos de decomposição mais robustos para lidar com a incerteza em sistemas físicos. O trabalho ressalta a importância de combinar a decomposição de tarefas hierárquica com a otimização de política baseada em aprendizado por reforço para o avanço da manipulação robótica de propósito geral.