HOIST: Humanoid Optimization with Imitation and Sample-efficient Tuning for Manipulating Suspended Loads

Resumo Técnico: HOIST – Otimização Humanoide com Imitação e Ajuste de Eficiência de Amostragem para Manipulação de Cargas Suspensas

1. Definição do Problema

O artigo aborda o desafio do içamento humanoide: o uso de um robô humanoide para posicionar uma carga subatuada suspensa externamente. Diferente das tarefas padrão de coleta e posicionamento (pick-and-place) onde o robô agarra rigidamente um objeto, a carga neste cenário está suspensa (por exemplo, por um guindaste ou cabo) e se comporta como um pêndulo oscilatório. O robô não pode atuar diretamente na carga; ele pode apenas influenciar o movimento da carga através de locomoção de corpo inteiro, postura corporal e forças de contato intermitentes (empurrar).

Principais dificuldades incluem:

• Subatuação e Dinâmica: A carga continua a oscilar após o cessar do contato, levando ao sobrepasso (overshoot) e à oscilação residual.
• Segurança e Eficiência: O Aprendizado por Reforço (RL) direto do zero em humanoides reais é inseguro devido ao risco de movimentos instáveis e contatos rígidos. Por outro lado, o Aprendizado por Imitação (IL) puro a partir de demonstrações frequentemente falha em otimizar a precisão do posicionamento final ou em corrigir erros de execução em malha fechada.
• Complexidade da Tarefa: O sucesso requer coordenação de equilíbrio de corpo inteiro, temporização precisa de contato e comportamentos específicos de parada para amortecer a oscilação da carga.

2. Metodologia: O Framework HOIST

O HOIST (Humanoid Optimized with Imitation and Sample-efficient Tuning) é um pipeline de três estágios projetado para preencher a lacuna entre a inicialização segura e a otimização de nível de tarefa.

A. Coleta de Dados de Teleoperação

• Operadores humanos utilizam headsets de VR e controles para teleoperar um robô humanoide através da sequência de içamento (aproximação, contato, empurrão, parada).
• As trajetórias são registradas como pares estado-ação, incluindo observações visuais, estados proprioceptivos e comandos de planejamento.
• Essas demonstrações fornecem uma política de comportamento inicial segura que evita falhas catastróficas durante a implantação inicial.

B. Ajuste Fino Supervisionado de VLA

• Uma política de alto nível de Visão-Linguagem-Ação (VLA) é ajustada utilizando os dados de teleoperação coletados. O modelo base é adaptado a partir do GR00T N1.6.
• Modalidades de Entrada: A política processa entradas multimodais, incluindo imagens RGB/profundidade integradas, imagens externas de visão lateral (para capturar a relação carga-alvo), estados proprioceptivos (juntas/base/IMU), instruções de linguagem e comandos de navegação anteriores.
• Modificações de Arquitetura:
  • Comandos de navegação são adicionados como uma modalidade explícita ao modelo de visão-linguagem.
  • Imagens de profundidade e velocidade do ego são adicionadas ao especialista de ação baseado em flow-matching para condicionar à geometria da cena e ao estado físico.
  • Apenas as quatro camadas finais do VLM, o especialista de ação diffusion-transformer e os novos codificadores de modalidade são ajustados; o restante do modelo de fundação permanece congelado para preservar os conhecimentos prévios gerais.
• Saída: A política prevê um bloco de curto horizonte de incrementos de comando relativo ($\Delta U_t$) para alvos das mãos, pose da cabeça, navegação e altura da base. Estes são acumulados em comandos de planejamento completos.

C. Execução de Corpo Inteiro Fixa

• Os comandos de planejamento de alto nível são executados por um controlador de corpo inteiro desacoplado e fixo (baseado na pilha GR00T WBC).
• O controlador de baixo nível lida com o equilíbrio, estabilização de juntas e forças de contato. Crucialmente, o controlador de baixo nível não é ajustado; toda a adaptação da tarefa ocorre no estágio de geração de comando de alto nível.

D. Refinamento por RL de Eficiência de Amostragem

• Para corrigir vieses sistemáticos na política aprendida por imitação (ex: empurrar excessivamente ou insuficientemente de forma consistente), o HOIST emprega RL em lotes iterativos.
• Processo:
  1. A política VLA ajustada é implantada para coletar um pequeno lote de execuções (rollouts) autônomas.
  2. Essas execuções são rotuladas com recompensas específicas de içamento (uma combinação ponderada de erro de posicionamento translacional e erro angular bruto).
  3. Um módulo ator-crítico é treinado offline para prever um "vetor de direção de ruído inicial" para o especialista de ação de flow-matching. Este ator produz deterministicamente um vetor de correção para direcionar o processo de geração da política VLA congelada.
  4. A própria política VLA permanece congelada; apenas o ator-crítico de direção de ruído é atualizado.
  5. As características do VLM da política congelada são armazenadas em cache e reutilizadas para maximizar a eficiência.
• Este ciclo se repete, permitindo que o sistema refine a precisão do posicionamento e o comportamento de parada com o mínimo de dados do mundo real.

3. Principais Contribuições

1. Formulação do Problema: A introdução do "içamento humanoide" como um problema distinto de manipulação de corpo inteiro envolvendo cargas suspensas e oscilatórias externamente.
2. O Framework HOIST: Um novo pipeline que combina teleoperação via VR, ajuste fino de VLA supervisionado, execução de corpo inteiro fixa e refinamento de RL de eficiência de amostragem (via direção de ruído) para manipulação de carga suspensa.
3. Avaliação Empírica: Experimentos abrangentes em simulação e em uma plataforma humanoide real, demonstrando que o refinamento por RL supera a simples adição de mais demonstrações e analisando o impacto das modalidades de entrada e contagens de execução.

4. Resultados Experimentais

O artigo avalia o HOIST contra modelos de referência (baselines), incluindo imitação pura (VLA-50, VLA-80) e teleoperação humana.

• Ganhos de Desempenho:
  • Em simulação, o HOIST (50 demonstrações + 30 execuções de RL) reduziu o erro de posicionamento translacional em 19,9 cm e o erro angular bruto em 3,56° em comparação com as execuções puras de VLA (VLA-50).
  • Na plataforma real, o HOIST alcançou um erro de posição Manhattan total de 6,38 cm, superando o VLA-80 (8,57 cm) que utilizou 30 demonstrações adicionais, mas sem RL.
• RL vs. Demonstrações Adicionais: Os resultados indicam que otimizar recompensas de posicionamento em malha fechada via RL é mais eficaz para corrigir erros de posição final do que simplesmente aumentar o número de demonstrações teleoperadas.
• Estudos de Ablação:
  • A adição de imagens de profundidade e condicionamento de comandos de navegação à entrada do VLA melhorou significativamente a política inicial aprendida por imitação antes do refinamento por RL.
  • A análise de movimento residual (via IMU na carga) mostrou que, embora o HOIST gere leituras de acelerômetro mais altas (indicando correção ativa), ele reduz as respostas do giroscópio (movimento angular) em aproximadamente metade comparado às políticas apenas de imitação, sugerindo um melhor amortecimento da oscilação residual.

5. Significância e Alegações

O artigo afirma que o HOIST demonstra o potencial dos humanoides para tarefas de movimentação de materiais subatuadas, um domínio atualmente dominado por trabalhadores humanos devido a riscos de segurança (risco de ser atingido ou preso).

• Segurança e Eficiência: Ao partir de dados de teleoperação seguros e usar RL apenas para o refinamento de comando de alto nível, o HOIST evita os riscos de segurança e a ineficiência de amostragem de treinar do zero no hardware real.
• Correção de Viés: O trabalho destaca que o aprendizado por imitação sozinho sofre com mudanças de distribuição no momento da implantação (onde os próprios erros do robô alteram a dinâmica da tarefa). O refinamento por RL do HOIST visa especificamente esses vieses sistemáticos para melhorar a precisidade final.
• Limitações Modestas: Os autores reconhecem que o sistema é atualmente limitado pelo controlador de corpo inteiro de baixo nível fixo, que não pode adaptar explicitamente as forças para diferentes pesos de carga. Consequentemente, o sistema tem dificuldade com objetos mais pesados, onde são necessárias forças maiores e adaptativas.

Em resumo, o HOIST apresenta uma abordagem prática para permitir que humanoides manipulem cargas suspensas, combinando a segurança do aprendizado por imitação com o poder de otimização do aprendizado por reforço de eficiência de amostragem, especificamente adaptado para a dinâmica de sistemas subatuados e oscilatórios.