Resumo Técnico: LEGS – Fine-Tuning de VLAs para Loco-manipulação Humanoide sem Teleoperação

Declaração do Problema

O treinamento de políticas de Visão-Linguagem-Ação (VLA) para loco-manipulação humanoide é atualmente limitado pelo alto custo e complexidade da coleta de demonstrações por teleoperação humana. As abordagens existentes enfrentam trade-offs significativos:

• Teleoperação: Vincula a coleta de dados ao trabalho do operador e ao tempo de atividade do robô, escalando mal devido à fadiga e exigindo captura por cena.
• Retargeting de Demonstrações Humanas: Remove o robô do ciclo, mas ainda exige a captura egocêntrica cara de humanos para cada cena.
• Gaps de Simulação: Simuladores convencionais baseados em malhas (mesh) introduzem um gap visual "sim-to-real". Mesmo pipelines que utilizam SAM3D para reconstrução de objetos sofrem com incompatibilidades de sombreamento de materiais, iluminação simplificada e aliasing, o que enviesa o codificador visual e dificulta a transferência eficaz para robôs reais.

O desafio central é gerar dados de alta fidelidade e rotulados para loco-manipulação sem teleoperação humana, que possam realizar o fine-tuning eficaz de modelos VLA pré-treinados para transferência zero-shot para hardware humanoide real.

Metodologia: O Framework LEGS

Os autores propõem o LEGS (Loco-manipulation via Embodied Gaussian Splatting), um simulador híbrido projetado para fechar o gap visual sim-to-real enquanto desacopla a geração de movimento da aparência da cena.

1. Arquitetura de Renderização Híbrida

O LEGS compõe um foreground de malha dinâmica sobre um background de Gaussian Splatting 3D (3DGS) estático e fotorealista:

• Background (3DGS): Reconstruído a partir de um vídeo portátil de curta duração (1–2 minutos) da cena alvo usando COLMAP e otimização 3DGS. Isso fornece novos ângulos de visão com erros de renderização minimizados em relação às fotografias reais, eliminando efetivamente o gap visual para ambientes estáticos.
• Foreground (Mesh): Consiste no robô (URDF) e objetos/adereços manipuláveis (reconstruídos via SAM3D a partir de uma única imagem). Estes são rasterizados e compostos por profundidade sobre o background 3DGS.
• Calibração de Cor: Para alinhar o composto com a câmera de implantação, o LEGS emprega uma calibração determinística de dois estágios:
  1. Escala por malha ($R$): Uma escala diagonal em RGB linear que iguala a média renderizada de cada malha ao scan portátil dentro de sua máscara SAM2, corrigindo erros de regressão de albedo do SAM3D (ex: restaurando o cinza lavado para preto).
  2. Matriz Global ($M$): Uma matriz de correção de cor $3\times3$, ajustada via mínimos quadrados em um ColorChecker, que desloca o background 3DGS para o espaço de cor da câmera de implantação.

2. Física e Controle

• Backend de Física: Utiliza MuJoCo a 500 Hz para resolver a dinâmica na geometria da malha, separadamente do pipeline de renderização.
• Controlador: Emprega o SONIC, um controlador de corpo inteiro de baixo nível treinado por RL. Ele aceita um fluxo de comando de 18 dimensões (pose SE(3) do pulso de 6-D + pose/grip da parte superior do corpo de 14-D + comando de base de 4-D). O mesmo código binário roda na simulação e no robô real, garantindo que a implantação não exija mudanças na política.

3. Geração Procedural de Dados

O LEGS substitui a teleoperação humana por um gerador de primitivas de movimento procedural:

• Desacoplamento: O movimento é registrado como um fluxo de comando independente das entradas de renderização.
• Primitivas: Tarefas são decompostas em movimentos de alto nível (Caminhar, Pegar, Colocar), compostos de primitivas de nível inferior com argumentos de nível de cena (pose alvo, identidade do objeto).
• Verificação: Episódios só são salvos se os checks de verificação passarem.
• Re-renderização: Como o movimento é desacoplado da aparência, o mesmo dataset pode ser re-renderizado sob novos backgrounds, malhas de objetos e condições de câmera ao custo de processamento de GPU, sem necessidade de nova coleta de movimento.

Principais Contribuições

1. Pipeline de Dados Sem Teleoperação: Um simulador procedural que gera dados rotulados de loco-manipulação inteiramente em simulação, sem qualquer demonstração coletada por humanos (teleoperação, demos semente ou vídeo humano).
2. Renderização Fotorealista para Transferência: Demonstra que a combinação de backgrounds 3DGS com foregrounds de malha e calibração de cor supera significativamente os baselines de apenas malha, provando que o fotorealismo é um habilitador chave para a transferência sim-to-real.
3. Aumento Escalável: Um workflow massivamente paralelizável que adapta a novos cenários e objetos ao re-renderizar os dados de movimento existentes. Isso reduz o custo marginal de adaptação a uma nova condição de aparência de >1,5 horas de trabalho humano para ~0,1 horas de tempo de GPU.
4. Avaliação Extensa em Robô Real: Validação em três backbones VLA de estado da arte ($\psi_0$, $\pi_{0.5}$, GR00T N1.6) e três tarefas de dificuldade crescente em um robô Unitree G1, totalizando 1.110 tentativas.

Resultados Experimentais

Os autores avaliaram o LEGS em três tarefas de pick-and-place em um Unitree G1:

• Tarefa 1: Apenas manipulação (sem locomoção).
• Tarefa 2: Loco-manipulação (caminhar até a mesa, pegar, colocar).
• Tarefa 3: Loco-manipulação complexa (caminhar, pegar, girar, caminhar até uma mesa baixa, agachar, colocar).

Principais Descobertas:

• LEGS vs. Teleoperação: Uma política refinada puramente com dados do LEGS (200 episódios) igualou ou superou uma política refinada com teleoperação humana (50 episódios) em todas as tarefas e backbones. Notavelmente, na difícil Tarefa 3, os baselines de teleoperação colapsaram para 0% de sucesso em todos os backbones, enquanto o LEGS alcançou 2–6/10 de sucesso.
• LEGS vs. Baseline de Apenas Malha: O LEGS superou significativamente um baseline de apenas malha (SAM3D) que carecia do background 3DGS e da calibração de cor. O baseline de apenas malha teve média de 33% de sucesso contra os 67% do LEGS, com o gap aumentando durante as etapas de manipulação de curto alcance (pick/place).
• Orçamento Equivalente: Mesmo com um orçamento correspondente de 50 episódios, o LEGS (50) igualou ou venceu a Teleoperação (50), confirmando que os ganhos não se devem apenas ao volume de dados.
• Adaptação a Mudanças de Aparência: Quando testado em variações de objetos e cenas fora da distribuição (ex: trocar laranja por maçã, mesa por mesa azul):
  • Baselines treinados nos dados padrão (Teleop, SAM3D, LEGS) falharam totalmente (0–1/10 de sucesso).
  • LEGS-AUG, que re-renderizou o movimento para a nova aparência, manteve altas taxas de sucesso (até 100% na Tarefa 1), superando o baseline SAM3D-AUG re-renderizado. Isso confirma que a re-renderização permite a adaptação, enquanto o fotorealismo garante a precisão.

Significância e Alegações

O artigo afirma que a renderização fotorealista e a geração de movimento procedural são substitutos suficientes para a teleoperação humanoide na etapa de coleta de dados.

• Transferência Zero-Shot: O LEGS permite que modelos VLA pré-treinados realizem o fine-tuning para transferir para robôs reais zero-shot, superando modelos treinados com dados de teleoperação do mundo real.
• Eficiência de Custo: A abordagem transforma a adaptação de dados de um problema limitado pelo operador para um problema limitado pelo computo, reduzindo o custo de adaptação para novos cenários em mais de 15x comparado à teleoperação.
• Generalização: O sucesso em três backbones VLA distintos sugere que os benefícios são inerentes ao pipeline de dados, e não a uma arquitetura de modelo específica.

Os autores reconhecem limitações, incluindo sensibilidade a mudanças de iluminação fora da distribuição do scan original, degradação em superfícies altamente reflexivas/transparentes e a suposição de backgrounds estáticos. No entanto, concluem que o LEGS fornece um caminho robusto e escalável para o treinamento de políticas de loco-manipulação humanoide sem os custos proibitivos da coleta de dados no mundo real.