A Rapid Deployment Pipeline for Autonomous Humanoid Grasping Based on Foundation Models

Título: Um Pipeline de Implantação Rápida para Agarramento Autônomo de Humanoides Baseado em Modelos de Fundação

1. Problema Abordado

A implantação de robôs humanoides para manipular novos objetos em ambientes não estruturados enfrenta um gargalo significativo: o ciclo tradicional de "onboarding" (integração) de um novo objeto leva de 1 a 2 dias. Este processo envolve etapas demoradas e dependentes de hardware especializado:

• Coleta de dados visuais.
• Anotação manual de caixas delimitadoras (bounding boxes).
• Aquisição de modelos 3D precisos (geralmente exigindo scanners a laser ou de luz estruturada caros e inconvenientes).
• Treinamento de modelos de percepção e planejamento de agarramento.

Essa dependência de hardware especializado e intervenção manual intensiva impede a iteração rápida e a aplicação prática em cenários industriais ou de serviço dinâmicos.

2. Metodologia Proposta

Os autores propõem um pipeline de implantação rápida e end-to-end que integra três componentes baseados em Modelos de Fundação (Foundation Models) para reduzir o tempo de integração de um novo objeto para aproximadamente 30 minutos. O sistema é dividido em três estágios:

A. Preparação de Ativos Offline (30 min totais):

1. Anotação Automática: Coleta de 150 imagens do objeto com uma câmera RealSense D435i. As imagens são processadas pelo Roboflow, que utiliza o modelo Meta SAM (Segment Anything Model) para gerar automaticamente caixas delimitadoras, minimizando a intervenção humana.
2. Treinamento de Detecção: Um modelo YOLOv8 é fine-tuned com os dados anotados para detectar o objeto em tempo real.
3. Reconstrução 3D: Uma única fotografia do objeto é enviada ao Meta SAM 3D para gerar uma malha texturizada. Isso elimina a necessidade de scanners a laser. A malha é exportada em formatos compatíveis (.glb para simulação, .obj para rastreamento).

B. Percepção Online:

• O sistema executa uma cascata de redes neurais. O YOLOv8 detecta o objeto a cada 5 quadros para economizar recursos.
• A região de interesse (ROI) definida pela detecção é usada para inicializar o FoundationPose, um estimador de pose zero-shot (sem necessidade de re-treinamento por objeto).
• O FoundationPose realiza o rastreamento de 6 graus de liberdade (6-DoF) usando a malha gerada pelo SAM 3D como template, operando em dois modos: registro (inicialização) e rastreamento (iteração por quadro).
• Um autômato de estados finito gerencia o rastreamento, tratando perdas de objeto e re-inicialização baseada em novas detecções do YOLO.

C. Execução Sim-to-Real:

• A pose estimada é consumida por um planejador de Cinemática Inversa (IK) baseado em Unity, que cria um "gêmeo virtual" do robô.
• O planejador gera trajetórias de agarramento multi-etapa (aproximação, descida, fechamento da garra, levantamento).
• Os comandos das juntas são normalizados e transmitidos via UDP para um bridge em C++ que utiliza o SDK do Unitree G1 para controlar o robô humanoide físico e sua mão dextra (Dex3).

3. Principais Contribuições

1. Pipeline Integrado de Modelos de Fundação: A primeira integração de reconstrução 3D via SAM 3D com rastreamento de pose zero-shot via FoundationPose especificamente para manipulação de humanoides, substituindo scanners a laser por câmeras comuns.
2. Redução drástica do Tempo de Implantação: Compressão do ciclo de integração de dias para ~30 minutos, tornando a adaptação a novos objetos viável em tempo real.
3. Validação de Generalidade: Demonstração de que a mesma arquitetura pode ser reutilizada para tarefas estruturalmente diferentes (ex: aplicação de cola em janelas de automóveis) apenas trocando o modelo do objeto e o template de trajetória, sem modificar o algoritmo central.
4. Abordagem Modular vs. VLA: Diferente dos modelos Vision-Language-Action (VLA) que exigem grandes conjuntos de dados e fine-tuning, esta abordagem modular oferece maior interpretabilidade, debuggability e estabilidade para tarefas de precisão.

4. Resultados Experimentais

Os experimentos foram realizados no robô humanoide Unitree G1 com uma mão Dex3:

• Desempenho de Detecção (YOLOv8):
  • Precisão (Precision): 1.000
  • Revocação (Recall): 0.997
  • mAP@0.5: 0.995
  • Tempo de inferência: ~30.8 ms (32 fps), atendendo à taxa de quadros da câmera.
• Rastreamento de Pose (FoundationPose):
  • Precisão de localização em cenário estático: σ < 1.05 mm.
  • Taxa de sucesso de rastreamento: 100% em cenários dinâmicos (objeto na mão) e com oclusão parcial.
  • O sistema mantém estabilidade mesmo com ambiguidades geométricas em objetos cilíndricos.
• Sucesso de Agarramento:
  • Sucesso em 5 posições distintas dentro da área de trabalho (centro, cantos, etc.).
  • O robô conseguiu agarrar e levantar a garra com sucesso, validando o ciclo fechado de percepção-ação.
• Tempo de Implantação:
  • Total: ~30 minutos (5 min coleta, 5 min anotação, 10 min treino YOLO, 5 min reconstrução 3D, 5 min config Unity).
  • Comparado a horas/dias no método tradicional.
• Tarefa Estendida: O pipeline foi aplicado com sucesso na tarefa de aplicar cola na janela traseira de um carro, demonstrando flexibilidade além do agarramento simples.

5. Significado e Conclusão

Este trabalho demonstra que a combinação de Modelos de Fundação com dispositivos de imagem de consumo (como câmeras de smartphones ou RGB-D comuns) pode remover barreiras significativas para a implantação de robôs humanoides.

• Impacto Prático: Permite que operadores não especialistas implantem capacidades de manipulação em robôs em minutos, não em dias.
• Viabilidade Industrial: A abordagem modular e sem necessidade de grandes conjuntos de dados de treinamento (training-free na fase de percepção) torna o sistema mais adequado para cenários industriais que exigem alta estabilidade e precisão do que as abordagens VLA puramente baseadas em dados.
• Limitações Futuras: O artigo reconhece desafios com objetos reflexivos ou transparentes (onde o SAM 3D pode falhar na reconstrução) e a necessidade de melhorar a recuperação de oclusão total.

Em suma, o artigo estabelece um novo padrão para a agilidade na adaptação de robôs humanoides a novos objetos, provando que a infraestrutura de hardware especializada não é mais um pré-requisito obrigatório para a manipulação robótica de precisão.