Object Pose and Shape Estimation for Grasping: Does it Work?

Resumo Técnico: Estimativa de Pose e Forma de Objetos para Pegada

Declaração do Problema
O artigo aborda uma questão fundamental na robótica: os avanços recentes na estimativa de pose e forma de objetos amadureceram o suficiente para superar os métodos de síntese de pegada de ponta a ponta mais avançados? Tradicionalmente, a síntese de pegada dependia de geometria de objeto conhecida ou otimização analítica. Embora os métodos modernos de ponta a ponta (por exemplo, AnyGrasp) regredam diretamente poses de pegada a partir de imagens RGB-D de visão única com alta velocidade, eles frequentemente lutam com estabilidade e fechamento de força. Por outro lado, abordagens modulares — onde a geometria do objeto é primeiro reconstruída e depois usada para amostragem antipodal — foram historicamente limitadas pela ambiguidade da reconstrução de visão única. Este trabalho investiga se os modelos modernos de reconstrução baseados em codificador-decodificador e difusão podem agora servir como uma fundação superior para a síntese de pegada em comparação com a regressão direta.

Metodologia
Os autores delimitam seu estudo a garras de mandíbulas paralelas, pegadas de 7 Graus de Liberdade (DoF) e entrada RGB-D de visão única. Eles implementam e comparam quatro baselines:

1. Baseline de Ponta a Ponta: AnyGrasp, um modelo de ponta a ponta que regride diretamente poses de pegada de 7 DoF a partir de nuvens de pontos parciais sem reconstrução geométrica explícita.
2. Baselines Modulares: Três métodos que primeiro estimam a pose e a forma do objeto para todos os objetos na cena, renderizam uma malha 3D (via cubos marchantes) e, em seguida, sintetizam pegadas usando amostragem antipodal (garantindo fechamento de força) e filtragem de colisão. Esses métodos modulares utilizam dois paradigmas de reconstrução distintos:
   • Modelos Codificador-Decodificador: CRISP-Grasp (usando CRISP) e SAM3D-Grasp (usando SAM3D). Esses modelos codificam imagens RGB-D em embeddings de forma ou coordenadas normalizadas para decodificar malhas e poses de objetos.
   • Modelos Baseados em Difusão: SC-Grasp (usando SceneComplete). Esse pipeline aproveita o InstantMesh (um modelo de difusão para síntese de nova visão) aumentado com BrushNet para tratamento de oclusão e FoundationPose para estimativa de pose, a fim de reconstruir cenas com múltiplos objetos.

A avaliação é conduzida em três ambientes: um simulador de física (PyBullet com objetos YCBV), conjuntos de dados do mundo real (conjuntos de teste YCBV e NOCS) e experimentos físicos usando um manipulador Xarm7 com uma garra de mandíbulas paralelas. As métricas incluem Taxa de Colisão de Pegada (GCR), Taxa de Falha de Fechamento de Força (FCFR) e Estabilidade de Pegada (GS).

Principais Contribuições

• Análise Comparativa: O artigo fornece uma comparação experimental rigorosa entre a síntese de pegada direta de ponta a ponta e um pipeline modular que combina reconstrução moderna com amostragem antipodal.
• Validação de Desempenho: Demonstra que os métodos modulares superam consistentemente os métodos de ponta a ponta nas taxas de sucesso de pegada, estabilidade e satisfação do fechamento de força em ambientes simulados e do mundo real.
• Análise de Modos de Falha: Os autores dissecam os modos de falha dos métodos modulares, identificando que a estimativa incorreta de escala é a principal causa de falha (38–50% dos casos), seguida por erros de pose e forma em modelos baseados em difusão.
• Pegada Condicionada por Linguagem: O trabalho estende o pipeline modular para pegada condicionada por linguagem. Ao reconstruir um "gêmeo digital" a partir de uma única visão e alimentá-lo no pipeline LERF-TOGO, os autores alcançam desempenho comparável a baselines de múltiplas visões, permitindo a seleção semântica de pegadas a partir de entradas de visão única.

Resultados

• Taxas de Sucesso: Em simulações de física, os métodos modulares alcançaram uma taxa de sucesso de pegada 1,6 a 2 vezes maior que a do AnyGrasp. Em conjuntos de dados do mundo real, o AnyGrasp alcançou apenas 10–11% de sucesso, enquanto os métodos modulares performaram significativamente melhor.
• Estabilidade e Fechamento de Força: O método de ponta a ponta exibiu uma alta Taxa de Falha de Fechamento de Força (61,3% na simulação) e produziu pegadas instáveis em testes do mundo real (por exemplo, rotações pós-elevação). Os métodos modulares, ao impor explicitamente o fechamento de força via amostragem antipodal em malhas reconstruídas, produziram pegadas estáveis em 100% dos ensaios para vários objetos em experimentos físicos.
• Desordem e Oclusão: O desempenho de todos os métodos degradou-se conforme a desordem da cena aumentou. No entanto, os métodos modulares (especificamente o CRISP-Grasp) mantiveram uma vantagem de desempenho sobre os métodos de ponta a ponta mesmo em cenas com 10 objetos. O SC-Grasp baseado em difusão mostrou uma queda maior de desempenho em cenas altamente ocluídas devido a limitações em seu modelo de preenchimento (in-painting).
• Tempo de Execução: O método de ponta a ponta (AnyGrasp) foi o mais rápido (0,33s). Os métodos modulares foram significativamente mais lentos (45–105s no total), sendo o gargalo a estimativa de pose/forma (especialmente para modelos de difusão) e o processo de amostragem antipodal.
• Eficácia da Filtragem: Aplicar estimativas de pose e forma para filtrar pegadas geradas pelo método de ponta a ponta (AnyGrasp+CRISP/SC) reduziu drasticamente o número de pegadas candidatas, mas aumentou significativamente a taxa de sucesso, confirmando que a qualidade da reconstrução é um forte indicador da viabilidade da pegada.

Significado e Alegações
O artigo afirma que o campo atingiu um "ponto de inflexão". Enquanto a literatura anterior (por exemplo, Sundermeyer et al., 2021) argumentava que as reconstruções de visão única aprendidas eram muito ambíguas e grosseiras para um planejamento de pegada confiável, este trabalho demonstra que, com os atuais modelos de reconstrução de ponta (SAM3D, CRISP, SceneComplete), a abordagem modular é agora superior à regressão de ponta a ponta para síntese de pegada em termos de robustez e estabilidade.

Os autores concluem modestamente que, embora os métodos modulares superem as abordagens de ponta a ponta em qualidade, sua adoção é atualmente limitada pelos requisitos de tempo de execução computacional. Eles afirmam que a precisão da tarefa de pegada a jusante é contingente à precisão da estimativa de pose e forma a montante, particularmente no que diz respeito ao tratamento de escala e oclusão. Além disso, o trabalho destaca a viabilidade de usar a reconstrução de visão única como uma ponte para modelos visão-linguagem, permitindo a pegada semanticamente significativa e condicionada por linguagem sem a necessidade de varredura de múltiplas visões.