GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

Resumo Técnico: GraspFoM

Declaração do Problema
A preensão robótica (grasping) continua sendo um desafio significativo em cenários do mundo real caracterizados por observações parciais, oclusão e desordem (clutter). Uma preensão eficaz requer o raciocínio tanto sobre pistas de contato locais quanto sobre a estrutura 3D global de um objeto. Embora métodos existentes orientados à geometria reconheçam o valor da reconstrução 3D, eles tipicamente tratam a geometria como uma predição intermediária, em vez de um prior de objeto reutilizável. Além \disso, os atuais frameworks unificados frequentemente dependem de representações específicas para tarefas aprendidas do zero ou dependem de Modelos de Visão-Linguagem (VLMs) que herdam conhecimento semântico 2D, levando a uma inferência lenta e um pobre alinhamento de pose 3D. Existe uma lacuna entre modelos gerais de reconstrução 3D, que otimizam a fidelidade do ativo, e as estruturas específicas voltadas para manipulação (ex: regiões de preensão, affordances) necessárias para a preensão robótica.

Metodologia: GraspFoM
O artigo propõe o GraspFoM, um framework unificado que utiliza priors de fundação 3D (especificamente o SAM3D) para construir um latente de objeto 3D compartilhado tanto para a reconstrução do objeto quanto para a predição da pose de preensão. O pipeline opera da seguinte forma:

1. Preparação do Latente de Objeto Compartilhado:

   • O sistema recebe imagens RGB, máscaras de objetos e mapas de pontos como entrada.
   • Ele utiliza o estágio de estrutura esparsa do SAM3D para inicializar um latente de objeto 3D compartilhado ($z$) e parâmetros de alinhamento de coordenadas.
   • Este latente é convertido em um volume de características 3D estruturado e elevado para uma grade sensível à forma (shape-aware grid).
   • Para cada ponto de superfície consultado, o modelo funde pistas geométricas locais (posição do ponto e normal) com o contexto de forma global extraído da grade latente via atenção cruzada (cross-attention). Isso cria um token de ponto fundido que codifica tanto detalhes de superfície locais quanto a estrutura global do objeto.

2. Difusor de Raciocínio de Pose Inicializado por Âncoras:

   • Em vez de regredir uma pose única ou depender de candidatos de preensão discretos, o GraspFoM modela a predição de preensão como um processo de denoising condicionado ao latente em um espaço de pose normalizado.
   • Um conjunto de âncoras de preensão é criado através do agrupamento (clustering) de poses de treinamento válidas.
   • O modelo emprega um processo de difusão ancorado truncado. Em vez de partir de um ruído Gaussiano puro, o processo de difusão é inicializado próximo à âncora mais próxima, melhorando a eficiência do denoising enquanto mantém a capacidade de modelar distribuições de preensão multimodais.
   • O difusor prediz rotação 6D contínua e profundidade de preensão diretamente a partir do latente de objeto compartilhado.

3. Pontuação Consciente da Reconstrução e Refinamento do Latente:

   • Scorer (Pontuador): Um pontuador consciente da reconstrução prediz três métricas por ponto: graspness (viabilidade de preensão), qualidade de preensão e affordance. Esses escores são fundamentados na estrutura reconstruída do objeto, em vez de apenas em pistas de pose.
   • Atualizador de Latente Residual: Para impor a interação bidirecional, a supervisão de preensão é retroalimentada na ramificação de reconstrução. Um resumo ponderado pela confiança dos sinais de preensão é usado para prever um volume de características residual, que é adicionado à grade latente original.
   • Regularização: Uma perda de regularização sensível à superfície garante que o latente refinado mantenha a consistência geométrica enquanto se alinha com pistas relevantes para a manipulação.

4. Inferência:

   • O sistema realiza amostragem DDIM truncada a partir das âncoras de preensão para gerar hipóteses de pose contínuas.
   • As hipóteses de preensão são classificadas usando uma pontuação composta que combina preensibilidade (graspability), alinhamento de visão e probabilidade da âncora.
   • O mesmo latente compartilhado é decodificado para fornecer ativos 3D de alta fidelidade nos formatos mesh ou 3D Gaussian (3DGS) juntamente com as poses de preensão.

Principais Contribuições

• Framework Unificado: A proposta do GraspFoM, que utiliza priors de fundação 3D para construir um latente de objeto 3D compartilhado para predição simultânea de reconstrução de objeto e pose de preensão.
• Geração de Pose Contínua: A introdução de um difusor de raciocínio de pose inicializado por âncoras que modela distribuições de pose de preensão contínuas e multimodais, evitando a dependência de candidatos de preensão discretos.
• Interação Bidirecional: O design de um pontuador consciente da reconstrução e de um atualizador de latente residual que acopla a aprendizagem de reconstrução e preensão, permitindo o embasamento geomético e o aumento de affordances relevantes para a manipulação dentro do latente compartilhado.
• Saída Dupla: A capacidade de prever conjuntamente poses de preensão precisas e reconstruir ativos 3D de alta fidelidade (mesh e 3DGS) com desempenho de estado da arte.

Resultados Experimentais
Os autores avaliaram o GraspFoM no benchmark GraspNet-1Billion:

• Predição de Pose de Preensão: O GraspFoM alcançou resultados de estado da arte em todos os divisões (Visto, Similar, Novo) e configurações de fricção. Notavelmente, mostrou melhorias significativas na divisão Novo (categorias de objetos não vistos), sugerindo uma generalização forte via priors de nível de objeto reutilizáveis. Superou métodos unificados existentes como ZeroGrasp e MG-Grasp, apesar de ter sido treinado apenas no split oficial GraspNet-1B sem datasets sintéticos adicionais.
• Reconstrução 3D: O framework alcançou qualidade geométrica superior em comparação com baselines de estrutura esparsa (MinkowskiNet, OCNN, OctMAE) e o ZeroGrasp unificado, atingindo os melhores valores de Chamfer Distance (CD), F1-Score e Consistência de Normal (NC).
• Estudos de Ablação: Experimentos confirmaram a necessidade do número de âncoras ($K=8$), horizonte de difusão ($T_{max}=50$) e passos de refinamento ($N_{ref}=4$). A remoção do módulo de atualização de reconstrução degradou significativamente tanto a qualidade da reconstrução quanto o desempenho da preensão, validando o reforço mútuo entre as duas tarefas.
• Avaliação In-the-Wild: Resultados qualitativos no dataset WildRGB-D demonstraram reconstruções mais completas e poses de preensão mais estáveis em comparação ao ZeroGrasp.

Significância e Alegações
O artigo afirma que o GraspFoM aborda a limitação de métodos existentes que tratam a geometria como um passo intermediário transitório. Ao utilizar priors de fundação 3D transferíveis (SAM3D), o método estabelece uma representação compartilhada que é tanto geometricamente fiel quanto consciente da manipulação. Os autores argumentam que esta abordagem fornece uma rota mais eficiente em termos de dados para uma generalização de preensão robusta em comparação com a aprendizagem de representações específicas de tarefas do zero. O elo bidirecional entre reconstrução e preensão permite que o sistema refine as representações de objetos com base nas necessidades de manipulação, enquanto utiliza pistas geométricas fundamentadas para melhorar a predição de preensão. O framework atinge o desempenho de estado da arte em ambas as tarefas com apenas um pequeno número de parâmetros treináveis adicionais.

Limitações
Os autores observam que o framework atual foca primordialmente em objetos rígidos. Eles identificam a incorporação de priors cinemáticos estruturados (ex: URDF) para a manipulação de objetos articulados como um direcionamento para trabalhos futuros.