Resumo Técnico: Correspondência 3D em Nível de Categoria no Espaço da Câmera via Priors de Objetos Morfáveis

Definição do Problema

O artigo aborda o desafio da correspondência 3D em nível de categoria monoculada no espaço da câmera. Embora avanços recentes tenham melhorado a estimativa de pose em nível de categoria, representações existentes frequentemente falham em capturar as semânticas de alta granularidade necessárias para o raciocínio sobre partes de objetos, funções e interações.

A tarefa é formalmente definida da seguinte forma: Dadas duas imagens RGB-D ($I_q$ e $I_t$) de objetos da mesma categoria e um ponto 3D de consulta $x_q$ no espaço da câmera de $I_q$, o objetivo é prever o ponto 3D correspondente $x_t$ no espaço da câmera de $I_t$ que representa a mesma parte semântica. Diferentemente de abordagens anteriores que mapeiam pixels para espaços canônicos normalizados (por exemplo, NOCS), este trabalho visa correspondências diretamente no espaço 3D da câmera. Esta abordagem visa resolver ambiguidades inerentes à correspondência 2D (dependência do ponto de vista, oclusão, simetria) e evita a natureza indefinida de espaços centrados no objeto, onde escala e centro não são bem definidos.

Uma lacuna crítica identificada é a falta de benchmarks que suportem correspondência amodal (inferir partes ocluídas ou não visíveis) e manipulação explícita de simetria (onde múltiplas posições geométricas são semanticamente equivalentes) para diversos objetos domésticos.

Metodologia: Morpheus

Os autores propõem o Morpheus, um framework que aprende priors de forma em nível de categoria morfáveis para estabelecer correspondências 3D semanticamente consistentes sem supervisão explícita de correspondência. A ideia central é representar todos os objetos dentro de uma categoria como deformações que preservam a identidade de uma malha template compartilhada.

1. Predição de Correspondência 3D Baseada em Malha

O Morpheus media todas as previsões através de um template deformável compartilhado. Para uma imagem RGB-D de entrada, o modelo prevê:

• Uma deformação específica da instância da malha template.
• Uma pose 6D do objeto ($\omega$), estimada usando uma rede de difusão de pose pré-treinada.

A correspondência é estabelecida via transferência de malha:

1. Um ponto 3D de consulta $x_q$ é projetado sobre a superfície da malha de consulta deformada ($M_q^{def}$).
2. A localização do ponto é codificada como coordenadas baricêntricas em relação à face da malha subjacente.
3. Como todas as instâncias compartilham a mesma topologia de malha, essas coordenadas são transferidas diretamente para a malha deformada de destino ($M_t^{def}$), gerando o ponto correspondente $x_t$ no espaço da câmera de destino.
   Isso reduz o problema à previsão da pose e deformação de um template compartilhado, em vez de corresponder pontos diretamente entre imagens.

2. Priors 3D Morfáveis

O framework utiliza uma representação híbrida de malha volumétrica:

• Forma Canônica: Representada como um Campo de Distância Assinalada (SDF) $\phi_{sdf}$, que é convertido em uma malha via Tetraedros de Marcha Diferenciáveis. Isso permite modelagem flexível de geometrias intrincadas.
• Deformações Específicas da Instância: Um campo de deformação afim $\phi_a$ adapta a malha canônica para instâncias específicas. Este campo é impulsionado por um código latente $l$ extraído da imagem de entrada por um codificador de deformação (baseado em um backbone DINOv2).
• A deformação é definida como um mapeamento afim que desloca vértices com base no código latente, preservando a identidade semântica dos vértices do template através das deformações.

3. Objetivos de Treinamento

O Morpheus é treinado usando supervisão geométrica sem rótulos explícitos de correspondência. O alinhamento semântico emerge implicitamente porque cada instância deve deformar o mesmo template canônico enquanto permanece consistente com os dados observados. A função de perda de treinamento inclui:

• Perda 2D: Reconstrução de máscara de objeto amodal (MSE) e sobreposição de transformada de distância para garantir que a malha deformada corresponda às regiões visíveis e ocluídas do objeto.
• Perda 3D: Distância Chamfer entre os vértices da malha deformada e os vértices da malha ground-truth.
• Regularização: Perda Eikonal (para impor propriedades do SDF), regularização de deformação $\ell_2$ (para prevenir deformação excessiva) e regularização de suavidade baseada em arestas.
• Supervisão de Pose: Supervisão de pose 6D é fornecida para estabilizar a otimização e reduzir mínimos locais.

Contribuições Principais

1. Formulação da Tarefa: O artigo identifica a correspondência 3D em nível de categoria monoculada no espaço da câmera como um passo necessário além de representações centradas na pose rumo a uma compreensão 3D semanticamente alinhada.
2. Benchmark HouseCorr3D: Os autores introduzem o HouseCorr3D, o primeiro benchmark em grande escala para esta tarefa. Ele compreende:
   • 178.000 imagens em 50 categorias de objetos domésticos.
   • 280 instâncias de objetos únicas.
   • Anotações de keypoints 3D diretamente em modelos CAD.
   • Rótulos de correspondência amodal para regiões ocluídas.
   • Anotações explícitas de simetria para lidar com ambiguidades geométricas de forma justa.
3. Framework Morpheus: Um método que aprende priors morfáveis para produzir correspondências 3D semanticamente consistentes diretamente no espaço da câmera, desconectando forma canônica, deformação e pose do objeto.
4. Validação Empírica: Demonstração de que a compreensão semântica 3D de objetos pode emergir sem supervisão direta de correspondência, alcançando resultados state-of-the-art no benchmark proposto.

Resultados

Experimentos no HouseCorr3D mostram que o Morpheus supera substancialmente as bases existentes, incluindo:

• Correspondência de Características 2D: DINOv2, MagicPony2D e NOCS (elevado para 3D).
• Correspondência no Espaço 3D: GenPose++ e MagicPony.

Principais Descobertas:

• Desempenho: O Morpheus alcança o maior PCK@0.1 (Porcentagem de Keypoints Corretos) em configurações 2D, 3D modal (visível) e 3D amodal (ocluido).
• Tratamento de Oclusão: Diferentemente de métodos 2D que falham em partes ocluídas, o Morpheus reconstrói com sucesso regiões ocluídas devido à sua supervisão amodal e prior compartilhada.
• Simetria e Deformação: O Morpheus lida melhor com simetrias de objetos e variações de forma do que métodos que dependem de espaços de objetos normalizados (como NOCS) ou espaços canônicos/câmera entrelaçados (como MagicPony).
• Generalização: A avaliação em um subconjunto filtrado do conjunto de dados real ROPE (de Omni6DPose) confirma que o modelo generaliza para dados reais, com quedas de desempenho atribuídas principalmente a profundidade e anotações mais ruidosas, e não a falhas do modelo.

Significado e Alegações

O artigo alega que estabelecer correspondências no espaço 3D da câmera é uma mudança fundamental em relação às abordagens anteriores de espaço 2D ou espaço 3D de objeto normalizado. Ao alavancar priors de objetos morfáveis, os autores demonstram que:

• Correspondências 3D semânticas podem ser aprendidas implicitamente através de representações deformáveis compartilhadas, eliminando a necessidade de supervisão cara e explícita de correspondência.
• Esta abordagem permite raciocínio amodal, permitindo que sistemas inferam a estrutura 3D completa de objetos mesmo quando partes estão ocluídas, o que é crítico para manipulação e interação robótica.
• O benchmark HouseCorr3D preenche uma lacuna crítica na literatura, fornecendo o primeiro conjunto de dados em grande escala com anotações amodais e conscientes de simetria para avaliar correspondência 3D em nível de categoria a partir de imagens únicas.

O trabalho sugere que o progresso futuro na robótica incorporada e em RA/RV exige ir além da correspondência de características 2D para um raciocínio 3D robusto que leve em conta a geometria completa do objeto, incluindo regiões ocluídas e simetrias.