Resumo Técnico: Encontrando NeMO

Declaração do Problema

O artigo aborda o desafio da percepção de objetos com poucos exemplos para objetos não vistos durante o treinamento. Embora abordagens baseadas em modelos (utilizando modelos CAD 3D) tenham alcançado desempenho robusto em detecção, segmentação e estimativa de pose 6DoF, elas são impraticáveis em muitos cenários do mundo real onde modelos 3D não estão disponíveis. Por outro lado, os métodos sem modelo existentes frequentemente sofrem de baixa escalabilidade com o número de visualizações de template, dependem de comparações locais par a par sem raciocínio conjunto ou exigem retreinamento extensivo e pré-processamento para incorporar novos objetos. Os autores visam desenvolver um sistema que possa se adaptar rapidamente a objetos novos usando apenas um conjunto de imagens RGB desordenadas, sem exigir parâmetros de calibração da câmera, modelos 3D ou o retreinamento dos pesos centrais da rede.

Metodologia: Objeto de Memória Neural (NeMO)

A solução proposta é uma arquitetura codificador-decodificador centrada em uma nova representação centrada no objeto chamada Objeto de Memória Neural (NeMO).

1. Codificador NeMO

O codificador processa um conjunto de $K$ imagens RGB de template desordenadas ($I = \{I_i\}$) que representam um objeto-alvo.

• Extração de Características: Um Vision Transformer (ViT) extrai características por patch de todas as imagens de template.
• Codificação Multi-Visão: Um codificador multi-visão, utilizando mecanismos de atenção cruzada e auto-atenção, atualiza essas características. Uma imagem é designada como "âncora" ($I_A$) para definir a orientação inicial do objeto, enquanto as outras interagem com ela para agregar informações multi-visão.
• Mapeamento Geométrico: Para incorporar a geometria 3D, o sistema amostra um conjunto de pontos 3D ($Q$) dentro de um volume normalizado. Um Perceptron Multicamada (MLP) codifica esses pontos em vetores de características. Essas características de pontos são fundidas com as características de imagem atualizadas por meio de um Bloco de Mapeamento Geométrico (usando Decodificadores Transformer), permitindo que pontos 3D atendam a pistas visuais 2D específicas do objeto.
• Reconstrução de Superfície e Representação: A rede aprende um Campo de Distância Não Assinado (UDF) para prever a distância dos pontos 3D iniciais até a superfície estimada do objeto. A representação final NeMO ($\chi$) é uma nuvem de pontos esparsa e contínua onde cada ponto consiste em uma coordenada de superfície 3D estimada ($s_i$) e seu vetor de características correspondente ($\hat{f}^Q_i$).
• Propriedade Chave: A informação específica do objeto é desentrelaçada dos parâmetros do decodificador. O NeMO atua como uma "memória" que pode ser transformada (rotacionada, transladada, escalada) independentemente dos pesos da rede.

2. Decodificador NeMO

O decodificador recebe uma imagem de consulta ($I_q$) e a representação NeMO pré-computada ($\chi$) para gerar previsões densas.

• Fusão de Características: As características da imagem de consulta (extraídas via ViT) são atualizadas atendendo às características do NeMO usando atenção cruzada e auto-atenção.
• Cabeças de Previsão Densa: Usando uma espinha dorsal DPT (Dense Prediction Transformer) com múltiplas cabeças de saída, o decodificador gera:
  • Máscaras de Segmentação Modal e Amodal: Prevendo tanto as partes visíveis quanto as ocluídas do objeto.
  • Correspondência 2D-3D (Pointmap): Um mapa denso ligando pixels 2D na imagem de consulta a pontos de superfície 3D definidos no sistema de coordenadas do NeMO.
  • Mapa de Confiança: Uma pontuação de confiança associada ao mapeamento 2D-3D.
• Estimativa de Pose: A pose 6DoF é estimada filtrando o pointmap com base na confiança e aplicando RANSAC com algoritmos Perspective-n-Point (PnP).

3. Estratégia de Treinamento

O codificador e o decodificador são treinados conjuntamente, de ponta a ponta, em um conjunto de dados sintético em grande escala gerado usando BlenderProc.

• Funções de Perda: O treinamento minimiza a distância euclidiana entre os pontos de superfície previstos e os pontos de superfície verdadeiros, perdas de segmentação (Dice e BCE) e uma perda L1 ponderada por confiança para correspondências 2D-3D.
• Aumento de Dados: Durante o treinamento, a nuvem de pontos NeMO é aleatoriamente rotacionada, transladada e escalada antes de ser passada para o decodificador. Isso força o decodificador a aprender um sistema de coordenadas independente da imagem de âncora, garantindo robustez à orientação do NeMO.
• Separação Offline/Online: A codificação computacionalmente pesada das visualizações de template é realizada offline. O tempo de inferência depende apenas da imagem de consulta e do NeMO pré-computado, tornando-o invariante ao número de templates de entrada.

Contribuições Principais

1. Representação NeMO: Uma representação de nuvem de pontos sensível à geometria, compacta e contínua de visualizações de template que encapsula tanto características semânticas quanto geométricas sem exigir parâmetros de câmera ou modelos 3D.
2. Arquitetura Unificada: Uma única rede codificador-decodificador capaz de realizar detecção, segmentação e estimativa de pose 6DoF tanto para configurações sem modelo (apenas templates RGB) quanto baseadas em modelo (modelos CAD disponíveis).
3. Escalabilidade e Eficiência: O método desacopla a informação do objeto dos pesos da rede, permitindo a incorporação rápida de objetos sem retreinamento. O tempo de execução da inferência e o consumo de memória permanecem constantes, independentemente do número de imagens de template usadas para gerar o NeMO.
4. Novo Conjunto de Dados: Os autores contribuem com um conjunto de dados sintético diverso e centrado no objeto, imitando cenas desordenadas realistas para apoiar pesquisas neste domínio.

Resultados Experimentais

O método foi avaliado no benchmark BOP em vários conjuntos de dados (HOPEv2, HANDAL, T-LESS, TUD-L, YCB-V) para configurações sem modelo e baseadas em modelo.

• Detecção Sem Modelo: O método alcançou resultados State-of-the-Art (SOTA) nos conjuntos de dados HOPEv2 e HANDAL, superando os melhores métodos anteriores em 2,7 e 1,9 pontos percentuais em Precisão Média (AP), respectivamente. Notavelmente, é o primeiro a prever segmentações amodais em uma configuração sem modelo usando uma única rede.
• Estimativa de Pose Sem Modelo: A abordagem alcançou resultados SOTA no conjunto de dados HANDAL ao usar detecções NeMO, performando em paridade com outros métodos ao usar detecções alternativas.
• Percepção Baseada em Modelo: Em configurações baseadas em modelo (onde modelos CAD estão disponíveis na inferência, mas não no treinamento), o método performou de forma competitiva, ficando em 6º lugar no YCB-V e alcançando SOTA no TUD-L para detecção. Demonstrou alto recall no TUD-L e YCB-V para estimativa de pose sem refinamento, embora tenha tido dificuldades com objetos simétricos e sem textura no T-LESS.
• Estudos de Ablação: Experimentos mostraram que o desempenho escala com o número de imagens de template (saturando em torno de 32 visualizações) e com o número de pontos NeMO (saturando em torno de 500 pontos). O sistema demonstrou equivariância à rotação, onde rotacionar a entrada NeMO resultou em rotações correspondentes nos pointmaps previstos.

Significado e Alegações

O artigo afirma que o NeMO oferece uma solução versátil para percepção com poucos exemplos sem modelo, efetivamente preenchendo a lacuna entre a flexibilidade dos métodos sem modelo e a precisão geométrica das abordagens baseadas em modelo. Ao terceirizar a informação do objeto para um NeMO, o sistema permite:

• Incorporação Rápida: Novos objetos podem ser integrados sem retreinar a rede.
• Pipelines Multi-Estágio: A capacidade de detectar e segmentar objetos em cenas desordenadas permite o recorte de regiões de interesse para processamento subsequente.
• Escalabilidade: A separação de codificação e decodificação garante que a adição de mais visualizações de template não aumente a latência de inferência.

Os autores reconhecem limitações, particularmente em relação a objetos simétricos e altamente sem textura (como visto no conjunto de dados T-LESS), atribuindo isso a procedimentos de treinamento atuais e vieses do conjunto de dados, e não à própria representação. Eles concluem que seu trabalho estimula a discussão sobre desacoplar o conhecimento do objeto dos pesos do modelo para avançar a percepção com poucos exemplos.