Resumo Técnico: POMA-3D

Declaração do Problema

Compreender cenas 3D é fundamental para agentes corporificados e sistemas de Realidade Aumentada (AR), no entanto, o campo enfrenta um gargalo significativo: a escassez de priores 3D pré-treinados em grande escala, em comparação com os dados em escala de bilhões disponíveis para modelos de visão-linguagem 2D. Os métodos existentes de aprendizado visão-linguagem 3D (VLL) tipicamente dependem de nuvens de pontos, mapas de profundidade ou splats gaussianos 3D. Contudo, essas modalidades diferem substancialmente dos formatos de entrada de modelos fundacionais 2D poderosos (por exemplo, CLIP), dificultando a transferência eficaz de conhecimento. Além disso, as abordagens atuais frequentemente lutam para alcançar um "momento CLIP" na compreensão 3D, onde um único modelo pode generalizar através de tarefas diversas, como resposta a perguntas, navegação e recuperação, sem alterações arquitetônicas específicas para cada tarefa.

Metodologia

Conceito Central: Mapas de Pontos

O artigo propõe POMA-3D, o primeiro modelo de representação 3D auto-supervisionado aprendido a partir de mapas de pontos. Um mapa de pontos codifica coordenadas 3D explícitas $(x, y, z)$ em uma grade 2D estruturada, preservando a geometria 3D global enquanto mantém compatibilidade com o formato de entrada de modelos fundacionais 2D. Essa modalidade preenche a lacuna entre priores 2D e estrutura 3D.

Conjunto de Dados: ScenePoint

Para facilitar o pré-treinamento em grande escala, os autores introduzem o ScenePoint, um conjunto de dados composto por:

• 6.562 Cenas em Nível de Sala: Construídas a partir de conjuntos de dados RGB-D (ScanNet, 3RScan, ARKitScenes). Cada cena inclui mapas de pontos de múltiplas vistas pareados com legendas em nível de vista e em nível de cena geradas por LLMs.
• 1 Milhão de Cenas de Vista Única: Geradas a partir do conjunto de dados ConceptualCaptions. Usando o modelo VGGT, imagens 2D são convertidas em mapas de pontos de vista única com profundidade prevista e parâmetros de câmera.
• Anotações: As legendas são geradas usando o InternVL3-14B, com um processo de seleção baseado na similaridade cosseno com embeddings FG-CLIP para garantir qualidade.

Arquitetura do Modelo e Treinamento

O POMA-3D emprega um paradigma de pré-treinamento em duas etapas usando uma estratégia de alinhamento visão-linguagem de vista para cena e um objetivo inovador POMA-JEPA.

1. Alinhamento Visão-Linguagem de Vista para Cena:

   • O modelo alinha embeddings de mapas de pontos com embeddings de imagem e texto congelados do FG-CLIP.
   • Alinhamento em nível de vista: Incentiva o alinhamento dos embeddings de mapa de pontos, imagem e legenda da mesma vista, contrastando com outras vistas no lote.
   • Alinhamento em nível de cena: Agrega embeddings de múltiplas vistas em uma representação de cena e alinha-a com a legenda em nível de cena.
   • Essa estratégia transfere priores semânticos 2D ricos para o domínio 3D.

2. POMA-JEPA (Arquitetura de Embedding Preditivo Conjunta):

   • Para impor consistência geométrica através de múltiplas vistas, os autores introduzem o POMA-JEPA.
   • Mecanismo: Um codificador de contexto processa patches visíveis de mapas de pontos de múltiplas vistas, enquanto um codificador de alvo (atualizado via Média Móvel Exponencial) processa os mapas de pontos completos. Um preditor reconstrói os embeddings de alvo de patches mascarados.
   • Inovação: Diferentemente do JEPA padrão, que assume uma ordenação fixa de grade 2D, o POMA-JEPA leva em conta a natureza agnóstica à ordem das nuvens de pontos em coordenadas do mundo. Ele utiliza a Distância de Chamfer como função de perda em vez de MSE, permitindo que o modelo lide com previsões de embeddings invariantes à permutação sem colapso de modo.

3. Etapas de Treinamento:

   • Aquecimento (Warm-up): Pré-treinamento em mapas de pontos de vista única derivados de imagens 2D usando apenas a perda de alinhamento em nível de vista ($L_{view}$).
   • Etapa Principal: Otimização conjunta em cenas de sala de múltiplas vistas usando perdas de alinhamento ($L_{view} + L_{scene}$) e a perda POMA-JEPA ($L_{pjepa}$).

Contribuições Principais

1. POMA-3D: O primeiro modelo 3D auto-supervisionado que aprende representações diretamente a partir de mapas de pontos, permitindo a transferência eficaz de priores de modelos fundacionais 2D para 3D.
2. Conjunto de Dados ScenePoint: Um conjunto de dados em grande escala combinando 6,5 mil cenas reais em nível de sala e 1 milhão de cenas sintéticas de vista única, especificamente curado para pré-treinamento de mapas de pontos.
3. Objetivos de Treinamento Inovadores: A introdução do alinhamento de vista para cena e do POMA-JEPA, que lida explicitamente com a consistência geométrica e a natureza agnóstica à ordem de dados 3D de múltiplas vistas.
4. Eficiência de Modalidade: Demonstração de que mapas de pontos servem como uma modalidade intermediária superior para VLL 3D, superando mapas de profundidade e nuvens de pontos na transferência de priores 2D.

Resultados Experimentais

O POMA-3D foi avaliado como uma base para modelos especialistas (baseados em BERT) e generalistas (baseados em LLM) em quatro tarefas:

• Resposta a Perguntas 3D (ScanQA, SQA3D, Hypo3D):
  • O modelo especialista (POMA-3Dspec) superou os modelos baseados em nuvens de pontos mais avançados (por exemplo, SceneVerse) no SQA3D (+6,2% EM@1) e no Hypo3D (+4,5% EM@1), apesar de usar apenas entradas geométricas não coloridas.
  • O modelo generalista (POMA-3Dllm) superou LLMs 2D existentes e LLMs 3D em tarefas de raciocínio situacional.
• Navegação Corporificada (MSNN):
  • O POMA-3Dspec alcançou o desempenho mais alto em navegação em 4 direções, enquanto o POMA-3Dllm se destacou em navegação em 8 direções, indicando fortes capacidades em raciocínio espacial complexo.
• Recuperação de Cena:
  • O POMA-3D superou significativamente os métodos de VLL 3D e até a base RGB FG-CLIP na recuperação zero-shot, recuperando com sucesso cenas com base em descrições textuais complexas (por exemplo, "pé de banco redondo ao lado de duas estantes de livros").
• Localização Grossa:
  • O modelo demonstrou a capacidade de recuperar vistas específicas de mapas de pontos correspondentes a consultas textuais situacionais (por exemplo, "estou de pé entre dois quadros-negros"), localizando efetivamente a região ativa de um agente em um cenário zero-shot.

Estudos de Ablação confirmaram que:

• A etapa de aquecimento 2D é crucial para aprender características robustas.
• O alinhamento de cena em nível de sala melhora o desempenho em todos os benchmarks.
• O POMA-JEPA proporciona ganhos consistentes, particularmente em tarefas pesadas de raciocínio.
• Mapas de pontos superam mapas de profundidade como modalidade de entrada para VLL 3D.

Significado e Afirmações

O artigo afirma que o POMA-3D aborda o desafio de longa data da escassez de dados no aprendizado de representação 3D, aproveitando a vasta disponibilidade de dados de visão-linguagem 2D. Ao introduzir o mapa de pontos como uma modalidade intermediária superior, o trabalho demonstra que a compreensão 3D pode ser escalada sem depender exclusivamente de dados de varredura 3D caros.

Os autores afirmam que o POMA-3D fornece uma base forte e generalizável que beneficia tanto modelos especialistas leves quanto grandes LLMs generalistas. Os resultados sugerem que alinhar geometria 3D com priores 2D por meio de mapas de pontos é uma direção promissora para construir modelos fundacionais escaláveis para compreensão 3D. O artigo conclui que, embora os resultados atuais sejam fortes usando apenas entradas geométricas, trabalhos futuros devem explorar a fusão de mapas de pontos com características de cor para criar representações de cena unificadas.