Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

Resumo Técnico: Emergência de um Frame de Objeto Canônico Compartilhado a partir de Vídeos "In-the-Wild"

Definição do Problema
Comparar orientações e posições de objetos entre diferentes instâncias requer expressar suas poses dentro de um frame canônico compartilhado. Tradicionalmente, o estabelecimento de tais frames dependia de uma supervisão manual substancial, incluindo modelos CAD alinhados, renderização sintética controlada ou anotação cuidadosa de poses no mundo real. Essa dependência cria um gargalo de escala: os dados sintéticos introduzem um gap de domínio, enquanto os dados do mundo real anotados permanecem limitados em diversidade de categoria e instância. Consequentemente, aprender representações de objetos canônicos que se generalizem amplamente para dados do mundo real sem rótulos de pose canônica manual permanece um desafio aberto. Além disso, abordagens de auto-supervisão existentes frequentemente treinam modelos separados por categoria, falhando em produzir um frame compartilhado entre diferentes tipos de objetos.

Metodologia
Os autores propõem uma abordagem de auto-supervisão agnóstica à categoria que aprende um frame canônico compartilhado a partir de vídeos centrados em objetos capturados "in-the-wild", utilizando apenas poses de câmera ruidosas recuperadas via Structure-from-Motion (SfM). O mecanismo central envolve rotear todas as sequências de treinamento através de um gargalo geométrico compartilhado.

1. Malha Canônica Compartilhada: O método define uma malha 3D grosseira e fixa (ex: um cubo ou esfera unitários) em um sistema de coordenadas canônico. Esta malha não carrega detalhes geométricos específicos da categoria, forçando a rede a depender de aparência e de priors semânticos em vez de correspondência de forma.
2. Rede de Correspondência: Uma rede neural aprende a mapear pixels de imagem para os vértices desta malha compartilhada. Ela utiliza um extrator de características e um decodificador Transformer, onde embeddings de vértices aprendíveis atuam como queries contra as características dos pixels. A saída é uma distribuição densa sobre os vértices da malha para cada pixel, efetivamente prevendo correspondências 2D-3D.
3. Alinhamento por Sequência: Como as reconstruções de SfM existem em sistemas de coordenadas arbitrários, o método estima uma rotação por sequência para alinhar o frame de SfM com o frame da malha canônica.
   • Inicialização: O alinhamento é inicializado via Análise de Componentes Principais (PCA) na nuvem de pontos de SfM mascarada para capturar a extensão geométrica bruta (ex: elongação).
   • Refinamento: Durante o treinamento, a rede estima uma rotação que minimiza a distância entre as coordenadas canônicas previstas pela rede e as coordenadas derivadas de SfM (transformadas pela rotação estimada). Isso é formulado como o problema de Wahba, resolvido via SVD, com pesos baseados na entropia da distribuição de correspondência para priorizar previsões confiáveis.
4. Objetivo de Treinamento: As poses de SfM alinhadas são usadas para rasterizar a malha canônica, gerando pseudo-rótulos (vértices visíveis da malha) para a rede de correspondência. A rede é treinada usando uma perda de entropia cruzada para corresponder a esses pseudo-rótulos, juntamente com uma cabeça de predição de máscara supervisionada pela máscara de visibilidade. O alinhamento e a rede de correspondência co-evoluem durante o treinamento.
5. Inferência: No momento do teste, o modelo processa uma única imagem RGB para prever correspondências densas e uma máscara de segmentação. A pose 6D é recuperada via EPnP com RANSAC usando as correspondências previstas, sem exigir etapas de alinhamento por sequência.

Principais Contribuições

• Emergência de Frame Canônico Auto-Supervisionado: O artigo demonstra que um frame canônico compartilhado pode emergir de vídeos centrados em objetos usando apenas poses de câmera de SfM ruidosas, eliminando a necessidade de anotações de pose canônica.
• Gargalo Geométrico: Os autores mostram que rotear diversas sequências de treinamento através de uma malha canônica bruta compartilhada induz consistência entre sequências. Isso permite que um sistema de referência comum emerja através de alinhamento multi-visão e dos priors semânticos do extrator de características.
• Generalização Agnóstica à Categoria: O método treina um único modelo em todas as categorias sem condicionamento de categoria. Ele alcança um desempenho competitivo com métodos canonicamente supervisionados em múltiplos benchmarks e se generaliza para categorias de objetos não vistas durante o treinamento.

Resultados Experimentais
O método foi treinado em aproximadamente 160.000 vídeos centrados em objetos "in-the-wild" do conjunto de dados UCO3D. A avaliação foi conduzida em cinco benchmarks: REAL275, Omni6DPose, Objectron, Pascal3D+ e ImageNet3D.

• Desempenho: Apesar de carecer de rótulos de pose canônica e treinar exclusivamente em vídeo real, o método alcançou o melhor desempenho de média macro em todos os cinco conjuntos de dados comparado a baselines supervisionados (ex: OrientAnything V1/V2, QWEN3-VL) e métodos de auto-supervisão específicos por categoria.
• Escala de Dados: Estudos de ablação confirmaram que escalar os dados de treinamento (usando todos os sequências disponíveis em vez de um subconjunto limitado) melhora significativamente o desempenho, destacando a importância do volume de dados para aprender representações generalizáveis.
• Ablações: O estudo mostrou que, embora a inicialização por PCA auxilie a convergência, o alinhamento aprendido é crítico para resolver a orientação semântica (ex: frente-vs-trás). Uma malha de cubo forneceu um leve viés indutivo sobre uma esfera, mas o princípio do gargalo geométrico permaneceu robusto entre formas. A cobertura multi-visão (K=4 visões) foi considerada essencial para um alinhamento confiável.

Significância e Limitações
O artigo afirma que esta abordagem aborda o gargalo de escala da supervisão canônica, permitindo a estimativa de pose agnóstica à categoria que se transfere para categorias não vistas sem necessidade de integração (onboarding) no tempo de teste ou rótulos manuais. O frame aprendido mostra-se amplamente consistente através de diversos tipos de objetos, com mapeamentos de convenção por categoria agrupando-se em alguns modos.

No entanto, os autores notam modestamente limitações em relação à simetria. O frame emergente é mais consistente para objetos com eixos semânticos distintos. Para objetos continuamente simétricos, onde múltiplas orientações produzem evidências indistinguíveis, o método enfrenta dificuldades porque os pseudo-rótulos tornam-se ruidosos. O artigo sugere que resolver tais ambiguidades sem rótulos canônicos ou priors de simetria permanece um desafio para trabalhos futuros.