Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

Resumen Técnico: Emergencia de un Marco Canónico Compartido a partir de Vídeos en Entornos Reales

Declaración del Problema
Comparar las orientaciones y posiciones de los objetos entre diferentes instancias requiere expresar sus poses dentro de un marco canónico compartido. Tradicionalmente, el establecimiento de tales marcos ha dependido de una supervisión manual sustancial, incluyendo modelos CAD alineados, renderizado sintético controlado o una cuidadosa anotación de la pose en el mundo real. Esta dependencia crea un cuello de botella de escalabilidad: los datos sintéticos introducen una brecha de dominio, mientras que los datos anotados del mundo real siguen siendo limitados en diversidad de categorías e instancias. En consecuencia, el aprendizaje de representaciones de objetos canónicas que se generalicen ampliamente en datos del mundo real sin etiquetas de pose canónica manual permanece como un desafío abierto. Además, los enfoques de autoaprendizaje existentes suelen entrenar modelos separados por categoría, fallando en la producción de un marco compartido entre diferentes tipos de objetos.

Metodología
Los autores proponen un enfoque de autoaprendizaje, agnóstico a la categoría, que aprende un marco canónico compartido a partir de vídeos centrados en objetos capturados en entornos reales, utilizando únicamente poses de cámara ruidosas recuperadas mediante Structure-from-Motion (SfM). El mecanismo central consiste en dirigir todas las secuencias de entrenamiento a través de un cuello de botella geométrico compartido.

1. Malla Canónica Compartida: El método define una malla 3D gruesa y fija (por ejemplo, un cubo o una esfera unitarios) en un marco de coordenadas canónico. Esta malla no posee detalle geométrico específico de la categoría, lo que obliga a la red a depender de la apariencia y los sesgos semánticos en lugar del ajuste de la forma.
2. Red de Correspondencia: Una red neuronal aprende a mapear los píxeles de la imagen a los vértices de esta malla compartida. Emplea un extractor de características y un decodificador Transformer, donde los embeddings de los vértices aprendibles actúan como consultas (queries) contra las características de los píxeles. La salida es una distribución densa sobre los vértos de la malla para cada píxel, prediciendo efectivamente correspondencias 2D-3D.
3. Alineación por Secuencia: Dado que las reconstrucciones de SfM existen en marcos de coordenadas arbitrarios, el método estima una rotación por secuencia para alinear el marco de SfM con el marco de la malla canónica.
   • Inicialización: La alineación se inicializa mediante el Análisis de Componentes Principales (PCA) sobre la nube de puntos de la máscara de SfM para capturar la extensión geométrica gruesa (por ejemplo, la elongación).
   • Refinamiento: Durante el entrenamiento, la red estima una rotación que minimiza la distancia entre las coordenadas canónicas predichas por la red y las coordenadas derivadas de SfM (transformadas por la rotación estimada). Esto se formula como el problema de Wahba, resuelto mediante SVD, con pesos basados en la entropía de la distribución de correspondencia para priorizar las predicciones con mayor confianza.
4. Objetivo de Entrenamiento: Las poses de SfM alineadas se utilizan para rasterizar la malla canónica, generando etiquetas pseudo (pseudo-labels) (vértices visibles de la malla) para la red de correspondencia. La red se entrena utilizando una pérdida de entropía cruzada para coincidir con estas etiquetas pseudo, junto con una cabeza de predicción de máscara supervisada por la máscara de visibilidad. La alineación y la red de correspondencia evolucionan conjuntamente durante el entrenamiento.
5. Inferencia: En el momento de la inferencia, el modelo procesa una única imagen RGB para predecir correspondencias densas y una máscara de segmentación. La pose 6D se recupera mediante EPnP con RANSAC utilizando las correspondencias predichas, sin requerir los pasos de alineación por secuencia.

Contribuciones Clave

• Emergencia de un Marco Canónico Autoaprendido: El artículo demuestra que un marco canónico compartido puede emerger de vídeos centrados en objetos capturados en entornos reales utilizando únicamente poses de cámara de SfM ruidosas, eliminando la necesidad de anotaciones de pose canónica.
• Cuello de Botella Geométrico: Los autores demuestran que dirigir diversas secuencias de entrenamiento a través de una malla canónica gruesa y compartida induce consistencia entre secuencias. Esto permite que un marco de referencia común emerja a través del alineamiento multivista y los sesgos semánticos del extractor de características.
• Generalización Agnóstica a la Categoría: El método entrena un único modelo a través de todas las categorías sin condicionamiento de categoría. Logra un rendimiento competitivo con métodos supervisados por cánones en múltiples benchmarks y se generaliza a categorías de objetos no vistas durante el entrenamiento.

Resultados Experimentales
El método fue entrenado con aproximadamente 160,000 vídeos centrados en objetos de entornos reales del conjunto de datos UCO3D. La evaluación se realizó en cinco benchmarks: REAL275, Omni6DPose, Objectron, Pascal3D+ e ImageNet3D.

• Rendimiento: A pesar de carecer de etiquetas de pose canónica y entrenar únicamente con vídeo real, el método logró el mejor rendimiento de promedio macro en los cinco conjuntos de datos en comparación con las líneas base supervisadas (por ejemplo, OrientAnything V1/V2, QWEN3-VL) y los métodos de autoaprendizaje específicos de categoría.
• Escala de Datos: Los estudios de ablación confirmaron que escalar los datos de entrenamiento (utilizando todas las secuencias disponibles en lugar de un subconjunto limitado) mejora significativamente el rendimiento, resaltando la importancia del volumen de datos para aprender representaciones generalizables.
• Ablaciones: El estudio mostró que, si bien la inicialización por PCA ayuda a la convergencia, el alineamiento aprendido es crítico para resolver la orientación semántica (por ejemplo, frente-vs-atrás). Una malla de tipo cubo proporcionó un ligero sesgo inductivo sobre una esfera, pero el principio del cuello de botella geométrico se mantuvo robusto entre formas. Se encontró que la cobertura multivista (K=4 vistas) es esencial para un alineamiento fiable.

Significancia y Limitaciones
El artículo afirma que este enfoque aborda el cuello de botella de la supervisión canónica, permitiendo la estimación de la pose agnóstica a la categoría que se transfiere a categorías no vistas sin necesidad de incorporación en tiempo de prueba (test-time onboarding) ni etiquetas manuales. Se muestra que el marco aprendido es ampliamente consistente a través de diversos tipos de objetos, con los mapeos de convención por categoría agrupándose en unos pocos modos.

Sin embargo, los autores señalan modestamente ciertas limitaciones respecto a la simetría. El marco emergente es más consistente para objetos con ejes semánticos distintivos. Para objetos continuamente simétricos, donde múltiples orientaciones producen evidencia indistinguible, el método tiene dificultades porque las etiquetas pseudo se vuelven ruidosas. El artículo sugiere que resolver tales ambigüedades sin etiquetas canónicas o sesgos de simetría sigue siendo un desafío para trabajos futuros.