Resumen Técnico: Every9D-21M

Declaración del Problema

Estimar la pose 9D (rotación 3D, traslación 3D y extensión 3D del objeto) de objetos cotidianos a partir de una única imagen del mundo real sigue siendo un desafío significativo en visión por computadora. Esta dificultad surge principalmente de la falta de supervisión a gran escala en entornos reales. Los conjuntos de datos existentes sufren de una compensación entre diversidad de categorías y escala de instancias: o bien dependen en gran medida de renderizados sintéticos, que tienen dificultades para generalizar al ruido y oclusiones del mundo real, o bien ofrecen una cobertura limitada de objetos reales. Por ejemplo, el conjunto de datos 9D real más grande existente (Objectron) contiene solo 17.000 objetos anotados en 9 categorías, mientras que el conjunto de datos 3D a nivel de imagen más grande (ImageNet3D) cubre 200 categorías pero solo 86.000 imágenes. Además, la anotación manual de poses 9D es prohibitivamente costosa y a menudo ambigua desde vistas únicas, lo que obstaculiza el desarrollo de modelos fundamentales robustos para robótica, RA/RV y modelado generativo 3D.

Metodología

Los autores proponen Every9D-21M, un marco para generar anotaciones de pose 9D para 21,8 millones de imágenes del mundo real en 700 categorías de objetos. La estrategia central aprovecha videos centrados en objetos para superar las ambigüedades de vista única y escalar los esfuerzos de anotación. La tubería consta de cinco etapas iterativas:

1. Agrupación: Los videos centrados en objetos (provenientes de uCO3D) se agrupan utilizando k-medias sobre características DINOv3 promediadas extraídas de marcos muestreados uniformemente. Este enfoque agnóstico a la categoría agrupa instancias visualmente similares, permitiendo la alineación entre categorías y reduciendo la dependencia de etiquetas de categoría manuales.
2. Selección de Referencia: Para cada grupo, se selecciona un video "medoide" representativo como instancia de referencia. Esta elección, basada en el video con la menor distancia promedio de características respecto a los demás en el grupo, produce una mayor precisión de alineación que la selección aleatoria.
3. Anotación de Referencia: Un pequeño conjunto de objetos de referencia (menos del 0,01 % del total de imágenes, aproximadamente 1.000 objetos) se anota manualmente. Los anotadores utilizan una herramienta interactiva para alinear una caja delimitadora 3D con una nube de puntos 3D dispersa (reconstruida mediante VGGSfM) utilizando enmascaramiento multivista (LangSAM + XMem). Crucialmente, los autores definen reglas de orientación entre categorías basadas en propiedades intrínsecas, interacción humano-objeto e interacción objeto-objeto para asegurar marcos canónicos consistentes (por ejemplo, definir el "frente" de una silla como opuesto al respaldo).
4. Alineación entre Instancias: Los videos restantes en un grupo se alinean con la instancia de referencia. Esto implica reconstruir una superficie 3D (mediante formas alfa) y proyectar características DINO multivista sobre ella. Se estima una transformación rígida (rotación, traslación, escala) utilizando una inicialización RANSAC seguida de un refinamiento basado en gradientes, minimizando una combinación ponderada de distancias geométricas (distancia de Chamfer) y de apariencia (vecino más cercano en el espacio de características).
5. Verificación: Todas las poses propagadas se verifican desde múltiples puntos de vista canónicos (frente, arriba, derecha). Las secuencias se filtran (se eliminan debido a geometría deficiente o filtrado de múltiples objetos) o se omiten (se reprocesan en iteraciones posteriores debido a desajustes de referencia).

Las poses canónicas resultantes se propagan a todos los marcos dentro de los videos centrados en objetos, generando anotaciones 9D densas.

Contribuciones Clave

1. Canonicidad 9D Real Escalable: Los autores introducen un marco iterativo basado en referencias que aprovecha videos centrados en objetos para la reconstrucción 3D multivista y la alineación entre instancias. Este enfoque propaga marcos canónicos desde una ínfima fracción de referencias anotadas manualmente a millones de imágenes, verificando cada pose propagada desde múltiples puntos de vista.
2. Conjunto de Datos Every9D-21M: Un conjunto de datos a gran escala que comprende 21,8 millones de imágenes, 109.000 objetos anotados y 700 categorías. Es dos órdenes de magnitud más grande que los benchmarks 9D reales anteriores tanto en número de imágenes como en diversidad de categorías. Todo el conjunto de datos fue curado con aproximadamente 199 horas de esfuerzo humano (67 horas para anotación, 132 horas para verificación).
3. Benchmark y Líneas Base: El artículo establece protocolos de evaluación estandarizados y conscientes de la simetría, y proporciona modelos base entrenados en Every9D-21M. Estas líneas base demuestran que el entrenamiento en este conjunto de datos mejora el rendimiento en benchmarks existentes (PASCAL3D+, ImageNet3D) y produce una generalización sustancialmente mejor al conjunto de datos HANDAL en comparación con modelos entrenados únicamente en ImageNet3D.

Resultados

Los experimentos validan la eficacia del conjunto de datos y del marco de canonicidad:

• Rendimiento en Every9D-21M: Los modelos entrenados en Every9D-21M superan significativamente a los modelos fundamentales más avanzados (OrientAnythingV1, OrientAnythingV2, WildDet3D) en la división de prueba. Específicamente, el modelo propuesto mejora la precisión de rotación gruesa (Acc@30°) entre 16,6 y 17,7 puntos porcentuales sobre OrientAnythingV2 tanto en configuraciones sin conciencia de simetría como con conciencia de simetría.
• Generalización: El entrenamiento en Every9D-21M conduce a una generalización más fuerte al conjunto de datos HANDAL (un conjunto de datos de objetos manipulables del mundo real) en comparación con el entrenamiento en ImageNet3D, a pesar de la brecha de dominio.
• Complementariedad: El entrenamiento conjunto con Every9D-21M e ImageNet3D mejora consistentemente el rendimiento en PASCAL3D+ e ImageNet3D, lo que sugiere que los conjuntos de datos son complementarios.
• Mejoras Cualitativas: Las comparaciones visuales indican una mayor robustez ante orientaciones inusuales de objetos, una estimación más precisa de diferencias angulares sutiles y una mejor resistencia bajo condiciones de iluminación desafiantes en comparación con métodos anteriores.

Significado

El artículo posiciona a Every9D-21M como un recurso crítico para avanzar en la estimación de pose 9D y la comprensión 3D en entornos reales no restringidos. Al proporcionar un conjunto de datos masivo del mundo real con marcos canónicos consistentes, el trabajo aborda la brecha "sim-a-real" que ha limitado la generalización de modelos entrenados en datos sintéticos. Los autores argumentan que la supervisión canónica escalable es esencial para:

• Robótica y RA/RV: Habilitar el razonamiento espacial y la interacción física inferiendo marcos de coordenadas centrados en objetos consistentes.
• Modelado Generativo 3D: Proporcionar datos de entrenamiento alineados con la orientación para mejorar la controlabilidad y la consistencia geométrica en sistemas de texto-a-3D e imagen-a-3D.
• Aprendizaje de Correspondencia: Garantizar una alineación estable entre instancias para el modelado 3D morfológico.

El trabajo demuestra que se puede lograr una supervisión 9D de alta calidad a gran escala con un esfuerzo humano mínimo mediante el uso estratégico de videos centrados en objetos y la alineación entre instancias, estableciendo un nuevo estándar para los benchmarks de pose 3D en el mundo real.