Resumen Técnico: Encontrar NeMO

Enunciado del Problema

El artículo aborda el desafío de la percepción de objetos con pocos ejemplos para objetos no vistos durante el entrenamiento. Si bien los enfoques basados en modelos (que utilizan modelos CAD 3D) han logrado un rendimiento sólido en detección, segmentación y estimación de pose 6DoF, son poco prácticos en muchos escenarios del mundo real donde los modelos 3D no están disponibles. Por el contrario, los métodos existentes sin modelo a menudo sufren de una mala escalabilidad con el número de vistas de plantilla, dependen de comparaciones locales por pares sin razonamiento conjunto, o requieren un reentrenamiento y preprocesamiento extensos para incorporar nuevos objetos. Los autores buscan desarrollar un sistema que pueda adaptarse rápidamente a objetos novedosos utilizando únicamente un conjunto de imágenes RGB desordenadas, sin requerir parámetros de calibración de la cámara, modelos 3D o reentrenar los pesos centrales de la red.

Metodología: Objeto de Memoria Neuronal (NeMO)

La solución propuesta es una arquitectura de codificador-decodificador centrada en una nueva representación centrada en el objeto llamada Objeto de Memoria Neuronal (NeMO).

1. Codificador NeMO

El codificador procesa un conjunto de $K$ imágenes de plantilla RGB desordenadas ($I = \{I_i\}$) que representan un objeto objetivo.

• Extracción de Características: Un Vision Transformer (ViT) extrae características por parche de todas las imágenes de plantilla.
• Codificación Multi-Vista: Un codificador multi-vista, que utiliza mecanismos de atención cruzada y auto-atención, actualiza estas características. Una imagen se designa como "ancla" ($I_A$) para definir la orientación inicial del objeto, mientras que las demás interactúan con ella para agregar información multi-vista.
• Mapeo Geométrico: Para incorporar la geometría 3D, el sistema muestrea un conjunto de puntos 3D ($Q$) dentro de un volumen normalizado. Un Perceptrón Multicapa (MLP) codifica estos puntos en vectores de características. Estas características de puntos se fusionan con las características de imagen actualizadas mediante un Bloque de Mapeo Geométrico (utilizando Decodificadores Transformer), permitiendo que los puntos 3D atiendan a señales visuales 2D específicas del objeto.
• Reconstrucción de Superficie y Representación: La red aprende un Campo de Distancia Sin Signo (UDF) para predecir la distancia desde los puntos 3D iniciales hasta la superficie del objeto estimada. La representación final de NeMO ($\chi$) es una nube de puntos dispersa y continua donde cada punto consiste en una coordenada de superficie 3D estimada ($s_i$) y su vector de características correspondiente ($\hat{f}^Q_i$).
• Propiedad Clave: La información específica del objeto se desvincula de los parámetros del decodificador. NeMO actúa como una "memoria" que puede transformarse (rotarse, trasladarse, escalarse) independientemente de los pesos de la red.

2. Decodificador NeMO

El decodificador toma una imagen de consulta ($I_q$) y la representación precalculada de NeMO ($\chi$) para generar predicciones densas.

• Fusión de Características: Las características de la imagen de consulta (extraídas mediante ViT) se actualizan atendiendo a las características de NeMO utilizando atención cruzada y auto-atención.
• Cabezas de Predicción Densa: Utilizando una columna vertebral DPT (Transformador de Predicción Densa) con múltiples cabezas de salida, el decodificador genera:
  • Máscaras de Segmentación Modal y Amodal: Prediciendo tanto las partes visibles como las ocluidas del objeto.
  • Correspondencia 2D-3D (Pointmap): Un mapa denso que vincula píxeles 2D en la imagen de consulta con puntos de superficie 3D definidos en el sistema de coordenadas de NeMO.
  • Mapa de Confianza: Una puntuación de confianza asociada para el mapeo 2D-3D.
• Estimación de Pose: La pose 6DoF se estima filtrando el pointmap basado en la confianza y aplicando RANSAC con algoritmos Perspective-n-Point (PnP).

3. Estrategia de Entrenamiento

El codificador y el decodificador se entrenan conjuntamente de extremo a extremo en un conjunto de datos sintético a gran escala generado utilizando BlenderProc.

• Funciones de Pérdida: El entrenamiento minimiza la distancia euclidiana entre los puntos de superficie predichos y los de referencia, las pérdidas de segmentación (Dice y BCE) y una pérdida L1 ponderada por confianza para las correspondencias 2D-3D.
• Aumento de Datos: Durante el entrenamiento, la nube de puntos de NeMO se rota, traslada y escala aleatoriamente antes de ser pasada al decodificador. Esto obliga al decodificador a aprender un sistema de coordenadas independiente de la imagen de ancla, asegurando robustez frente a la orientación de NeMO.
• Separación Offline/Online: La codificación computacionalmente pesada de las vistas de plantilla se realiza offline. El tiempo de inferencia depende únicamente de la imagen de consulta y el NeMO precalculado, haciéndolo invariante al número de plantillas de entrada.

Contribuciones Clave

1. Representación NeMO: Una representación de nube de puntos sensible a la geometría, compacta y continua de vistas de plantilla que encapsula tanto características semánticas como geométricas sin requerir parámetros de cámara ni modelos 3D.
2. Arquitectura Unificada: Una única red codificador-decodificador capaz de realizar detección, segmentación y estimación de pose 6DoF tanto para configuraciones sin modelo (solo plantillas RGB) como basadas en modelos (modelos CAD disponibles).
3. Escalabilidad y Eficiencia: El método desacopla la información del objeto de los pesos de la red, permitiendo una incorporación rápida de objetos sin reentrenamiento. El tiempo de ejecución de la inferencia y el consumo de memoria permanecen constantes independientemente del número de imágenes de plantilla utilizadas para generar NeMO.
4. Nuevo Conjunto de Datos: Los autores contribuyen con un conjunto de datos sintético diverso y centrado en objetos que imita escenas desordenadas realistas para apoyar la investigación en este dominio.

Resultados Experimentales

El método se evaluó en la benchmark BOP a través de varios conjuntos de datos (HOPEv2, HANDAL, T-LESS, TUD-L, YCB-V) para configuraciones sin modelo y basadas en modelos.

• Detección Sin Modelo: El método logró resultados de Estado del Arte (SOTA) en los conjuntos de datos HOPEv2 y HANDAL, superando a los mejores métodos anteriores en 2.7 y 1.9 puntos porcentuales en Precisión Media (AP), respectivamente. Cabe destacar que es el primero en predecir segmentaciones amodales en una configuración sin modelo utilizando una sola red.
• Estimación de Pose Sin Modelo: El enfoque logró resultados SOTA en el conjunto de datos HANDAL al utilizar las detecciones de NeMO, desempeñándose a la par con otros métodos al utilizar detecciones alternativas.
• Percepción Basada en Modelos: En configuraciones basadas en modelos (donde los modelos CAD están disponibles en la inferencia pero no en el entrenamiento), el método tuvo un rendimiento competitivo, ubicándose en el sexto lugar en YCB-V y logrando SOTA en TUD-L para detección. Demostró una alta recuperación en TUD-L y YCB-V para estimación de pose sin refinamiento, aunque tuvo dificultades con los objetos simétricos y sin textura en T-LESS.
• Estudios de Ablación: Los experimentos mostraron que el rendimiento escala con el número de imágenes de plantilla (saturando alrededor de 32 vistas) y el número de puntos de NeMO (saturando alrededor de 500 puntos). El sistema demostró equivarianza a la rotación, donde rotar la entrada de NeMO resultó en rotaciones correspondientes en los pointmaps predichos.

Significado y Afirmaciones

El artículo afirma que NeMO ofrece una solución versátil para la percepción con pocos ejemplos sin modelo, cerrando efectivamente la brecha entre la flexibilidad de los métodos sin modelo y la precisión geométrica de los enfoques basados en modelos. Al externalizar la información del objeto en un NeMO, el sistema permite:

• Incorporación Rápida: Los nuevos objetos pueden integrarse sin reentrenar la red.
• Pipelines Multietapa: La capacidad de detectar y segmentar objetos en escenas desordenadas permite recortar regiones de interés para un procesamiento posterior.
• Escalabilidad: La separación de codificación y decodificación asegura que agregar más vistas de plantilla no aumente la latencia de inferencia.

Los autores reconocen limitaciones, particularmente en relación con objetos simétricos y altamente sin textura (como se observa en el conjunto de datos T-LESS), atribuyendo esto a los procedimientos de entrenamiento actuales y a los sesgos del conjunto de datos más que a la representación en sí. Concluyen que su trabajo estimula la discusión sobre desacoplar el conocimiento del objeto de los pesos del modelo para avanzar en la percepción con pocos ejemplos.