Resumen Técnico: STORM (Segmentación, Seguimiento y Re-localización de Objetos a partir de una Única Imagen)

1. Declaración del Problema

La estimación y el seguimiento precisos de la pose 6D son fundamentales para los sistemas de IA física, pero su despliegue en el mundo real sigue siendo frágil. Las pipelines actuales a menudo dependen de modelos CAD curados, enmascaramiento manual o adaptación por objeto, fallando bajo oclusión severa, desenfoque por movimiento y cambios rápidos de punto de vista. Una limitación crítica de los métodos existentes es la falta de un mecanismo principiado para reconocer el fallo del seguimiento; los seguidores a menudo operan "a ciegas", asumiendo que el objetivo permanece dentro de una cuenca de atracción local. Cuando ocurre una deriva debido a desplazamientos distribucionales entre la referencia canónica (por ejemplo, una imagen limpia única) y la consulta observacional (por ejemplo, un cuadro de video desordenado y ocluido), la recuperación es difícil sin una detección explícita de fallos.

2. Metodología

STORM (Segmentación, Seguimiento y Re-localización de Objetos a partir de una Única iMage) es un marco unificado diseñado para el seguimiento de pose 6D sin anotaciones y condicionado por referencia. Cierra la brecha entre la comprensión semántica y la consistencia geométrica a través de dos módulos acoplados y aprendibles: el Módulo de Segmentación de Objetos (SOM) y el Módulo de Seguimiento de Objetos (TOM). El marco aprovecha modelos fundacionales congelados (DINOv3, CLIP, SAM3D, FoundationPose) para la representación y la geometría, mientras entrena componentes específicos para la fusión y la verificación.

2.1. Módulo de Segmentación de Objetos (SOM)

El SOM realiza un alineamiento de características de grueso a fino para recuperar máscaras de objetos y geometría 3D a partir de una o más imágenes de referencia. Su innovación central es la arquitectura de Atención de Fusión Espacial Jerárquica (HSFA):

• Inyección de Priors Semánticos: Para resolver ambigüedades de instancia (por ejemplo, distinguir una taza objetivo de un distractor), STORM inyecta restricciones semánticas derivadas de Modelos Visión-Lenguaje (VLM). Un prompt genérico y la imagen de referencia son procesados por un VLM para generar un descriptor de objeto conciso, que es codificado por CLIP. Esta incrustación semántica modula los tokens visuales normalizados mediante capas de condicionamiento de estilo AdaLN/FiLM inicializadas en cero, permitiendo que el modelo aprenda correcciones residuales de estadísticas de características.
• Atención de Fusión Espacial Jerárquica (HSFA): A diferencia de la concatenación simple o la atención cruzada estándar, HSFA agrega evidencia de la vista de referencia e interacciones consulta-referencia a través de múltiples escalas. Construye una representación canónica coherente a partir de referencias de una o múltiples vistas y luego alinea las características de la consulta con esta representación. Este proceso es iterativo, refinando progresivamente la representación de la consulta con evidencia condicionada por referencia.
• Alineamiento Implícito: HSFA induce correspondencia densa token-a-token mediante mecanismos de atención. La matriz de alineamiento se interpreta como un peso de alineamiento, a través del cual se propaga un prior de objetividad de referencia para generar la máscara de la consulta.
• Anclaje Geométrico: Las características 2D alineadas se elevan a SE(3) utilizando SAM3D, que genera una malla 3D canónica a partir de la(s) imagen(es) de referencia. Esta malla sirve como un ancla geométrica rígida, permitiendo que el estimador de pose aguas abajo (FoundationPose) mapee las máscaras predichas a coordenadas 3D métricas.

2.2. Módulo de Seguimiento de Objetos (TOM)

El TOM funciona como un verificador de compatibilidad aprendido para monitorear la fidelidad del seguimiento y activar la reinicialización cuando la deriva persiste.

• Verificación de Compatibilidad: TOM se entrena como un clasificador binario para distinguir entre pares observación-memoria compatibles (seguimientos exitosos) y pares incompatibles (confusión de identidad o deriva). Toma como entrada un recorte de observación actual y un grupo de memoria de recortes exitosos pasados.
• Regla de Decisión Tipo Energía: En lugar de una decisión binaria dura, TOM emite un logit de compatibilidad continuo. Esto se convierte en una puntuación tipo energía ($E = -g_\theta$), donde una alta energía indica baja compatibilidad (deriva).
• Suavizado Temporal y Umbralización: Para evitar falsos positivos por oclusiones transitorias o desenfoque por movimiento, la puntuación de energía se suaviza utilizando un Promedio Móvil Exponencial (EMA). Se declara pérdida de seguimiento solo si la energía suavizada supera un umbral calibrado durante $L$ cuadros consecutivos (por ejemplo, $L=3$).
• Re-localización Automática: Al detectar una deriva persistente, el sistema activa el SOM para re-segmentar el objeto y reinicializar la pose, cerrando efectivamente el bucle.

3. Contribuciones Clave

1. Marco Unificado: STORM propone un único marco para el seguimiento de pose 6D sin anotaciones y condicionado por referencia que aborda el desplazamiento distribucional entre datos de referencia y consulta sin requerir modelos CAD ni ajuste fino específico de instancia en tiempo de inferencia.
2. Atención de Fusión Espacial Jerárquica (HSFA): Una arquitectura impulsada por tareas para la segmentación condicionada por referencia de vistas variables. HSFA combina la agregación de vistas de referencia, la atención cruzada consulta-referencia y el condicionamiento semántico opcional derivado de VLM para mejorar la robustez bajo desorden y oclusión.
3. Verificación de Pérdida de Seguimiento: La formulación de la verificación de seguimiento como un problema de compatibilidad entrenado con BCE. Implementado a través de TOM, este mecanismo utiliza una puntuación tipo energía derivada del logit de compatibilidad para detectar deriva persistente y activar la reinicialización automática.
4. Punto de Referencia de Fallo de Seguimiento: El establecimiento de un punto de referencia que evalúa a los seguidores no solo en precisión de pose, sino también en su capacidad para distinguir trazas válidas de modos de fallo, demostrando que TOM proporciona una detección de pérdida de seguimiento más confiable que las líneas base de aprendizaje métrico fijo.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos LM-O y YCB-Video bajo un entorno de inferencia sin anotaciones (sin máscaras, cajas o actualizaciones específicas de objeto en tiempo de prueba).

• Precisión de Estimación de Pose: En LM-O, STORM logró un ADD-AUC del 74.0% y un ADD-S-AUC del 89.0%, superando la línea base fuerte (FoundationPose + CNOS) y acercándose al rendimiento de FoundationPose utilizando máscaras de verdad fundamental (78.0% y 93.0% respectivamente). En YCB-Video, STORM igualó la configuración de verdad fundamental y superó la línea base CNOS en un 5%.
• Calidad de Segmentación: El módulo SOM logró una Precisión Media Promedio (mAP) del 67.7% en cinco conjuntos de datos BOP, estableciendo un nuevo estado del arte en cuatro de ellos (LM-O, TUD-L, HB, YCB-Video) y superando a las líneas base supervisadas en T-LESS sin ajuste fino.
• Robustez del Seguimiento: En pruebas de estrés que involucraban movimiento rápido y oclusión, STORM superó significativamente a una línea base sin detección de fallos (ADD-AUC 74.64% vs. 52.76%). El módulo TOM detectó exitosamente la deriva y activó el re-seguimiento, mientras que la línea base no logró recuperarse.
• Eficiencia: El sistema opera en tiempo real. El verificador TOM añade aproximadamente 9.1 ms por cuadro, manteniendo el bucle de seguimiento en estado estable dentro del régimen de 25–33 FPS. SOM se invoca solo para inicialización o re-localización, ejecutándose a ~22 FPS para configuraciones de referencia única.

5. Significado y Afirmaciones

El artículo afirma que STORM demuestra que el aprendizaje de representaciones condicionado por referencia, combinado con la verificación explícita de pérdida de seguimiento, supera la coincidencia de plantillas tradicional en entornos sin anotaciones. Al integrar la comprensión semántica con la consistencia geométrica, el marco reduce los requisitos intensivos en mano de obra para desplegar sistemas de IA física.

Los autores enfatizan que la capacidad de modelar explícitamente la fiabilidad del estado de seguimiento es una contribución clave. A diferencia de los métodos anteriores que derivan silenciosamente, STORM proporciona una señal de auto-verificación continua que distingue la incertidumbre transitoria de la deriva persistente, permitiendo la recuperación autónoma. El trabajo sugiere que la geometría reconstruida (vía SAM3D) puede ser suficiente para el registro de pose práctico si la consistencia de coordenadas se maneja cuidadosamente, reduciendo la dependencia de activos CAD curados.

El artículo mantiene una postura modesta, reconociendo limitaciones como la ambigüedad en objetos simétricos o sin textura (por ejemplo, T-LESS) y la dependencia de la fidelidad de las reconstrucciones de SAM3D y el backend congelado de FoundationPose. Señala que, aunque el entorno actual de cero disparos es libre de adaptación, se necesita trabajo futuro para la adaptación de umbrales en línea y el manejo de objetos nuevos disjuntos por categoría.