ClickSeg3D: Few-Click Interactive Segmentation via Semantic Embeddings

Resumen Técnico: ClickSeg3D

Enunciado del Problema
La segmentación 3D interactiva tiene como objetivo generar etiquetas eficientes aprovechando los clics proporcionados por el usuario para refinar progresivamente las predicciones, una capacidad crítica para escenarios donde las etiquetas totalmente supervisadas son costosas o se requiere generalización a clases no vistas. Los métodos interactivos 3D existentes enfrentan limitaciones significativas: la mayoría operan de forma secuencial, prediciendo un solo objeto por iteración con máscaras binarias, lo que resulta en una inferencia lenta para escenas con múltiples objetos. Además, los enfoques recientes a menudo dependen de modelos fundacionales 2D (por ejemplo, SAM) y requieren una alineación precisa de la cámara para cerrar la brecha 2D-3D. Estos métodos son sensibles a puntos de vista dispersos, oclusiones e inconsistencias entre las máscaras 2D y las etiquetas 3D. Asimismo, las tuberías iterativas que requieren actualizaciones repetidas del modelo después de cada clic correctivo son computacionalmente costosas y limitan la escalabilidad, particularmente para conjuntos de datos no vistos.

Metodología
Los autores proponen ClickSeg3D, un marco novedoso de segmentación interactiva que opera directamente sobre puntos 3D dispersos y aleatoriamente submuestreados, y procesa múltiples clics de objetos en una sola pasada hacia adelante. La arquitectura consta de tres componentes principales:

1. Codificador basado en Point Transformer: El modelo utiliza un codificador compartido Point Transformer v3 (PTv3) para extraer características ricas tanto de los puntos de la escena como de los puntos de clic proporcionados por el usuario. Este codificador genera características de escena multiescala e inicializa características de consulta basadas en el vóxel más cercano a la ubicación del clic.
2. Decodificador de Máscara Jerárquico con Adaptador de Consulta Condicional: A diferencia de las tuberías iterativas anteriores, el decodificador procesa todas las consultas de clic simultáneamente. Emplea una arquitectura multietapa donde un bloque transformador refina las características mediante atención cruzada (clic-a-escena) y autoatención (clic-a-clic). Crucialmente, el marco introduce un Adaptador de Consulta Condicional que refina las características de clic dispersas utilizando incrustaciones semánticas y espaciales aprendibles.
   • Incrustaciones de Prototipos Semánticos: Inspirado en la segmentación de vocabulario abierto, el modelo utiliza prototipos semánticos aprendibles para condicionar las características de consulta, mejorando la atención y la robustez ante categorías no vistas.
   • Recorte y Fusión Multinivel: El decodificador refina progresivamente las máscaras de instancia desde una granularidad gruesa hasta una fina. Utiliza una cabeza de máscara para la predicción espacial y una cabeza de clase para la clasificación semántica, fusionando incrustaciones espaciales (derivadas del agrupamiento de máscaras) e incrustaciones semánticas (seleccionadas de prototipos) para actualizar las características de consulta mediante una MLP ligera.
3. Estrategia de Entrenamiento: Los autores introducen una Estrategia de Entrenamiento Impulsada por Interacción Dispersa. En lugar de depender de retroalimentación humana iterativa durante el entrenamiento, simulan interacciones realistas de usuario utilizando Muestreo del Punto Más Lejano (FPS) para generar puntos de clic simulados en escenas submuestreadas. Esto permite que el modelo aprenda un problema de predicción de múltiples objetos de "un clic por instancia" en una sola pasada hacia adelante, donde el clic positivo de una instancia sirve implícitamente como supervisión negativa para las demás.

Contribuciones Clave

• Arquitectura Desacoplada de Pasada Única: El marco desacopla explícitamente la extracción de características de puntos del refinamiento de máscaras multietapa, permitiendo una segmentación eficiente y de granularidad fina de múltiples objetos en una sola pasada hacia adelante sin re-inferencia iterativa.
• Entrenamiento Impulsado por Interacción Dispersa: Un paradigma de entrenamiento basado en puntos dispersos y aleatoriamente submuestreados simula interacciones de usuario, mejorando la robustez ante variaciones en el número de clics y distribuciones espaciales, manteniendo al mismo tiempo la eficiencia del entrenamiento.
• Decodificador de Recorte y Fusión Multinivel: Un decodificador progresivo que aprovecha incrustaciones de prototipos semánticos aprendibles para condicionar y actualizar las características de consulta. Esto mejora la precisión de la máscara y la generalización a conjuntos de datos no vistos sin aumentar el costo computacional.

Resultados Experimentales
Se realizaron experimentos extensos en conjuntos de datos interiores (ScanNet40, S3DIS) y exteriores (KITTI360).

• Rendimiento: El modelo mejora la Intersección sobre la Unión media (mIoU) en más del 20% en comparación con líneas base sólidas (por ejemplo, InterObject3D, Agile3D, SAM2Point) en un escenario de un clic por instancia. En ScanNet40, alcanza un 71.6% de mIoU con un solo clic, en comparación con el 65.2% de SAM2Point y el 63.3% de Agile3D.
• Generalización: Bajo evaluación entre conjuntos de datos (por ejemplo, entrenamiento en ScanNet40 y prueba en S3DIS o KITTI360), el método logra ganancias del 8–10% sobre las líneas base, demostrando una robustez superior ante cambios de dominio.
• Eficiencia: El diseño de pasada única reduce significativamente la sobrecarga computacional. El modelo logra una latencia de inferencia competitiva (0.06s) y una huella de memoria razonable (128.5 MB), lo que lo hace adecuado para aplicaciones en tiempo real.
• Estudios de Ablación: La eliminación de componentes como las incrustaciones semánticas, las incrustaciones espaciales o el adaptador de consulta conduce a caídas significativas en el rendimiento, validando la necesidad de la arquitectura propuesta.

Significado y Afirmaciones
El artículo afirma que ClickSeg3D proporciona una solución generalizable y eficiente para la segmentación de instancias 3D interactiva. Al eliminar la necesidad de refinamiento iterativo y alineación explícita de la cámara, el método aborda los cuellos de botella de escalabilidad y eficiencia de los enfoques actuales. Los autores afirman que su enfoque es particularmente adecuado para aplicaciones en tiempo real como manipulación robótica, navegación y anotación semántica 3D rápida. El trabajo demuestra que modelar las relaciones entre instancias y refinar predicciones espaciales/semánticas mediante incrustaciones en una sola pasada puede superar a los métodos que dependen de modelos fundacionales 2D o inferencia secuencial.

Limitaciones
Los autores reconocen que el marco actual se limita a consultas de clic basadas en nubes de puntos y aún no explota señales cruzadas de modalidades más ricas, como indicaciones de texto o guía de máscaras 2D de modelos fundacionales. Además, la interacción del usuario aún es necesaria para iniciar la segmentación, y el modelo no razona explícitamente sobre jerarquías de partes de granularidad fina. Se propone trabajo futuro para extender el marco a la segmentación interactiva multimodal.