NegROI: Click-Centric Uncertainty-Guided Refinement with Scene-Conditioned Negative Prompts for Robust Interactive 3D Segmentation

Resumen Técnico: NegROI

Planteamiento del Problema
La segmentación 3D interactiva tiene como objetivo extraer máscaras de objetos a partir de nubes de puntos utilizando un mínimo de clics del usuario. A pesar de los avances recientes, los métodos existentes enfrentan dos desafíos primarios:

1. Subsegmentación de Bordes: Las representaciones de vóxeles de resolución única suelen difuminar los bordes finos de los objetos, particularmente cuando el presupuesto de clics del usuario es reducido.
2. Falsos Positivos (FP) Difíciles: Estructuras de fondo que confunden frecuentemente activan falsos positivos de alta confianza, incluso con la retroalimentación del usuario.
   Estos problemas se ven exacerbados por los cambios de distribución entre conjuntos de datos (por ejemplo, reconstrucciones densas de RGB-D frente a escaneos LiDAR dispersos), donde las heurísticas de refinamiento fijas y la decodificación puramente impulsada por clics fallan al generalizar.

Metodología
Los autores proponen NegROI, un novedoso marco de trabajo basado en transformadores que integra el refinamiento multiresolución centrado en clics con prompts negativos condicionados por la escena. La arquitectura consta de tres componentes acoplados:

1. Backbone e Interacción:

   • El sistema utiliza un backbone de vóxeles dispersos y un decodificador de transformador de doble vía (adaptado de Easy3D) para codificar la escena e integrar los tokens de clic.
   • Los clics se mapean a coordenadas de vóxeles gruesas, y los tokens de interacción (primer plano, fondo y específicos de clic) se inyectan en el decodificador.

2. Prompts Negativos Condicionados por la Escena:

   • Para modelar explícitamente las estructuras de fondo confusas, el método introduce $K$ queries de prompts negativos aprendibles.
   • Estas queries realizan una atención cruzada (cross-attend) con los tokens de la escena para generar prototipos negativos condicionados por la escena, los cuales se anexan a los tokens de interacción antes de la decodificación.
   • Supervisión:
     • Minería de Negativos Difíciles con Conciencia de Borde ($L_{hn}$): Los pesos de atención de los prompts negativos son supervisados para enfocarse en falsos positivos de alta confianza ubicados cerca de los bordes de los objetos.
     • Regularizador de Diversidad ($L_{div}$): Una penalización sobre la similitud de coseno entre los prototipos negativos evita el "colapso de prompts", asegurando un modelado de fondo diverso.

3. Refinamiento de ROI Centrado en Clics:

   • En lugar de refinar toda la escena a alta resolución, el sistema identifica una Región de Interés (ROI) local alrededor del clic actual.
   • Radio Adaptativo: El tamaño de la ROI se determina mediante un radio adaptativo predicho a partir del contexto del clic y la densidad de puntos local.
   • Refinamiento Selectivo: Un mecanismo impulsado por la incertidumbre prioriza las regiones ambiguas dentro de la ROI para el procesamiento de rejilla fina.
   • Proceso de Refinamiento: La ROI se re-voxeliza a una resolución más fina ($v_f = v/\eta$), se procesa a través de un codificador compartido y un decodificador de ROI dedicado, y los logits finos resultantes se agregan mediante max-aggregation y se fusionan de nuevo con los logits gruesos mediante una actualización residual.

Contribuciones Clave
El artículo describe cuatro contribuciones primarias:

1. Refinamiento Multiresolución Centrado en Clics: Un módulo que realiza un refinamiento eficiente de rejilla fina dentro de una ROI local y fusiona estas predicciones de vuelta a los logits gruesos, abordando el difuminado de bordes sin necesidad de una decodificación global densa.
2. Refinamiento Selectivo Impulsado por la Incertidumbre: Un mecanismo que enfoca los recursos computacionales en regiones ambiguas dentro de la ROI, mejorando tanto la eficiencia como la robustez.
3. Prompts Negativos Condicionados por la Escena: Un enfoque estructurado para el modelado explícito del fondo utilizando prototipos negativos aprendidos mediante atención cruzada, aumentados por un regularizador de diversidad para evitar el colapso.
4. Minería de Negativos Difíciles con Conciencia de Borde: Una estrategia de supervisión que dirige la atención del prompt negativo específicamente hacia los falsos positivos de alta confianza cercanos a los bordes.

Resultados Experimentales
Los autores evaluaron NegROI en tres conjuntos de datos de referencia: ScanNet40, S3DIS y KITTI-360.

• Desempeño Intra-dominio: En ScanNet40, NegROI superó consistentemente a las líneas base de vanguardia (incluyendo InterObject3D, AGILE3D y Easy3D) en todos los presupuestos de clics ($k \in \{1, 2, 3, 5, 10\}$), observándose las ganancias más significativas bajo interacciones dispersas (1–3 clics).
• Generalización Fuera de Dominio: Cuando se entrenó en ScanNet40 y se probó en S3DIS y KITTI-360 sin entrenamiento en el dominio objetivo, NegROI demostró una robustez superior entre conjuntos de datos en comparación con las líneas base, manteniendo un fuerte desempeño particularmente con recuentos bajos de clics.
• Evaluación de Un Solo Clic: En un escenario entrenado solo en ScanNet20 y probado en ScanNet20/40, NegROI mejoró las métricas mAP y AP en comparación con las líneas base no interactivas y de vocabulario abierto, lo que sugiere que los beneficios del prompting y el refinamiento propuestos se extienden a escenarios de un solo clic.
• Análisis Cualitativo: Las visualizaciones confirmaron que NegROI suprime eficazmente los distractores adheridos o visualmente similares y recupera bordes más nítidos, resultando en menos falsos positivos cercanos al borde en comparación con la línea base Easy3D.

Significancia
El artículo afirma que NegROI hace avanzar el estado del arte para la segmentación 3D interactiva robusta. Al acoplar el refinamiento local centrado en clics con el modelado explícito del fondo mediante prompts negativos, el método logra un mejor uso de la eficiencia de clics y una reducción de los falsos positivos. Crucialmente, aborda el desafío de generalizar a través de conjuntos de datos con diferentes densidades y escalas, ofreciendo una solución que es menos dependiente de heurísticas fijas y más adaptable a los cambios de distribución. Los autores posicionan este trabajo como un paso hacia pipelines interactivos más fiables para aplicaciones 3D donde el etiquetado denso es costoso.