Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation

Resumen Técnico: Las señales de confianza del detector indican presencia en lugar de oclusión en la manipulación con desorden

Declaración del Problema
En la percepción activa y la manipulación robótica, los detectores de vocabulario abierto se utilizan ampliamente para determinar si un objeto nombrado está presente y es visible en una escena. Los sistemas suelen depender de la puntuación de confianza del detector como un sustituto de la visibilidad del objetivo para tomar decisiones críticas, tales como filtrar detecciones, fundamentar el lenguaje (grounding), recuperar instancias o regular la percepción activa (por ejemplo, decidir si mover una cámara para revelar un objeto oculto). Este artículo cuestiona el supuesto fundamental de que la confianza del detector rastrea la visibilidad real de un objetivo específico. Los autores postulan que, en entornos desordenados, las puntuaciones de confianza altas pueden indicar la presencia de la categoría del objeto en algún lugar de la vista, en lugar de la visibilidad de la instancia del objetivo específico, particularmente cuando el objetivo está ocluido por distractores de la misma categoría.

Metodología: La Auditoría del Oráculo de Geometría
Para probar rigurosamente este supuesto, los autores proponen una "auditoría de oráculo de geometría", un marco de diagnóstico libre de detectores.

• Oráculo de Verdad de Campo (Ground Truth): En lugar de depender de las salidas del detector, el método utiliza un oráculo de segmentación geométrica derivado de la estructura 3D de la escena. Este oráculo calcula la visibilidad real ($V$) de un objeto objetivo mediante el conteo del número de píxeles visibles en un renderizado de segmentación, independientemente de cualquier detector.
• Configuración Experimental: Las escenas se generan en el simulador LIBERO (y se replican en ManiSkill 3 y video real de DAVIS-2017). Un objeto objetivo se coloca en el centro, rodeado por $k$ objetos distractores. Se prueban dos disposiciones (layouts):
  • Disposición Frontal: Los distractores forman una pared entre la cámara y el objetivo, ocluyendo progresivamente al objetivo a medida que $k$ aumenta.
  • Disposición en Anillo: Los distractores rodean al objetivo simétricamente, manteniendo al objetivo totalmente visible pero aumentando la densidad del desorden (clutter).
• Comparación: Para cada vista (vista predeterminada fija y vistas candidatas activas), el sistema compara la visibilidad real del oráculo ($V$) contra la puntuación de confianza ($c$) y la región predicha ($r$) del detector de vocabulario abierto.
• Detectores Evaluados: El estudio audita a Grounding DINO (tiny y base), OWLv2 y Segment Anything Model 3 (SAM 3).
• Métricas: El estudio mide la correlación entre la confianza y la visibilidad real, la fracción de escenas donde el detector reporta el objetivo como "resuelto" (confianza > umbral) a pesar de la oclusión, y la Intersección sobre Unión (IoU) entre la región predicha y la máscara real del objetivo.

Contribuciones Clave

1. Auditoría de Oráculo de Geometría: Introducción de una herramienta de diagnóstico libre de detectores que permite a los investigadores medir si la confianza de un detector de vocabulario abierto rastrea la visibilidad real del objeto comparándola con la segmentación de verdad de campo.
2. Documentación del Desacoplamiento: Evidencia empírica que muestra que la confianza del detector está mayormente descorrelacionada con la visibilidad real en escenarios ocluidos. El detector a menudo reporta un objetivo oculto como "presente" con alta confianza porque detecta distractores de la misma categoría.
3. Cuantificación de Costos Sistémicos: Demostración de que confiar en las señales de confianza conduce a dos fallos específicos:
   • Subestimación de la Percepción Activa: Las métricas basadas en la confianza subestiman el valor de mover una cámara para resolver la oclusión por un factor de aproximadamente diez (por ejemplo, una ganancia de 8 puntos en confianza frente a una ganancia de 88 puntos en visibilidad real).
   • Fallo de la Regulación (Gating): Los reguladores basados en la confianza fallan al activar el movimiento de la cámara cuando el objeto está oculto, ya que el detector permanece confiado debido a los distractores.
4. Generalización: Se demuestra que el fallo se mantiene a través de tres arquitecturas de detectores diferentes, nueve categorías de objetos, dos simuladores distintos con diferentes renderizadores y video del mundo real.

Resultados Experimentales

• Desacoplamiento de Confianza y Visibilidad: A medida que la visibilidad real cae del 100% al 12% (en la disposición frontal con 12 distractores), la confianza media de Grounding DINO permanece casi constante (0.40) y la tasa de "resuelto" se mantiene por encima del 90%. La correlación entre la confianza y la visibilidad es cercana a cero.
• Mala Localización: Bajo oclusión severa, el 88% de las detecciones confiadas aterrizan en distractores de la misma categoría en lugar del objetivo ocluido. El detector señala la presencia de la categoría, no la visibilidad del objetivo.
• Fallo de las Señales de Vista Única: Ninguna señal de vista única (incluyendo la confianza o una verificación de localización utilizando posiciones rastreadas) identifica la oclusión de manera fiable. Esto se debe a que los oclusores se sitúan exactamente donde debería estar el objetivo, haciendo que una detección en un oclusor sea espacialmente indistinguible de una detección en el objetivo en una sola vista.
• Valor de la Percepción Activa: Mientras que el oráculo muestra que mover la cámara recupera la visibilidad en casi el 100% de las escenas ocluidas (un beneficio de 88 puntos), las métricas basadas en la confianza sugieren un beneficio insignificante (3–8 puntos), lo que lleva a los sistemas a concluir incorrectamente que la percepción activa no es necesaria.
• Artefacto de la Disposición en Anillo: En las disposiciones en anillo donde el objetivo nunca es ocluido, la confianza del detector cae a medida que aumenta el desorden. Esto indica que los benchmarks estándar que utilizan disposiciones en anillo miden la sensibilidad al desorden, no a la oclusión, lo que confunde aún más la evaluación.
• Impacto en el Proceso de Descendencia (Downstream): En una tarea de agarre (grasping), un "regulador de confianza" (permanecer estático si la confianza es alta) falla en localizar el objetivo en el 95% de las escenas ocluidas. Una estrategia de "mover y verificar" eleva la localizabilidad al 100%, aunque los errores de profundidad residuales debidos a la oclusión aún impiden el agarre exitoso en muchos casos.

Significancia y Reivindicaciones
El artículo sostiene que la práctica generalizada de usar la confianza de un detector de vocabulario abierto como una señal de visibilidad es fundamentalmente errónea en tareas de manipulación con desorden. Los autores argumentan que este desacoplamiento no es un problema menor de calibración, sino un fallo estructural donde los detectores alucinan la presencia de un objetivo específico al detectar objetos similares cercanos.

La significancia de este trabajo radica en:

1. Corrección de la Evaluación: Advierte que las métricas basadas en la confianza subestiman severamente la utilidad de las estrategias de percepción activa, lo que podría detener el desarrollo de sistemas de manipulación robustos.
2. Seguridad en la Regulación: Destaca que confiar en la confianza para decidir "cuándo mirar" es inseguro, ya que el sistema puede permanecer estático precisamente cuando el objetivo está oculto.
3. Recomendación: Los autores recomiendan cambiar la evaluación y los mecanismos de regulación hacia señales "fundamentadas en el objetivo" (por ejemplo, el solapamiento con una máscara de objetivo rastreada o el error de localización) en lugar de la confianza bruta de la categoría. También sugieren que los benchmarks deben distinguir entre disposiciones que realmente ocluyen objetivos (frontal) y aquellas que simplemente los desordenan (anillo) para evitar resultados engañosos.

El artículo concluye que, si bien mover la cámara resuelve el problema de la visibilidad, la misma oclusión que derrota a la confianza también limita la precisión de la localización para el agarre, lo que sugiere que el trabajo futuro debe abordar la fusión de múltiples vistas o la búsqueda rica en contacto para cerrar la brecha entre la detección y el agarre exitoso.