SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization

Resumen Técnico: SceneFunRI – Razonar lo Invisible para la Localización Funcional de Objetos Orientada a Tareas

Definición del Problema
Los Modelos Visuales-Lingüísticos (VLM) actuales tienen dificultades con el razonamiento espacial en escenarios del mundo real donde los objetos objetivo son completamente invisibles. Mientras que los humanos pueden inferir las ubicaciones de objetos funcionales ocluidos utilizando el contexto y el conocimiento del sentido común, las benchmarks y modelos existentes dependen en gran medida de pistas visibles o oclusión parcial (por ejemplo, sombras o reflejos). El artículo identifica una brecha en la evaluación de la capacidad de razonar sobre objetos "invisibles": objetivos que están completamente fuera del campo visual y carecen de evidencia visual indirecta, requiriendo inferencia únicamente a partir de instrucciones de tarea, la disposición de la escena y priores del sentido común.

Metodología
Los autores introducen SceneFunRI, una benchmark diseñada específicamente para evaluar el "Razonamiento de lo Invisible" (RI).

• Construcción del Dataset: Basada en el dataset SceneFun3D, la benchmark utiliza una pipeline semi-automática para generar 855 instancias orientadas a tareas. El proceso implica:
  1. Selección de Cuadros: Identificación de cuadros donde un objeto funcional existe dentro del campo de visión de la cámara pero está completamente ocluido ($V_o = 0\%$) en la imagen 2D.
  2. Generación de Verdad Terrenal: Proyección de anotaciones de nubes de puntos 3D de los objetos ocultos sobre el plano de la imagen 2D para crear cajas delimitadoras de verdad terrenal.
  3. Control de Calidad: La verificación humana asegura que las tareas tengan pistas contextuales suficientes (por ejemplo, la presencia de una cama para inferir la ubicación de una mesita de noche) e instrucciones inequívocas, filtrando los 1.232 candidatos iniciales hasta llegar a 855 instancias de alta calidad.
• Métricas de Evaluación: La Intersección sobre la Unión (IoU) estándar se considera demasiado estricta para objetivos invisibles. Los autores proponen:
  • Precisión de Contención (CAcc@$\theta$): Mide si la caja de verdad terrenal está contenida dentro de la región predicha, penalizando las predicciones excesivamente grandes.
  • Dist: Una métrica de distancia de esquina normalizada para evaluar la proximidad de localización incluso cuando las cajas no se superponen.
• Estrategias de Prompting: El estudio analiza tres categorías de prompting:
  1. Prompting de Instrucción Fuerte: Instruir explícitamente a los modelos para ignorar objetos visibles y enfocarse en regiones invisibles o aplicar reglas del sentido común.
  2. Prompting Basado en Razonamiento: Utilizar Cadena de Pensamiento (CoT) y CoT con Auto-reflexión (CoT-SR) para fomentar la inferencia paso a paso.
  3. Proceso de Eliminación Espacial (SPoE): Un marco iterativo inspirado en la toma de decisiones humana. El modelo divide progresivamente la imagen en regiones, elimina candidatos de baja probabilidad y reduce el espacio de búsqueda hasta localizar la ubicación del objetivo.

Resultados Clave

• Rendimiento del Modelo: Incluso la línea base más fuerte, Gemini 3 Flash, logra una CAcc@75 baja de 15.20 y una Dist de 28.65, quedando significativamente por detrás de la línea base humana (CAcc@75 de 66.43). Los modelos de código abierto (Qwen, InternVL, Gemma) y los modelos especializados en razonamiento espacial generalmente tienen un rendimiento peor, lo que indica que los VLM actuales carecen de capacidades robustas para el razonamiento sobre lo invisible.
• Análisis de Prompting:
  • Instrucciones Fuertes: El prompt "Hidden" (ignorando objetos visibles) arrojó mejoras estables, sugiriendo capacidades de razonamiento latentes. Sin embargo, añadir conocimiento explícito del sentido común (prompt "Common") a menudo degradó el rendimiento, destacando una desconexión entre la comprensión del lenguaje y la anclaje espacial.
  • Razonamiento: CoT y CoT-SR mejoraron el rendimiento solo para modelos más grandes (Qwen 3.5 27B/122B) que carecen de razonamiento estructurado automático, mientras que modelos como Gemini 3 Flash (que generan inherentemente razonamiento estructurado) no vieron ganancias o sufrieron una ligera degradación.
  • SPoE: La estrategia SPoE redujo efectivamente la métrica Dist a medida que aumentaban las iteraciones, demostrando que los modelos son mejores excluyendo regiones visibles de baja probabilidad que inferir directamente ubicaciones invisibles. Sin embargo, los modelos tuvieron dificultades para determinar un punto de parada óptimo, a menudo continuando eliminando regiones incluso después de que el espacio de búsqueda estuviera suficientemente restringido.
• Hallazgos Cualitativos: Los modelos identificaron frecuentemente incorrectamente objetos con apariencias visuales o asociaciones semánticas similares (por ejemplo, confundir un interruptor de corriente con un enchufe) y fallaron en inferir detalles finos como la posición de manijas de puerta ocluidas, incluso cuando identificaban el área general de la tarea.

Significado y Afirmaciones
El artículo afirma que SceneFunRI expone una limitación fundamental en los VLM actuales: la incapacidad de integrar la intención de la tarea, los priores del sentido común y el anclaje espacial para razonar bajo condiciones de incertidumbre visual completa.

• Contribución de la Benchmark: Extiende la investigación en razonamiento espacial desde relaciones visibles y explícitas hacia la inferencia invisible e implícita, proporcionando un campo de pruebas necesario para agentes encarnados y la toma de decisiones en el mundo real.
• Insight Metodológico: Los autores argumentan que inferir directamente regiones ocultas es un desafío sustancial. En su lugar, el artículo sugiere que un enfoque más viable para los modelos actuales podría ser analizar regiones observables para excluir candidatos de baja probabilidad (como demuestra SPoE), en lugar de intentar la generación directa de ubicaciones invisibles.
• Dirección Futura: Los resultados motivan el desarrollo de modelos que puedan integrar mejor la búsqueda consciente de la incertidumbre y un acoplamiento más estrecho entre la intención semántica y el anclaje espacial, ya que los modelos actuales permanecen inestables al razonar sobre regiones invisibles.