Resumen Técnico: Imaginar en 360° para la Búsqueda Visual Humanoide

Definición del Problema

La Búsqueda Visual Humanoide (HVS) requiere que agentes encarnados exploren activamente entornos panorámicos inmersivos de 360° para localizar objetos específicos (Búsqueda de Objetos Humanoides, HOS) o rutas navegables (Búsqueda de Rutas Humanoides, HPS). A diferencia de la percepción pasiva, la HVS exige un ciclo cerrado de percepción-acción donde los agentes deben reorientar su "cabeza" (cámara) para descubrir información ocluida.

Los enfoques actuales del estado del arte, como Thinking in 360° (Yu et al., 2025), tratan la HVS como una tarea monolítica impulsada por Modelos de Lenguaje Multimodales Grandes (MLLM) que utilizan razonamiento de Cadena de Pensamiento (CoT) acumulativo. Estos métodos sufren tres cuellos de botella principales:

1. Sobrecarga Cognitiva: Acoplar la comprensión espacial 3D compleja con la planificación de acciones en un solo modelo crea cargas de razonamiento significativas para los MLLM actuales.
2. Suposición Implícita: Sin un modelado explícito de las relaciones espaciales, los agentes se ven obligados a adivinar implícitamente la disposición de las regiones no vistas, lo que conduce a exploraciones inactivas o inexactas.
3. Escalabilidad de Datos: Entrenar estos agentes monolíticos requiere anotaciones costosas y de alta calidad de trayectorias de CoT de múltiples turnos, que son difíciles de curar a escala y obstaculizan la generalización a diversos escenarios del mundo real.

Metodología: Una Arquitectura Desacoplada

El artículo propone Imaginar en 360°, un marco que desacopla el proceso de exploración en dos componentes especializados: un Imaginador probabilístico y un Actor ejecutivo.

1. El Imaginador (Generador de Priors Espaciales Probabilísticos)

El Imaginador está diseñado para modelar explícitamente el entorno de 360° prediciendo la disposición semántica de las regiones observadas y no observadas en un solo paso, en lugar de mantener una cadena de razonamiento acumulativa.

• Tarea: Dada una observación limitada de Campo de Visión Estrecho (NFoV) y una instrucción en lenguaje natural, el Imaginador genera una estructura bloqueada que contiene:
  • [Observado]: Hitos actualmente o previamente visibles.
  • [Imaginado]: Predicciones probabilísticas de objetos que probablemente existen en regiones no vistas (ej. "Escalera: (-45, -10)").
• Muestreo Probabilístico: En lugar de una única suposición determinista, el Imaginador genera múltiples hipótesis espaciales mediante muestreo con temperatura. Esto captura la incertidumbre inherente de los entornos ocluidos.
• Salida: Una lista clasificada de sugerencias (ej. "Sugerir Verificar (φ, µ)") que representa una distribución de priores espaciales.

2. El Actor (Agente de Ejecución)

El Actor es responsable de la búsqueda física y puede ser cualquier MLLM disponible o modelo de búsqueda ajustado.

• Integración: El Actor recibe la observación actual de NFoV, la memoria histórica y las sugerencias espaciales generadas por el Imaginador.
• Razonamiento: Potenciado por estos priores, el Actor evalúa la plausibilidad de las disposiciones sugeridas frente a su memoria visual para generar una cadena de razonamiento.
• Acción: El Actor genera una siguiente acción, ya sea una rotación (Rot) a una nueva coordenada o una presentación (Sub) de la vista final del objetivo.

3. Motor de Datos Escalable

Una innovación clave es la capacidad de generar datos de entrenamiento sin anotaciones manuales de trayectorias.

• Etiquetado Pseudo: Los autores utilizan un potente modelo maestro (Qwen3-VL-235B) para etiquetar panoramas completos de 360°.
• Trayectorias Sintéticas: A partir de estos panoramas completamente anotados, muestrean sintéticamente trayectorias, revelando solo 1–8 observaciones de NFoV por instancia mientras mantienen el 50% de los objetivos fuera de la vista.
• Escala: Esta tubería automatizada produce aproximadamente 1.92 millones de muestras de razonamiento espacial de un solo paso de alta calidad en ~20,000 escenas diversas, evitando el costo de la curación de CoT a nivel de trayectoria.

4. Tubería de Inferencia

Durante la inferencia, el Imaginador genera $K$ coordenadas candidatas por paso:

• Un ancla codiciosa ($T=0$) para la predicción más confiable.
• $K-1$ muestras estocásticas ($T>0$) para capturar hipótesis diversas.
• Estas coordenadas absolutas se convierten en acciones de rotación relativas para el Actor. Se aplica un programa de decaimiento de temperatura sobre los pasos de búsqueda, transitando de una exploración amplia a una predicción enfocada a medida que se acumula evidencia visual.

Contribuciones Clave

1. Paradigma Desacoplado de HVS: El artículo redefine la búsqueda visual separando la imaginación espacial intuitiva de la planificación de acciones. Esto permite que los agentes exploren de manera más activa y segura, fundamentados en suposiciones espaciales sólidas en lugar de solo en cadenas lógicas exhaustivas.
2. Imaginador Probabilístico: Introducción de un modelo especializado que aprende priores espaciales intuitivos (ej. disposiciones arquitectónicas) y guía al Actor con estimaciones probabilísticas, protegiendo efectivamente contra la incertidumbre espacial.
3. Motor de Datos Escalable: Una tubería totalmente automatizada que escala el entrenamiento a ~1.92M de muestras sin etiquetas de trayectoria manuales, permitiendo un rendimiento robusto en el mundo real sin el costo prohibitivo de la anotación experta.

Resultados Experimentales

El marco fue evaluado en H*Bench a través de diversos MLLM de Código Abierto, Propietarios y Ajustados.

• Mejoras de Rendimiento: La tubería desacoplada supera significativamente a las líneas base monolíticas.
  • Qwen3-VL (235B): La tasa de éxito de HOS aumentó del 23.62% al 65.04%; la de HPS del 21.44% al 38.25%.
  • HVS-3B (línea base ajustada con RL): La tasa de éxito saltó del 48.04% al 62.75% en HOS al integrarse con el Imaginador.
  • Modelos Propietarios: Gemini-2.5 Pro mejoró del 55.00% al 66.10% en HOS.
• Eficiencia: La tubería conjunta desplaza la distribución de búsqueda, con la mayoría de las búsquedas convergiendo en 1–3 pasos, en comparación con la línea base que a menudo alcanza el límite de fallo de 10 pasos. La latencia de inferencia se reduce a ~2.5s por paso (frente a 20–30s para líneas base de imaginación a nivel de píxel como FLUX).
• Estudios de Ablación:
  • Eliminar el contexto de disposición estructurada reduce el rendimiento por debajo de la línea base, confirmando la necesidad de un modelado espacial global explícito.
  • El muestreo probabilístico ($T>0$) supera al descodificación codiciosa determinista ($T=0$), validando la importancia de capturar la incertidumbre espacial.
  • Las leyes de escalado muestran una mejora monótona a medida que los datos de preentrenamiento del Imaginador aumentan de 0 a 1.92M de muestras.

Significado y Afirmaciones

El artículo afirma que Imaginar en 360° cambia fundamentalmente cómo los agentes encarnados abordan el espacio no observado. Al modelar explícitamente los priores espaciales en el espacio del lenguaje en lugar de depender de la reconstrucción a nivel de píxel o del razonamiento CoT monolítico, el marco:

• Reduce la Carga Cognitiva: Separa la difícil tarea de la predicción de la disposición espacial de la planificación de acciones.
• Permite la Escalabilidad: Resuelve el cuello de botella de los datos generando millones de muestras de entrenamiento automáticamente, haciendo accesible la HVS de alto rendimiento sin anotaciones expertas costosas.
• Mejora la Robustez: Demuestra un rendimiento superior en entornos complejos del mundo real donde los agentes suelen fallar debido a la incertidumbre espacial o al alucinación.

Los autores concluyen que, aunque el marco actual opera en un paradigma de ejecución de bucle abierto (donde el Actor no puede retroalimentar al Imaginador), establece exitosamente una arquitectura complementaria que fundamenta los priores espaciales generativos con la planificación de acciones lógicas, ofreciendo un camino escalable y eficiente hacia adelante para la Búsqueda Visual Humanoide.