EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence

Resumen Técnico: EagleVision

1. El Problema

El razonamiento espacial basado en video (estimar distancias, juzgar direcciones o entender distribuciones de habitaciones) es una capacidad fundamental para la comprensión multimodal y aplicaciones como la conducción autónoma. Sin embargo, los Modelos de Lenguaje Multimodal (MLLM) actuales enfrentan tres limitaciones críticas:

• Muestreo Ineficiente: Los modelos existentes consumen un conjunto fijo de frames muestreados uniformemente, lo que a menudo ignora los puntos de vista clave necesarios para inferencias 3D precisas debido a restricciones de presupuesto de tokens.
• Falta de Búsqueda Activa: Una vez seleccionados los frames iniciales, los modelos no pueden solicitar nuevas vistas durante el proceso de razonamiento si la evidencia visual es insuficiente.
• Dependencia de Anotaciones: Los métodos actuales que intentan mejorar el razonamiento espacial a menudo requieren trazas de razonamiento (Chain-of-Thought) anotadas por humanos, lo cual es costoso y poco práctico de escalar.

2. Metodología: EagleVision

EagleVision propone un marco de dos etapas que combina la selección de frames consciente de la geometría con un razonamiento activo basado en una vista superior (Bird's-Eye View, BEV).

Etapa 1: Percepción Macro (Selección de Frames)
El objetivo es seleccionar un conjunto compacto de frames clave que sean tanto semánticamente relevantes como geométricamente diversos bajo un presupuesto de tokens fijo.

• Reconstrucción Geométrica: Se utiliza un sistema SLAM (o estimación de poses) para obtener las poses de la cámara y mapas de profundidad, proyectándolos en un plano BEV.
• SPF-DPP (Semantics-Perspective-Fusion Determinantal Point Process): Se introduce un nuevo algoritmo de muestreo que optimiza conjuntamente:
  • Relevancia Semántica: Calculada mediante FG-CLIP entre el frame y la consulta de texto.
  • Diversidad de Punto de Vista: Modelada mediante un kernel de difusión de calor sobre un grafo de poses en SE(3) (rotación y traslación).
  • Este proceso selecciona los $k$ frames que maximizan la cobertura espacial y la relevancia temática.

Etapa 2: Verificación Micro (Razonamiento Espacial Activo)
Una vez seleccionados los frames iniciales y el mapa BEV, el modelo entra en un ciclo de razonamiento iterativo (Spatial MCoT).

• Ciclo Hipótesis-Verificación: En cada paso, el modelo puede: (1) generar texto para razonar, (2) terminar con una respuesta, o (3) solicitar activamente una nueva vista.
• Consulta de Poses Basada en BEV: Si el modelo necesita más evidencia, predice una pose 2D $(x, y, \theta)$ en el plano BEV. El sistema recupera el frame real del video cuya pose esté más cerca de la predicción.
• Entrenamiento sin Supervisión Humana: La política de consulta se entrena exclusivamente mediante Aprendizaje por Refuerzo (GRPO - Group Relative Policy Optimization).
  • Recompensa de Anclaje Espacial (Spatial Grounding Reward): Se introduce una recompensa que penaliza las consultas dirigidas a regiones sin cobertura de cámara (evitando alucinaciones de vistas) y recompensa la corrección de la respuesta final. No se requieren trazas de razonamiento anotadas por humanos.

3. Contribuciones Clave

1. Marco Dual-Stage: La primera arquitectura que integra la selección de frames geométricamente consciente con un razonamiento espacial activo de "búsqueda de vistas" en video.
2. SPF-DPP: Una estrategia de muestreo novedosa que fusiona scores semánticos y diversidad de perspectiva mediante procesos puntuales determinantes, superando el muestreo uniforme.
3. Razonamiento Espacial Activo (BEV-Grounded CoT): Capacidad del modelo para predecir poses en un mapa BEV y recuperar frames reales dinámicamente, cerrando el ciclo de "pensar-observar-verificar".
4. Entrenamiento Puro por RL: Demostración de que es posible aprender políticas de consulta espacial complejas solo con recompensas a nivel de respuesta (correctitud + anclaje espacial), sin necesidad de datos de entrenamiento costosos con trazas de CoT.

4. Resultados Experimentales

El modelo se evaluó en dos benchmarks principales: VSI-Bench (comprensión espacial 3D) y SQA3D (respuesta a preguntas situadas en 3D).

• Rendimiento General: EagleVision alcanza el estado del arte (SOTA) entre los modelos VLM de código abierto en ambos benchmarks.
  • En VSI-Bench, logra un promedio de 63.5, superando a modelos propietarios como Gemini-1.5 Pro y a otros VLMs de código abierto como VLM-3R y Spatial-MLLM.
  • En SQA3D, obtiene un 60.3% (EM@1), superando significativamente a métodos supervisados recientes.
• Estudios de Ablación:
  • La combinación de MCoT + BEV + SPF-DPP es superior a usar solo MCoT o solo BEV.
  • La recompensa de "Herramienta" (Tool) y la de "Anclaje Espacial" (Spatial) son críticas; sin la recompensa espacial, el modelo tiende a consultar poses inválidas.
• Robustez: El sistema es robusto al ruido en la estimación de poses (caída de rendimiento < 0.4% con ruido medio) y funciona bien incluso si se cambia el backend de SLAM por métodos de aprendizaje (VGGT).

5. Significado e Impacto

EagleVision representa un avance significativo en la inteligencia espacial de los agentes multimodales.

• Superación de Limitaciones de Tokens: Al permitir que el modelo solicite vistas específicas solo cuando es necesario, supera la restricción de ventanas de contexto fijas.
• Eficiencia de Datos: Elimina la dependencia de anotaciones humanas para el razonamiento espacial, demostrando que el aprendizaje por refuerzo con recompensas de anclaje geométrico es suficiente.
• Aplicabilidad: El enfoque es agnóstico al backend (puede usar SLAM tradicional o redes neuronales de estimación de poses), lo que facilita su integración en sistemas de robótica, vehículos autónomos y asistentes de realidad aumentada que requieren una comprensión profunda del entorno 3D.

En resumen, EagleVision transforma el razonamiento espacial de un proceso pasivo (analizar lo que se tiene) a uno activo (buscar lo que falta), logrando una precisión superior mediante un ciclo cerrado de hipótesis y verificación visual.