EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence

Resumo Técnico: EagleVision

1. O Problema

O raciocínio espacial baseado em vídeo (como estimar distâncias, julgar direções relativas ou entender layouts de ambientes) exige que os modelos integrem pistas geométricas de múltiplos pontos de vista. Os Modelos Multimodais de Grande Escala (MLLMs) atuais enfrentam três limitações críticas:

1. Amostragem Passiva e Redundante: Eles consomem um conjunto fixo de quadros amostrados uniformemente, o que frequentemente falha em capturar os pontos de vista geométricos críticos necessários para inferências 3D confiáveis, desperdiçando tokens em quadros redundantes.
2. Falta de Busca Ativa: Uma vez selecionados os quadros iniciais, os modelos não possuem mecanismos para solicitar novas visualizações durante o raciocínio se as evidências atuais forem insuficientes.
3. Dependência de Anotações Humanas: Métodos anteriores que tentam raciocínio iterativo geralmente exigem traços de raciocínio (Chain-of-Thought) anotados manualmente, o que é impraticável para tarefas espaciais complexas.

2. Metodologia: EagleVision

O EagleVision propõe um framework de duas etapas que combina seleção de quadros consciente da geometria com raciocínio ativo baseado em uma visão de cima (Bird's-Eye View - BEV).

Fase 1: Percepção Macro (Seleção de Quadros Chave)

• Objetivo: Selecionar um conjunto compacto de quadros que seja tanto semanticamente relevante para a pergunta quanto geometricamente diverso (cobertura de pontos de vista), respeitando um orçamento limitado de tokens.
• Técnica (SPF-DPP): Utiliza um Processo Ponto Determinantal (DPP) chamado Semantics–Perspective-Fusion DPP.
  • Reconstrução Geométrica: Um sistema SLAM (off-the-shelf) recupera poses de câmera e mapas de profundidade, projetando-os em um mapa BEV.
  • Similaridade Semântica: Um modelo (FG-CLIP) calcula a relevância de cada quadro em relação à pergunta textual.
  • Diversidade de Pontos de Vista: Constrói um grafo de similaridade baseado em poses (SE(3)) e aplica uma difusão de kernel de calor para capturar relações geométricas globais.
  • Seleção: O DPP otimiza a seleção de $k$ quadros maximizando a qualidade semântica e a diversidade de pontos de vista simultaneamente.

Fase 2: Verificação Micro (Raciocínio Espacial Ativo)

• Objetivo: Realizar um raciocínio iterativo do tipo "Pensamento em Cadeia Multimodal" (Spatial MCoT), onde o modelo pode solicitar novas visualizações se necessário.
• Mecanismo (BEV-Grounded Pose Querying):
  • O modelo opera em um ciclo fechado de Hipótese $\rightarrow$ Observação $\rightarrow$ Verificação.
  • Em cada passo de raciocínio, o modelo pode: (a) gerar texto, (b) responder, ou (c) prever uma pose 2D no plano BEV para recuperar um novo quadro do vídeo original.
  • O sistema busca o quadro real mais próximo da pose prevista e o adiciona ao contexto.
• Treinamento (RL sem Anotações de CoT):
  • A política de consulta é treinada exclusivamente via Otimização de Política Relativa de Grupo (GRPO).
  • Função de Recompensa: Inclui recompensas de precisão e formato, mas adiciona uma Recompresa de Ancoragem Espacial (Spatial Grounding Reward). Esta recompensa penaliza o modelo se ele solicitar poses que não têm correspondência com quadros reais (pontos de vista inválidos ou fora da trajetória da câmera), forçando-o a aprender a consultar apenas regiões cobertas pela câmera sem necessidade de dados de raciocínio humano.

3. Principais Contribuições

1. Framework Dual-Stage: Integração de seleção de quadros geométrica (Macro) com raciocínio ativo baseado em BEV (Micro).
2. SPF-DPP: Uma estratégia de amostragem inovadora que equilibra relevância semântica e diversidade de pontos de vista sob restrições de tokens.
3. Raciocínio Espacial Ativo sem CoT Humano: Formulação do raciocínio espacial como consultas de pose BEV, treinada puramente por reforço com recompensas de ancoragem espacial, eliminando a dependência de anotações de raciocínio passo-a-passo.
4. Desempenho SOTA: O modelo alcança o estado da arte entre modelos de visão-linguagem de código aberto em benchmarks rigorosos.

4. Resultados Experimentais

O EagleVision foi avaliado em dois benchmarks principais: VSI-Bench (compreensão espacial 3D) e SQA3D (resposta a perguntas situadas em 3D).

• VSI-Bench: O EagleVision alcançou a pontuação média mais alta (63.5) entre todos os modelos de código aberto, superando o modelo base (Qwen3-VL-8B) em +4.1 pontos e modelos especializados como VLM-3R-7B em +2.6 pontos.
• SQA3D: Alcançou 60.3% (EM@1), superando significativamente métodos supervisionados recentes como Struct2D (+1.8%), Spatial-MLLM (+4.4%) e SpatialMind (+14.0%).
• Estudos de Ablação:
  • A combinação de MCoT, Ancoragem BEV e SPF-DPP é complementar; a remoção de qualquer componente degrada o desempenho.
  • A recompensa espacial é crucial para evitar consultas a poses inválidas.
  • O sistema é robusto a ruídos na estimativa de pose (queda de apenas 0.4% com ruído médio) e funciona bem com diferentes backends de reconstrução (SLAM ou VGGT).

5. Significado e Impacto

O EagleVision representa um avanço significativo na inteligência espacial de IA ao demonstrar que:

• A seleção ativa de evidências (saber quando e onde olhar) é tão importante quanto a capacidade de raciocínio do próprio modelo.
• É possível treinar agentes espaciais complexos sem anotações humanas de raciocínio, utilizando apenas recompensas baseadas no resultado final e na viabilidade geométrica das consultas.
• A abordagem de "percepção macro + verificação micro" oferece um caminho eficiente e escalável para tarefas que exigem compreensão 3D profunda, superando as limitações de modelos que processam vídeos de forma passiva.

Em resumo, o EagleVision transforma o MLLM de um observador passivo em um agente ativo que explora o ambiente visual para construir uma compreensão espacial precisa e verificável.