MultiView-Bench: A Diagnostic Benchmark for World-Centric Multi-View Integration in VLMs

Resumo Técnico: MultiView-Bench e ViewNavigator

Declaração do Problema

Os benchmarks atuais para Modelos de Visão-Linguagem (VLMs) avaliam predominantemente a percepção de visão única ou de visão limitada, falhando em avaliar a capacidade cognitiva central de integrar observações através de múltiplos pontos de vista em um modelo mental 3D coerente e centrado no mundo (alocêntrico). Os benchmarks multivisão existentes frequentemente focam no raciocínio espacial egocêntrico, como tomada de perspectiva, navegação dependente da visão ou mapeamento de pixels entre planos 2D. Essas abordagens não exigem que os modelos desvinculem o posicionamento de objetos de perspectivas de câmera transitórias ou os fundamentem em um sistema de coordenadas globais fixas.

Essa limitação é crítica para tarefas downstream em engenharia mecânica e modelagem 3D (por exemplo, montar objetos complexos no Blender), onde agentes devem manipular componentes em um espaço global independente do ângulo de visão do usuário. Embora existam representações geométricas (nuvens de pontos, malhas), elas carecem da generalização das abordagens de LLM/VLM e divergem das modalidades de entrada visual humana. Consequentemente, há uma falta de ferramentas diagnósticas para avaliar se os VLMs de fronteira possuem as habilidades de raciocínio espacial pré-requisitas para aplicações 3D do mundo real.

Metodologia

MultiView-Bench: Um Benchmark Diagnóstico

Os autores introduzem o MultiView-Bench, um benchmark projetado para testar exaustivamente os VLMs no raciocínio espacial 3D centrado no mundo. O benchmark é construído sobre três princípios de design:

1. Sistema de Coordenadas Centrado no Mundo: Diferente dos benchmarks dependentes da visão, o MultiView-Bench incorpora um sistema de coordenadas globais visível e fixo (eixos X, Y, Z) que permanece invariante entre os pontos de vista. Os modelos devem descrever as posições dos objetos em relação a este referencial global, não à câmera.
2. Integração Multi-Visão: As tarefas exigem a síntese de informações de múltiplos pontos de vista para inferir relações espaciais 3D que são ambíguas ou invisíveis a partir de uma única visão.
3. Complexidade Controlada: O benchmark utiliza variantes de Graus de Liberdade (DoF) (DoF=1, 2, 3) para isolar modos de falha específicos, variando desde o alinhamento de eixo 1D até o posicionamento 3D não restrito total.

Pipeline de Geração de Dados:
O benchmark emprega um pipeline procedural modular (Figura 1b) para gerar diversos cenários 3D:

• Assets: Utiliza primitivas geométricas fundamentais e objetos complexos do mundo real do 3DCoMPaT++. Os objetos são redimensionados para caixas delimitadoras comuns para minimizar a ambiguidade visual.
• Posicionamento: Um objeto central é fixado na origem; outros objetos são posicionados com distâncias de separação controladas. As variantes incluem DoF=1 (eixo compartilhado), DoF=2 (plano compartilhado) e DoF=3 (não restrito).
• Pontos de Vista: Renderiza seis pontos de vista com ângulos de azimute uniformemente distribuídos para garantir que todos os eixos permaneçam visíveis.
• Verdade Fundamental (Ground Truth): As relações espaciais relativas são computadas diretamente do sistema de coordenadas intrínseco do Blender para garantir supervisão confiável.

O benchmark principal contém 5 variantes de tarefas (100 tarefas cada), com 20 variantes controladas adicionais para análise de viés.

ViewNavigator: Um Framework Agêntico

Para abordar as limitações identificadas nos VLMs, os autores propõem o ViewNavigator, um framework multi-agente que melhora a compreensão espacial 3D sem pós-treinamento. Ele opera como um sistema de loop fechado composto por três componentes:

1. Módulo de Crença (Belief Module): Mantém uma crença probabilística sobre direções espaciais para cada eixo usando uma distribuição de Dirichlet. Ele agrega votos de múltiplos pontos de vista "micro-jittered" (pequenas perturbações ao redor de uma posição base) para filtrar previsões instáveis via atualizações ponderadas por confiança.
2. Seleção Ativa de Visão: Um planejador LLM seleciona estrategicamente o próximo ponto de vista com base no estado de crença atual e no histórico de visão para coletar observações maximamente informativas, em vez de depender de pontos de vista fixos.
3. Saída com Portão de Confiança (Confidence-Gated Output): O agente itera até que a probabilidade posterior em cada eixo exceda um limite de confiança, evitando respostas prematuras enquanto permite a terminação precoce em casos fáceis.

Principais Resultados

Avaliação de VLMs de Fronteira

Os autores avaliaram sistematicamente sete VLMs líderes (incluindo Claude 3.7/4 Sonnet, Gemini 2.5 Flash/Pro, GPT-4o, GPT-5 e GPT-o3) no MultiView-Bench.

• Lacuna de Desempenho: A maioria dos modelos de fronteira apresenta desempenho próximo ao acaso (aprox. 3,7%) nas tarefas mais difíceis (3D DoF=3 e 3D Real World). Mesmo o melhor modelo, GPT-5, alcançou apenas 50% de precisão no 3D DoF=3.
• Modos de Falha:
  • Identificação de Eixo: Os modelos têm sucesso em relações espaciais 2D (Passos 1-2), mas falham criticamente na identificação de direções de eixos em contexto 3D (Passo 3).
  • Vieses Indutivos: Os modelos exibem fortes vieses em direção a sistemas de coordenadas de mão direita convencionais, muitas vezes ignorando rotações de eixos não padrão explicitamente representadas.
  • Sensibilidade Visual: O desempenho flutua com base em combinações de cores e variações de textura, divergindo da percepção humana.
  • Insuficiência de Visão Única: Fornecer uma única visão isométrica reduz todos os modelos ao acaso, confirmando que a integração multi-visão é essencial, não apenas útil.

Desempenho do ViewNavigator

O ViewNavigator foi testado sob uma configuração estrita de "orçamento correspondente" (limitado ao mesmo número de visões que o baseline) e uma configuração completa não restrita.

• Orçamento Correspondente (Budget-Matched): Mesmo com o mesmo orçamento computacional (6 pontos de vista, sem micro-jitter), o ViewNavigator melhorou significativamente todos os modelos base no 3D DoF=3. Por exemplo, o GPT-4o melhorou de 2% para 19%, e o Claude 4 Sonnet de 5% para 25%.
• Configuração Completa: O agente não restrito (até 10 pontos de vista com micro-jitter) melhorou o desempenho do GPT-5 em mais 26% no 3D DoF=3.
• Retornos Decrescentes: As melhorias relativas diminuíram conforme o desempenho do modelo base aumentava, sugerindo um efeito de teto onde o andaime agêntico não consegue superar totalmente as limitações arquiteturais.

Significância e Alegações

O artigo posiciona o MultiView-Bench como um pré-requisito diagnóstico para o deploy de VLMs em engenharia mecânica e modelagem 3D. Os autores alegam que:

1. Limitações Atuais: Os VLMs de fronteira atualmente carecem da habilidade de integrar observações multi-visão em um modelo 3D centrado no mundo coerente, uma capacidade essencial para tarefas como montagem de móveis ou operação de softwares 3D.
2. Utilidade Diagnóstica: O benchmark isola com sucesso modos de falha específicos (ex: identificação de eixo vs. raciocínio 2D) e revela vieses (ex: dependência de priors de coordenadas aprendidos) que não são capturados por benchmarks existentes.
3. Potencial Agêntico: O framework ViewNavigator demonstra que o raciocínio multi-agente, especificamente através de seleção ativa de visão e agregação de crença, pode preencher significativamente a lacuna no raciocínio espacial 3D, servindo como um andaime "plug-and-play" para futuros sistemas de visão-linguagem.

O trabalho não alega que os VLMs atuais estão prontos para deploy 3D complexo, mas sim fornece as ferramentas para medir sua prontidão e um framework para aumentar suas capacidades onde eles falham atualmente.