ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning

1. Declaração do Problema

O artigo identifica uma lacuna crítica de validade nos benchmarks atuais para avaliar a Inteligência Espacial Visual (VSI) em Modelos de Linguagem e Visão (VLMs). Especificamente, benchmarks amplamente utilizados como o VSI-Bench sofrem de dois defeitos sistêmicos que tornam suas avaliações pouco confiáveis sob configurações modernas de VLM:

1. Deriva de Verdade Terrena de Anotação para Vídeo: Benchmarks existentes reaproveitam anotações 3D baseadas em nuvem de pontos (originalmente projetadas para percepção 3D estática) para avaliação baseada em vídeo. Essas anotações frequentemente contêm erros devido a reconstruções 3D imperfeitas, como objetos ausentes visíveis no vídeo bruto, identidades mal rotuladas ou geometria corrompida (por exemplo, tamanhos de sala incorretos). Consequentemente, muitos pares de Pergunta-Resposta (QA) são factualmente incorretos ou ambíguos quando confrontados com a evidência real do vídeo.
2. Incompatibilidade de Observabilidade da Cena: Benchmarks tradicionais frequentemente assumem acesso à "cena completa" (milhares de quadros), enquanto VLMs práticos operam em quadros amostrados esparsamente (por exemplo, 16–64 quadros). Essa incompatibilidade significa que objetos-chave consultados nas perguntas podem estar totalmente ausentes dos quadros de entrada do modelo, tornando as perguntas impossíveis de responder ou invalidando a verdade terrena para o orçamento de entrada específico.

Esses problemas levam a conclusões pouco confiáveis, onde os modelos podem parecer ter bom desempenho explorando vieses do conjunto de dados ou alucinando respostas baseadas em conhecimentos prévios em vez de evidência visual.

2. Metodologia: Construção do Benchmark ReVSI

Os autores propõem o ReVSI, um benchmark e protocolo de avaliação reestruturados, projetados para garantir que cada par de QA seja respondível e correto sob as entradas visuais reais do modelo. A metodologia envolve três pilares centrais:

A. Reanotação Alinhada ao Vídeo

• Escopo: Reanotação de 381 cenas de 5 conjuntos de dados (ScanNetv2, ScanNet++, ARKitScenes, 3RScan, MultiScan).
• Processo: Utilização de ferramentas profissionais de anotação 3D para verificar e refinar manualmente rótulos de objetos, caixas delimitadoras 3D e geometria de sala diretamente contra quadros de vídeo brutos.
• Melhorias:
  • Vocabulário Aberto: Expansão de 65 rótulos de conjunto fechado para 504 rótulos de vocabulário aberto (por exemplo, marcas específicas como "Sony PlayStation").
  • Correção Geométrica: Correção manual de malhas 3D fragmentadas e objetos ausentes.
  • Tamanho da Sala: Substituição de cálculos algorítmicos de Forma Alpha por anotação manual de polígonos de limites do piso para garantir medições de área precisas.

B. Regeneração de QA com Mitigação de Viés

• Refinamento de Modelos: Redesenho de modelos de perguntas para eliminar ambiguidade (por exemplo, distinguindo entre tamanho de "sala" e "cena", lidando com vídeos de múltiplas salas).
• Redução de Viés:
  • Contagem: Reintrodução da contagem de objetos únicos (anteriormente excluída) e adição de contagem cumulativa para impedir que os modelos adivinhem "2" como padrão.
  • Distância: Remoção de perguntas triviais de curto alcance (<1m) que podem ser resolvidas via pistas 2D, focando no raciocínio 3D de longo alcance.
  • Verificação: Aplicação de verificação humana rigorosa para garantir que cada pergunta seja suportada pela evidência específica do vídeo.

C. Protocolos de Avaliação Conscientes de Quadros

• Verdade Terrena Adaptativa: Diferentemente do VSI-Bench, que usa uma única verdade terrena para todas as entradas, o ReVSI gera pares de QA adaptativos aos quadros. Para cada orçamento de amostragem (16, 32, 64 ou Todos os quadros), o sistema computa quais objetos são visíveis.
• Metadados de Visibilidade: Fornece metadados granulares sobre a visibilidade de objetos por quadro, permitindo experimentos diagnósticos controlados.
• Vídeos Fictícios: Construção de vídeos de "teste de estresse" onde quadros contendo o objeto consultado são removidos (Query-Drop), substituídos por quadros pretos ou repetidos. Isso cria cenários onde a verdade terrena é definitivamente zero (para contagem) ou desconhecida, testando se os modelos dependem de evidência visual ou conhecimentos prévios memorizados.

3. Principais Contribuições

1. Benchmark ReVSI: Um conjunto de dados de alta fidelidade, verificado manualmente, com 381 cenas e 5.365 objetos, apresentando rótulos de vocabulário aberto e alinhamento consistente entre vídeo e verdade terrena.
2. Avaliação com Orçamento de Quadros: Um protocolo que alinha a verdade terrena da avaliação com o número específico de quadros fornecidos ao modelo, eliminando o problema da "pergunta impossível de responder".
3. Ferramentas Diagnósticas: Introdução de testes de estresse com vídeos fictícios para quantificar taxas de alucinação e distinguir entre raciocínio espacial genuíno e dependência de conhecimentos prévios da cena.
4. Análise Abrangente: Uma dissecação sistemática de por que benchmarks existentes falham e como eles distorcem as capacidades percebidas de modelos proprietários e de código aberto.

4. Principais Resultados

As avaliações no ReVSI revelam discrepâncias significativas em comparação com o VSI-Bench:

• Modelos Proprietários vs. de Código Aberto:
  • VSI-Bench: Sugeriu que modelos de código aberto eram competitivos ou superiores aos modelos proprietários.
  • ReVSI: Revela que modelos proprietários (GPT-5.2, Gemini 3) consistentemente superam modelos de código aberto. Modelos de código aberto sofrem quedas de precisão de até 40% em tarefas como contagem de objetos e direção relativa, expondo sua dependência de vieses do conjunto de dados em vez de raciocínio robusto.
• Eficácia do Ajuste Fino (Fine-Tuning):
  • Modelos ajustados finamente em dados espaciais 3D (por exemplo, Spatial-MLLM, SpaceR) mostraram ganhos marginais ou negativos no ReVSI em comparação com seus modelos base.
  • Em alguns casos, o ajuste fino levou a degradação de desempenho, sugerindo que os modelos aprenderam padrões incorretos a partir das anotações ruidosas de benchmarks anteriores.
• Alucinação e Conhecimentos Prévios (Testes de Estresse):
  • Resultados de Vídeo Fictício: Quando objetos consultados foram removidos do vídeo (Verdade Terrena = 0), modelos especializados ajustados finamente falharam catastróficamente, prevendo contagens não zero (por exemplo, prevendo 2 travesseiros quando nenhum era visível).
  • Modelos Zero-Shot: Modelos proprietários e alguns fortes modelos de código aberto zero-shot (como Qwen3-VL) previram corretamente "0" nesses cenários, demonstrando melhor fundamentação na evidência visual.
  • InternVL3.5: Mostrou altas taxas de alucinação, frequentemente prevendo conhecimentos prévios padrão da cena (por exemplo, "2") mesmo em vídeos pretos, indicando superajuste severo às distribuições dos dados de treinamento.

5. Significado

• Correção de Viés de Avaliação: O artigo demonstra que benchmarks anteriores subavaliavam sistematicamente modelos proprietários e superavaliavam modelos de código aberto devido a erros de anotação e incompatibilidades de amostragem de quadros.
• Fundamentação em Evidência: O ReVSI prova que altas pontuações em benchmarks não garantem verdadeiro raciocínio espacial; modelos podem alcançar alta precisão memorizando conhecimentos prévios da cena. O novo protocolo de "vídeo fictício" é essencial para detectar esse comportamento.
• Direção Futura: O trabalho destaca que qualidade dos dados e fidelidade de supervisão são mais críticas do que quantidade de dados. Ele apela por uma mudança no desenvolvimento de VLMs em direção a avaliações rigorosas e consistentes com quadros para construir capacidades de raciocínio 3D verdadeiramente robustas para aplicações do mundo real (por exemplo, robótica, AR/VR).

Em resumo, o ReVSI fornece uma necessária "verificação da realidade" para o campo, estabelecendo um novo padrão para avaliar a inteligência espacial visual que prioriza a consistência de entrada e a fidelidade da verdade terrena em vez da conveniência.