Resumo Técnico: Rumo à Supersensibilidade Espacial no Mundo Real (VSI-SUPER-WILD)

Declaração do Problema

Os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs) realizaram avanços significativos na compreensão de imagens estáticas e de vídeos curtos. No entanto, sua capacidade de realizar a supersensibilidade espacial — a capacidade de construir, atualizar e prever um modelo de mundo 3D implícito a partir de fluxos sensoriais contínuos — permanece subexplorada, particularmente em ambientes reais e não restringidos.

Benchmarks existentes, como o VSI-SUPER, sofrem de três limitações primárias:

1. Diversidade de Cena Limitada: Eles dependem predominantemente de cenas domésticas, carecendo da complexidade de ambientes "no mundo real" (in-the-wild).
2. Construção de Dados Artificial: Vídeos longos são frequentemente sintetizados pela concatenação de clipes curtos aleatórios com edição de quadro (in-frame editing), falhando em representar fluxos sensoriais naturais e contínuos.
3. Cobertura de Estado de Mundo Estreita: A avaliação é fortemente centrada em objetos, negligenciando o agente (observador) e o ambiente (layout global e lugares), que são componentes críticos de um modelo de mundo unificado inspirado na ciência cognitiva.

Consequentemente, permanece incerto se os MLLMs atuais podem manter estados de mundo coerentes e recuperáveis ao longo de horizontes temporais longos em diversos cenários do mundo real.

Metodologia: Benchmark VSI-SUPER-WILD

Para abordar essas lacunas, os autores introduzem o VSI-SUPER-WILD, um benchmark de larga escala projetado para avaliar a supersensibilidade espacial através de três âncoras: o agente, os objetos e o ambiente.

1. Construção do Conjunto de Dados

O benchmark é construído a partir de 442 vídeos panorâmicos de longa duração do mundo real (totalizando ~285 horas) extraídos do YouTube, abrangendo 8 categorias de cena (ex: vistas de rua, centros de transporte, varejo comercial, instalações médicas).

• Integridade dos Dados: Ao contrário de trabalhos anteriores, estes vídeos são brutos, não editados e naturalmente contínuos, sem edição generativa ou concatenação de clipes.
• Pré-processamento: Os vídeos panorâmicos são projetados em quatro vistas de perspectiva ortogonais (Frente, Trás, Esquerda, Direita).
• Geração de Metadados: Um pipeline semiautomático com verificação human-in-the-loop gera:
  • Metadados Temporais: Timestamps de aparência de objetos via propostas humanas/MLLM, filtragem YOLO-World e segmentação de instância SAM3.
  • Metadados Espaciais: Poses de câmera variáveis no tempo estimadas usando Depth-Anything-3 (DA3).

2. Conjunto de Tarefas

O benchmark define quatro tarefas cognitivamente fundamentadas para sondar diferentes aspectos do estado de mundo:

• VMR (Recall de Orientação de Movimento): Sonda o agente. Os modelos inferem a orientação do movimento da câmera em relação à sua direção de visualização em um quadro específico consultado, exigindo a recuperação do estado de mundo latente em vez de apenas correspondência de quadro por quadro.
• VPO (Ordenação Temporal de Lugares): Sonda o ambiente. Os modelos determinam a ordem temporal de quatro quadros consultados amostrados de diferentes lugares, onde cada quadro é rotacionado em yaw para uma direção de visualização diferente para evitar correspondência trivial.
• VOO (Ordenação Temporal de Objetos): Sonda objetos. Os modelos produzem a ordem temporal de objetos específicos com base em sua primeira ou última aparição, exigindo modelagem de estado de mundo auto-atualizável para distinguir tipos de ocorrência em um fluxo contínuo.
• VOC (Contagem Contínua de Objetos): Integra todas as âncoras. Os modelos contam as instâncias únicas de uma categoria de objeto consultada ao longo do vídeo, testando rastreamento persistente e atualizações de estado.

3. Protocolo de Avaliação

Os autores avaliaram 13 MLLMs mainstream (incluindo modelos proprietários como GPT-5.4 e Gemini-3.1-Pro, e modelos de código aberto como as séries Cambrian-S e Qwen-VL).

• Entrada: 128 quadros amostrados uniformemente em 1080P (ou entradas de streaming para modelos específicos).
• Métricas: Acurácia (%) para tarefas de múltipla escolha (VMR, VPO, VOO) e Acurácia Relativa Média (MRA) para a tarefa de contagem (VOC).

Resultados Principais

A avaliação revela uma desconexão fundamental entre as capacidades dos MLLMs atuais e os requisitos da supersensibilidade espacial no mundo real:

1. Desempenho Geral: Os modelos apresentam um desempenho ruim, muitas vezes próximo ao acaso. O melhor modelo, Gemini-3.1-Pro, alcançou uma pontuação geral de 44,36%, enquanto o GPT-5.4 obteve 34,52%. Modelos de código aberto geralmente pontuaram mais baixo, com o melhor (Cambrian-S-7B) em 34,22%.
2. Disparidades de Tarefa: O desempenho varia significamente conforme a âncora do estado de mundo. Os modelos são relativamente mais confiáveis em consultas centradas em objetos (VOO), mas degradam substancialmente em tarefas centradas no agente (VMR) e centradas no ambiente (VPO), que exigem uma cognição espacial 3D mais forte.
3. Sensibilidade ao Horizonte Temporal: O desempenho degrada conforme a duração do vídeo aumenta. A pontuação média para modelos de código aberto caiu de 35,0% no intervalo de 0–10 minutos para 26,3% no intervalo de 120+ minutos, indicando uma incapacidade de sustentar atualizações consistentes de estado de mundo ao longo de fluxos estendidos.
4. Robustez: Sob a avaliação "Shuffle24" (testando a estabilidade contra permutações de opções de resposta), o VSI-SUPER-WILD mostrou maior viés de ordem de opção e menores pontuações Top-K/Pass@K em comparação ao VSI-SUPER, confirmando sua maior dificuldade e a instabilidade dos modelos atuais.

Modos de Falha

Análises qualitativas e quantitativas identificaram quatro modos de falha recorrentes:

1. Colapso Espacial: Os modelos falham em manter um estado de mundo 3D coerente através de mudanças de ponto de vista. O desempenho em VPO cai significativamente quando os quadros são rotacionados, sugerindo dependência de correspondência 2D específica de visão em vez de modelagem 3D implícita.
2. Atalhos Semânticos: Os modelos dependem de pistas semânticas de nível de quadro (ex: reconhecer uma cena de "rua de pedestres") para inferir o movimento, em vez de analisar o deslocamento espaço-temporal. Isso leva a previsões de orientação de movimento plausíveis, porém incorretas.
3. Atualização Insuficiente: Os modelos lutam para atualizar estados de mundo conforme novas evidências chegam. A acurácia na ordenação de "última ocorrência" (VOO) é significativamente menor do que na de "primeira ocorrência", indicando uma falha em integrar evidências temporais posteriores no modelo de mundo.
4. Confusão de Instância: Sob ruído visual do mundo real (desfoque de movimento, oclusão parcial), os modelos falham em rastrear a identidade do objeto de forma robusta, levando a ordenações temporais e contagens incorretas.

Significância e Alegações

O artigo afirma que o VSI-SUPER-WILD estabelece um padrão rigoroso para avaliar a supersensibilidade espacial ao ir além das avaliações sintéticas, centradas em objetos e de curto horizonte para cenários de mundo real, diversos e de longo horizonte.

Os autores concluem que os MLLMs atuais carecem de mecanismos para vincular agentes, objetos e ambientes em um modelo de mundo espacial unificado. As falhas observadas sugerem que o progresso neste campo depende do desenvolvimento de representações que vão além da semântica de nível de quadro para suportar uma modelagem de mundo espaço-temporal estável, consultável e coerente, capaz de lidar com fluxos de longo horizonte e continuamente atualizados. O benchmark serve como uma ferramenta de diagnóstico para identificar essas lacunas específicas e guiar a pesquisa futura em direção a capacidades reais de modelagem de mundo.