Resumo Técnico: SSMNBench

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham demonstrado progressos significativos na percepção de imagens únicas, sua capacidade de raciocinar sobre cenas complexas, centradas em humanos e de múltiplas visões, permanece amplamente não verificada. Os benchmarks de múltiplas visões existentes tipicamente avaliam os modelos usando um "saco de frames" fixo e relatam uma única métrica de precisão de ponta a ponta. Esta metodologia funde duas capacidades cognitivas distintas:

1. Robustez à Distração Visual: A capacidade de identificar uma única visão informativa quando redundantes estão presentes.
2. Fusão Genuína entre Visões (Cross-View Fusion): A capacidade de integrar evidências fragmentadas e complementares através de múltiplas visões quando nenhuma visão única é suficiente.

Consequentemente, os benchmarks atuais falham em diagnosticar se as falhas do modelo decorrem da distração por informações redundantes ou de uma incapacidade de sintetizar pistas geométricas fragmentadas. Além disso, as avaliações padrão frequentemente recompensam modelos que dependem de priors semânticos ou de frames únicos desobstruídos, em vez de realizar uma verdadeira integração espacial 3D.

Metodologia: SSMNBench

Para abordar essas lacunas, os autores introduzem o SSMNBench, um benchmark diagnóstico composto por 3.300 pares de perguntas e respostas (QA) curados manualmente em 11 tarefas diversas. O benchmark é construído através de um pipeline rigoroso envolvendo coleta de dados de conjuntos de dados de múltiplas visões densos e com alta oclusão (ex: Core4D, M3GYM, Harmony4D), anotação especializada e geração estruturada de distratores.

Taxonomia Central de Avaliação

A inovação central do SSMNBench é a categorização das tarefas em dois tipos distintos baseados na relação epistêmica entre a entrada visual e a compreensão semântica:

1. Suficiência de Visão Única (SVS - Single-View Sufficiency): Tarefas onde pelo menos uma visão (a "Visão de Ouro" ou Golden View) contém toda a evidência necessária para responder à pergunta. Estas tarefas testam se um modelo consegue identificar e utilizar uma visão informativa sem ser distraído por visões redundantes adicionais.
   • Tarefas: Reconhecimento de Ação de Grão Fino, Contato Humano-Humano/Objeto, Comparação de Auto-Pose Relativa, Articulação de Junta Anatômica.
2. Necessidade de Múltiplas Visões (MVN - Multi-View Necessity): Tarefas onde nenhuma visão única contém evidência suficiente; o modelo deve fundir pistas complementares entre visões para resolver oclusões, ambiguidades de profundidade ou aparências dependentes do ponto de vista.
   • Tarefas: Contagem de Humanos Distinta (com/sem atributos), Pose Relativa entre Pessoas, Estimativa de Distância Relativa, Identificação de Orientação Global, Ordenação de Profundidade Global.

Protocolo Experimental

O benchmark emprega uma estratégia sistemática de perturbação de visão para sondar a robustez do modelo:

• Configurações SVS: Normal (Apenas a Visão de Ouro), +1, +2, +3 (adicionando visões redundantes).
• Configurações MVN: Normal (Subconjunto mínimo necessário), -1 (removendo uma visão crítica), +1, +2 (adicionando visões extras).

Métrica de Avaliação: Decaimento de Distração ($\delta_{dis}$)

Além da precisão padrão, os autores propõem o Decaimento de Distração ($\delta_{dis}$) para quantificar a vulnerabilidade de um modelo à saturação de contexto. Esta métrica mede a queda média de desempenho quando visões adicionais (redundantes) são introduzidas. Um $\delta_{dis}$ alto indica que a atenção cruzada (cross-attention) do modelo é sequestrada por ruído visual irrelevante, enquanto um valor baixo sugere uma atenção seletiva eficaz.

Principais Resultados

Os autores avaliaram 17 MLLMs de última geração (incluindo modelos proprietários como GPT-5.2, Gemini-2.5 e modelos de código aberto como Qwen e InternVL). As descobertas revelam limitações significativas nas arquiteturas atuais:

1. Lacuna de Desempenho: Existe uma lacuna substancial entre os MLLMs e a percepção humana. Avaliadores humanos alcançam >87% de precisão, enquanto os principais modelos proprietários atingem o pico de apenas ~47,5% (SVS) e ~42,4% (MVN).
2. Degradação Universal por Distração: Contrário à suposição de que mais visões auxiliam o raciocínio, adicionar visões redundantes degrada consistentemente o desempenho em tarefas SVS. Os modelos lutam para isolar a "Visão de Ouro" dos distratores.
3. Paradoxo da Capacidade: Modelos de maior capacidade frequentemente exibem maior vulnerabilidade à distração visual (maior $\delta_{dis}$) em comparação com modelos menores. Isso sugere que modelos ricos em parâmetros tentam extrair agressivamente padrões de todos os tokens visuais, tornando-os mais suscetíveis ao ruído irrelevante.
4. Falha na Fusão: Em tarefas MVN, os modelos falham em integrar evidências geométricas fragmentadas. Curiosamente, na configuração "-1" (removendo uma visão), alguns modelos apresentam desempenho igual ou superior ao da configuração de contexto total. Isso indica uma dependência excessiva de priors monoculares de pré-treinamento 2D; a introdução de dados de múltiplas visões conflitantes gera conflitos de representação que os modelos não conseguem resolver via triangulação geométrica.
5. Sensibilidade de Resolução: Alta resolução de entrada (1080p) é crítica para percepção de grão fino e robustez à distração. Comprimir os frames para manter um orçamento fixo de tokens aumenta significativamente o decaimento da distração.

Análise de Falhas

A análise manual de erros em 660 instâncias categoriza as falhas em:

• Erros de Nível de Imagem (33,1% Falha de Análise Espacial): Os modelos falham em inferir relações 3D, profundidade ou limites de contato dentro de frames únicos.
• Erros de Nível de Visão (67,2% Falha de Fusão de Conflito): Os modelos detectam pistas conflitantes entre visões, mas falham em sintetizá-las, frequentemente ancorando-se em uma única visão "preferida" e ignorando outras, ou alucinando interações devido a uma localização de fronteira deficiente.

Significância e Contribuições

O artigo reivindica as seguintes contribuições para o campo da IA multimodal:

• Nova Taxonomia de Avaliação: O SSMNBench é o primeiro framework de diagnóstico que desvincula explicitamente a robustez de um modelo à distração visual (SVS) de sua capacidade de fusão entre visões (MVN).
• Benchmark Abrangente: Fornece um conjunto de dados rigoroso, com anotação especializada, de 3.300 pares de QA focados em compreensão humana densa e com alta oclusão, preenchendo a lacuna entre conjuntos de dados geométricos de baixo nível e raciocínio semântico de alto nível.
• Descobertas Diagnósticas Sistemáticas: Ao introduzir perturbações de visão controladas e a métrica $\delta_{dis}$, o trabalho revela que os MLLMs atuais dependem de "médias semânticas de imagem única múltiplas" e preferências de visão, em vez de uma verdadeira síntese de múltiplas visões 3D.

Os autores concluem que o SSMNBench serve como uma plataforma de diagnóstico rigorosa para expor vulnerabilidades fundamentais em arquiteturas atuais, visando impulsionar o desenvolvimento de futuros sistemas multimodais capazes de uma verdadeira compreensão de múltiplas visões em ambientes complexos do mundo real.