Resumo Técnico: MuseBench

Declaração do Problema

Os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram fortes capacidades de reconhecimento perceptual e raciocínio factual em relação ao conteúdo de vídeo. No entanto, permanece uma lacuna crítica no entendimento artístico em nível de intenção. Compreender as artes audiovisuais (cinema, artes visuais estáticas, artes performáticas e design de jogos) exige o raciocínio não apenas sobre o que está sendo representado, mas por que escolhas criativas específicas (ex: enquadramento, iluminação, ritmo de edição, design de som) foram feitas para transmitir emoção, tema ou intenção estética.

Benchmarks de vídeo existentes avaliam majoritariamente o reconhecimento de nível superficial ou o raciocínio temporal usando questões de escolha única com uma única resposta correta. Este formato falha em capturar a pluralidade de interpretações válidas inerente à análise artística, onde múltiplas perspectivas defensáveis podem coexistir. Além disso, a construção de benchmarks para este domínio é dificultada pela escassez de dados de conhecimento especializado e pela dificuldade de gerar distratores de alta qualidade que não dependam de atalhos baseados em transcrições.

Metodologia

1. Fonte de Dados: Ensaios em Vídeo

Para enfrentar a escassez de dados de conhecimento especializado, os autores utilizam ensaios em vídeo (extraídos do YouTube, Bilibili e TikTok) como a principal base de conhecimento. Esses vídeos pareiam comentários profissionais com demonstrações visuais, fornecendo um alinhamento natural entre o raciocínio especializado e a evidência visual. O conjunto de dados é destilado de mais de 10.000 candidatos a ensaios em vídeo.

2. Pipeline de Construção

Os autores propõem um pipeline de construção iterativo de quatro fases para transformar ensaios em vídeo brutos em questões de benchmark:

• Segmentação: Os vídeos são particionados em intervalos de 10 segundos.
• Legendagem de Clipes: Um modelo de visão-linguagem (Keye-VL-1.5) gera legendas detalhadas para cada segmento, condicionadas à transcrição do narrador. Essas legendas servem como recursos de construção, mas nunca são expostas aos modelos avaliados.
• Geração de Questões: As questões são geradas em dois formatos:
  • Seleção Única: Sondam o reconhecimento discreto da interpretação mais precisa (1 resposta correta entre 4 a 8 opções).
  • Seleção Múltipla: Sondam o julgamento analítico de valores de conjunto, reconhecendo que múltiplas intenções artísticas podem ser válidas simultaneamente (2 a 4 respostas corretas entre 4 a 8 opções).
• Geração de Distratores: Uma etapa adversarial gera distratores plausíveis usando sete estratégias (ex: erro técnico de leitura, simplificação excessiva, erro factual, confusão conceitual, erro de escopo, confusão temporal, verdade parcial). Isso garante que todas as opções pareçam igualmente plausíveis para um leitor sem acesso ao clipe, suprimindo o palpite baseado em atalhos.

3. Revisão de Qualidade

Um processo de revisão iterativa com participação humana (human-in-the-loop) refina as questões. Especialistas do domínio avaliam os itens em quatro dimensões (Qualidade Holística, Necessidade Visual, Traço Mecanístico, Integridade da Resposta) e identificam modos de falha (ex: respondibilidade dependente do narrador, enunciados ambíguos). Os prompts de geração são atualizados iterativamente para eliminar essas falhas até que o benchmark atinja os padrões de qualidade.

4. Protocolo de Avaliação

Para lidar com a variabilidade no número de opções e a natureza aberta do raciocínio artístico, o artigo introduz métricas específicas:

• Acurácia Ajustada ao Acaso (CAA): Para questões de seleção única, isso normaliza as pontuações para considerar o número variável de opções ($K_i$), garantindo que o palpite aleatório resulte em uma pontuação de 0 e uma resposta correta resulte em 1, independentemente de $K_i$.
• Métricas Baseadas em Conjuntos (Precisão, Recall, F1): Para questões de seleção múltipla, a acurácia de correspondência exata é considerada rigorosa demais. Os autores reportam Precisão, Recall e F1 sobre o conjunto previsto de opções para capturar a concordância parcial e distinguir entre modelos que identificam a opção mais saliente versus aqueles que capturam a amplitude total das interpretações válidas.

Principais Contribuições

1. Benchmark MuseBench: Um benchmark abrangente composto por 4.016 questões validadas por especialistas em quatro categorias de arte (Artes Cinematográficas, Artes Visuais Estáticas, Artes Performáticas de Palco, Artes de Jogos) e 11 subdomínios. Ele combina unicamente formatos de seleção única e múltipla com contagens variáveis de opções para modelar a pluralidade interpretativa.
2. Pipeline Escalável de Conhecimento Especializado: Um novo pipeline de quatro fases que utiliza ensaios em vídeo e LLMs para gerar questões visualmente fundamentadas e de nível de intenção em escala, abordando o desafio fundamental de adquirir conhecimento especializado para domínios criativos sem depender de crowdsourcing.
3. Protocolo de Avaliação Principiado: Um protocolo de pontuação de formato heterogêneo utilizando Acurácia Ajustada ao Acaso e F1 baseado em conjuntos com diagnósticos de correspondência exata. Isso permite uma avaliação mais matizada das capacidades dos modelos em raciocínio artístico em comparação com métricas de acurácia padrão.

Resultados

Os autores realizaram avaliações zero-shot de 28 MLLMs de última geração (incluindo modelos proprietários e de código aberto) no MuseBench.

• Lacuna de Desempenho: Mesmo o modelo de melhor desempenho (Claude-4.6-Opus) alcançou apenas 48,29% de acurácia geral, substancialmente abaixo do desempenho de 87,18% de especialistas humanos. Isso expõe uma lacuna significativa na expertise de domínio criativo dos modelos atuais.
• Fraquezas Específicas por Categoria: Os modelos apresentaram consistentemente um atraso acentuado em Artes de Jogos (Game Arts) em todos os níveis, provavelmente devido à representação limitada de visuais interativos e controle de câmera em tempo real nos corpora de pré-treinamento.
• Comportamento de Seleção Múltipla: Em questões de seleção múltipla, os modelos exibiram uma assimetria de precisão-recall. Eles tendem a recuperar a opção correta mais saliente (alta precisão), mas falham em enumerar o conjunto completo de interpretações válidas (baixo recall). Isso sugere que os modelos têm dificuldade com a amplitude de perspectiva analítica exigida para o raciocínio de nível especialista.
• Seleção de Quadros-Chave (Key Frames): Métodos de seleção adaptativa de quadros-chave forneceram pouco ou nenhum ganho de desempenho, indicando que o gargalo reside no vocabulário estilístico e nos vieses culturais, e não na localização temporal ou seleção de quadros.
• Viés de Posição: MLLMs de código aberto exibiram um viés pronunciado para selecionar a primeira opção (A) em questões com cinco ou mais escolhas, enquanto modelos proprietários mostraram significativamente menos viés.

Significância

O artigo argumenta que a trajetória atual de escalonamento do entendimento de vídeo genérico é insuficiente para alcançar um entendimento autêntico do domínio criativo. A lacuna de desempenho significativa e os padrões de falha específicos (ex: incapacidade de lidar com a pluralidade interpretativa, fraqueza em artes de jogos) sugerem que o progresso futuro requer:

• Supervisão Artística Mais Rica: Integrar supervisão cultural e estilística mais diversa nos pipelines de treinamento.
• Avaliação Multifacetada: Ir além da acurácia de escolha única para métricas que capturem crédito parcial e a amplitude do raciocínio.
• Raciocínio Específico de Domínio: Tratar as artes audiovisuais como um domínio distinto que requer conhecimento especializado além da compreensão de vídeo geral.

O MuseBench é lançado para facilitar o progresso contínuo em direção a MLLMs capazes de um raciocínio genuíno de nível de intenção nas artes audiovisuais.