CArtBench: Evaluating Vision-Language Models on Chinese Art Understanding, Interpretation, and Authenticity

Resumo Técnico: CARTBENCH

1. O Problema

Os Modelos de Visão e Linguagem (VLMs) estão sendo cada vez mais utilizados como assistentes multimodais, mas suas avaliações atuais são dominadas por imagens da web e conceitos ocidentais. Embora existam benchmarks focados na cultura chinesa, a maioria limita-se a tarefas de reconhecimento de curto prazo e Perguntas e Respostas (QA) simples.

Há uma lacuna crítica não testada: a capacidade de interpretação especializada (curadoria) que seja culturalmente fundamentada e explicitamente apoiada por evidências visuais. Em arte chinesa, a compreensão requer conectar pistas visíveis (motivos, pinceladas, selos, materiais) ao contexto histórico, indo além do reconhecimento superficial. Além disso, a autenticação de obras de arte depende de consistência global sutil sob confusões visualmente similares, uma tarefa onde os modelos atuais falham. O papel identifica a necessidade de um benchmark que avalie não apenas a correção factual, mas também a ligação de evidências, a apreciação estruturada, a reinterpretação defensável e a discriminação de autenticidade.

2. Metodologia

O CARTBENCH é um benchmark fundamentado em museus, construído a partir de objetos do Palácio Imperial (Palace Museum) de Pequim, alinhados entre o Wikidata e páginas de catálogo oficiais autoritárias. O processo de construção envolveu:

• Coleta de Dados: Extração de objetos com imagens do Wikidata, alinhamento com descrições curatoriais oficiais e filtragem por especialistas.
• Cobertura: Abrange 5 categorias de arte (Pintura, Caligrafia, Escultura, Cerâmica, Artigos de Escritório) e múltiplas dinastias (desde a Dinastia Han até a era moderna).
• Tarefas Definidas: O benchmark consiste em quatro sub-tarefas distintas:
  1. CURATORQA: Perguntas e respostas baseadas em evidências para reconhecimento e raciocínio. Inclui 14.421 perguntas sobre 1.589 obras, divididas em níveis de dificuldade (P1: evidência visual direta; P2: inferência combinando visão e conhecimento artístico).
  2. CATALOGCAPTION: Geração de apreciação estruturada em quatro seções fixas (Contexto, Conteúdo, Características Artísticas, Avaliação Geral), simulando o estilo de um catálogo de especialista.
  3. REINTERPRET: Geração de reinterpretações abertas e defensáveis para 25 obras canônicas, avaliadas por especialistas em duas etapas (filtro de plausibilidade e pontuação de criatividade).
  4. CONNOISSEURPAIRS: Um teste de estresse diagnóstico onde o modelo deve distinguir entre uma obra autêntica e uma imitação visualmente similar (10 pares), focando em pistas de connoisseurship (perícia).

3. Contribuições Principais

• CARTBENCH: O primeiro benchmark unificado para avaliação de VLMs em arte chinesa, cobrindo desde reconhecimento até diagnóstico de autenticidade.
• Protocolos de Avaliação Unificados: Combinação de métricas automáticas, verificação de conformidade de formato, pontuação baseada em rubricas por especialistas e avaliação humana para medir a ligação de evidências e a defensibilidade interpretativa.
• Identificação de Modos de Falha Sistemáticos: Demonstração de que alta precisão em QA de curto prazo pode mascarar falhas graves em inferência de estilo para período e ligação de evidências complexas.

4. Resultados Principais

O estudo avaliou 9 VLMs representativos (famílias Qwen, GLM, GPT e Gemini):

• CURATORQA (QA Curatorial):
  • Modelos fortes (como Qwen3-VL-235B) atingem alta precisão geral (~84%), mas sofrem quedas acentuadas em tarefas que exigem inferência de estilo para período (QA5) e ligação de evidências difíceis.
  • Modelos bilíngues (chinês-inglês) mostraram vantagem estatisticamente significativa sobre modelos gerais em tarefas que exigem conhecimento histórico-artístico.
• CATALOGCAPTION (Apreciação Estruturada):
  • Existe uma lacuna enorme entre modelos e especialistas. O melhor modelo atingiu apenas ~37% da pontuação humana (KPI).
  • Embora os modelos sigam o formato, eles falham em capturar nuances culturais e detalhes específicos baseados em evidências, gerando textos que parecem superficiais ou alucinados em detalhes factuais.
• REINTERPRET (Reinterpretação):
  • A principal limitação não é a criatividade, mas a defensibilidade. Muitos modelos falham na etapa de "filtro de plausibilidade" devido a erros de atribuição de época ou leitura incorreta de conteúdo.
  • Os modelos que passam no filtro tendem a ter pontuações de criatividade moderadas, indicando dificuldade em ir além de narrativas padrão sem cometer erros factuais.
• CONNOISSEURPAIRS (Autenticidade):
  • O desempenho está próximo do acaso (acurácia de ~40-60% em pares visualmente similares).
  • Os modelos falham em raciocínio de nível de connoisseur, tendendo a confiar em detalhes locais (selos, inscrições) ou na "riqueza" de detalhes superficiais, em vez de analisar a coerência global da pincelada e do estilo.

5. Significado e Conclusão

O CARTBENCH revela que, embora os VLMs atuais sejam competentes em reconhecimento básico e geração de texto fluente, eles carecem de raciocínio curatorial profundo e sensibilidade cultural necessária para a arte chinesa.

• Limitações Atuais: Os modelos não conseguem ainda realizar tarefas de autenticação confiáveis nem gerar apreciações de nível de especialista que sejam verdadeiramente fundamentadas em evidências visuais.
• Impacto Futuro: O benchmark serve como um ponto de referência crítico para desenvolver sistemas multimodais que sejam não apenas precisos, mas também culturalmente alinhados e fiéis às evidências visuais. O trabalho enfatiza que a próxima geração de modelos precisará de melhor atribuição de evidências visuais e modelagem mais robusta de pistas de estilo específicas do meio artístico.

O artigo conclui que o CARTBENCH é uma ferramenta essencial para impulsionar a pesquisa em direção a sistemas multimodais que possam apoiar genuinamente o acesso e a documentação do patrimônio cultural, indo além da mera identificação de objetos.