Resumo Técnico: EduArt – Um Benchmark de Nível Educacional para Avaliar o Conhecimento de História da Arte em Grandes Modelos de Linguagem

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado um desempenho de teto em benchmarks de propósito geral como o MMLU, essas medidas agregadas falham em revelar o comportamento dos modelos dentro de disciplinas específicas. As avaliações existentes focadas em arte sofrem de duas limitações primárias: (1) elas dependem fortemente de questões geradas sinteticamente em vez de materiais educacionais elaborados por humanos, e (2) raramente relatam propriedades psicométricas ao nível de item, tornando impossível distinguir entre lacunas reais de conhecimento, sensibilidade ao formato da tarefa ou itens mal construídos. Além disso, os benchmarks atuais frequentemente confundem reconhecimento visual com raciocínio visual, e as avaliações de formato único (particularmente de múltipla escolha) podem superestimar sistematicamente a capacidade de um modelo de realizar tarefas que exigem produção e manipulação de conteúdo, que são centrais para a erudição da história da arte.

Metodologia

Os autores introduzem o EduArt, um benchmark multimodal projetado para avaliar o conhecimento de história da arte e o raciocínio visual através de diversos formatos de questões e idiomas.

Construção do Dataset

O dataset compreende 871 questões elaboradas por humanos, extraídas de duas fontes distintas e pedagogicamente fundamentadas:

1. MyZanichelli (Italiano): 668 questões de uma plataforma de exercícios digitais utilizada no ensino secundário italiano, cobrindo especificamente Pittura rinascimentale (Pintura renascentista).
2. AP Art History (Inglês): 203 questões dos exames do Advanced Placement da College Board (2013–2024).

As questões abrangem sete formatos distintos:

• multiple_choice_radio (Resposta única correta)
• multiple_choice_check (Múltiplas respostas corretas)
• true_false (Verdadeiro ou falso)
• completion_closed (Preenchimento de lacuna com um banco de palavras restrito)
• completion_open (Preenchimento de lacuna sem restrições)
• positioning (Arrastar e soltar as palavras corretas no texto)
• select_errors (Identificação de palavras incorretas em um texto)

O dataset inclui 261 imagens distintas associadas a 436 questões. Todos os itens são protegidos por direitos autorais; o repositório público fornece o código do pipeline de extração e avaliação, em vez dos dados brutos.

Estrutura de Avaliação

Doze modelos de seis famílias de provedores (OpenAI, Google, Anthropic, Qwen, Mistral, Meta) foram avaliados. A avaliação ocorreu sob duas condições:

1. Default (Apenas resposta): O modelo retorna apenas a resposta em um esquema JSON estrito.
2. Motivação: O modelo é solicitado a fornecer uma justificativa escrita de 2 a 4 sentenças, fundamentada no conhecimento de história da arte ou em evidência visual.

O desempenho foi medido usando métricas específicas de formato (ex: correspondência exata para MCQs de rádio, pontuação F1 para seleção múltipla e identificação de erros, precisão de elementos para posicionamento).

Análise Psicométrica

O estudo aplica a Teoria Clássica dos Testes (CTT) para caracterizar o benchmark. As métricas principais incluem:

• Dificuldade ($p$): A proporção de modelos que respondem a um item corretamente.
• Discriminação ($r_{pb}$): A correlação ponto-bisserial entre o desempenho do item e a pontuação total, indicando quão bem um item distingue entre modelos fortes e fracos.

Uma regressão logística também foi empregada para isolar os efeitos independentes do formato da questão, idioma, presença de imagem e identidade do modelo na precisão.

Resultados Principais

1. Propriedades Psicométricas

O EduArt demonstra fortes propriedades psicométricas. A discriminação média entre os 831 itens estimáveis é de 0,514, com 82,3% dos itens classificados como "bons discriminadores" ($r_{pb} \geq 0,30$). A dificuldade dos itens é bem distribuída, variando de muito fácil a muito difícil, confirmando que o benchmark não é nem trivial nem sistematicamente impossível.

2. Saturação e Divergência de Formato

• Saturação de Múltipla Escolha: Seis modelos excederam 94% de precisão em questões de multiple_choice_radio, com intervalos de confiança sobrepostos. Isso indica que formatos de reconhecimento isolados são insuficientes para distinguir modelos de fronteira, pois eles saturaram esse tipo de tarefa.
• Sensibilidade ao Formato: O desempenho dos modelos varia drasticamente entre os formatos. Modelos que pontuam >94% em MCQs podem cair para 23,9% em completion_open (ex: Claude Opus 4.6) e para tão baixo quanto 6,2% em select_errors (ex: Claude Sonnet 4.6).
• Instabilidade de Ranking: Nenhum modelo ranqueia consistentemente através dos sete formatos. Para 10 dos 12 modelos, a diferença entre o melhor e o pior desempenho de formato excede 50 pontos percentuais.

3. Preditores Independentes de Precisão

A análise de regressão logística revela:

• Formato da Questão: Formatos que não são de múltipla escolha geralmente apresentam chances significativamente menores de uma resposta correta em comparação ao multiple_choice_radio. Select_errors é o formato mais difícil (OR = 0,045), seguido por completion_closed (OR = 0,256).
• Presença de Imagem: Contrariando a intuição de que auxílios visuais ajudam, a presença de uma imagem está associada a uma probabilidade menor de uma resposta correta (OR = 0,765) após controlar outras variáveis. Isso sugere que, para esses modelos, o conhecimento baseado em linguagem impulsiona o desempenho mais do que o processamento visual, e adicionar informação visual introduz complexidade que degrada a precisão.
• Idioma: As questões em italiano são significativamente mais difíceis do que as em inglês (OR = 0,459), provavelmente devido à distribuição específica dos tipos de questões e do material de origem.

4. A Condição de Motivação

Exigir uma justificativa escrita afeta a precisão de uma maneira dependente da família do modelo:

• Modelos Claude geralmente melhoraram ou mantiveram o desempenho quando solicitados a justificar as respostas.
• Modelos Gemini e GPT predominantemente viram uma diminuição na precisão (ex: Gemini 3.1 Flash Lite Preview caiu 12,8 pontos percentuais).
• Essa dissociação sugere que a capacidade de articular o raciocínio é distinta da capacidade de selecionar a resposta correta, e que forçar uma saída estruturada pode interferir na seleção da resposta em certas arquiteturas de modelos.

Significância e Alegações

O artigo afirma que o EduArt fornece uma ferramenta válida e não trivial para avaliar LLMs multimodais em um domínio especializado. Suas principais contribuições são:

1. Ir Além de Dados Sintéticos: Ao utilizar materiais educacionais elaborados por humanos, o benchmark evita as armadilções da geração sintética e fornece uma verdade fundamental verificável.
2. Revelar Dissociações de Capacidade: O estudo demonstra que o conhecimento de história da arte (a habilidade de reconhecer fatos) e a capacidade de aplicar esse conhecimento (gerar, posicionar ou corrigir conteúdo) são capacidades distintas. O alto desempenho em reconhecimento de múltipla escolha não prevê o desempenho em tarefas de texto aberto ou correção de erros.
3. Crítica aos Benchmarks de Formato Único: Os autores argumentam que benchmarks de formato único (especialmente MCQs) superestimam sistematicamente a gama de tarefas que os modelos podem realizar de forma confiável. Na história da arte, onde as tarefas exigem a produção e manipulação de conteúdo em vez da seleção entre opções fixas, as avaliações baseadas em MCQ oferecem uma visão enganosamente otimista.
4. Pré-requisito para a Adoção Responsável: Os autores concluem que mapear este perfil de capacidade detalhado é uma condição prévia para o uso responsável de LLMs multimodais na erudição da história da arte. Saber precisamente quais tarefas um modelo lida de forma confiável é essencial antes de implantar essas ferramentas para catalogação, atribuição ou ensino, já que o trabalho acadêmico raramente toma a forma de selecionar uma resposta de um conjunto fixo.