💻 computer science

Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art

Este artigo introduz um protocolo de auditoria condicionado ao arquivo para avaliar como modelos de visão-linguagem e estruturas de prompt interagem com metadados de museus ao avaliar o valor artístico, demonstrando, por meio de um estudo de caso do Metropolitan Museum of Art, que prompts de "influência" produzem as diferenças baseadas em categorias mais consistentes, ao mesmo tempo em que destacam as limitações de generalização entre modelos e entre prompts.

Autores originais: Manpreet Singh, Nandakishor Reddy Pulagam, Rhythm Bhatia, Rahul Joshi

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Manpreet Singh, Nandakishor Reddy Pulagam, Rhythm Bhatia, Rahul Joshi

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você acabou de construir um robô bibliotecário superinteligente que leu milhões de livros e viu bilhões de imagens. Você pergunta ao robô: "Qual destas pinturas é uma obra-prima?" ou "Qual delas mudou a história?". Você espera que o robô olhe para a arte e dê uma resposta justa baseada em beleza e habilidade. Mas aqui está o detalhe: esse robô não "vê" a arte como um humano vê. Ele vê padrões. Ele aprendeu associando imagens a palavras na internet. Se a internet dizia majoritariamente que "grandes artistas" eram homens, o robô pode ter aprendido que "grande arte" tem a aparência do trabalho de um homem, mesmo que isso esteja errado. Este é o mundo dos Modelos de Visão-Linguagem (VLMs): computadores que conectam imagens a palavras. A grande questão não é apenas "O robô é inteligente?", mas sim "Que tipo de mundo o robô aprendeu?" e "A resposta do robô muda se perguntarmos de forma diferente?". Os museus estão cheios desses robôs agora, ajudando as pessoas a encontrar arte, mas se o robô for tendencioso, ele pode esconder as histórias de mulheres e de outros criadores sub-representados, fazendo com que pareçam menos importantes do que realmente são.

Então, uma equipe de pesquisadores decidiu colocar esses robôs bibliotecários à prova de um teste muito específico. Eles não apenas pediram para os robôs adivinharem; eles estabeleceram um jogo rigoroso para ver se os robôs estavam jogando de forma justa. Eles pegaram 445 imagens digitais de arte do Metropolitan Museum of Art. Mas aqui está a reviravolta: eles sabiam que os registros dos museus são bagunçados. Muitas obras de arte antigas não têm um nome claro atribuído a elas. Por isso, eles dividiram o grupo em dois: um pequeno grupo de 61 peças onde o nome do criador era conhecido (e eles deduziram o gênero com base no nome), e um enorme grupo de 384 peças onde o criador era um mistério. Eles queriam ver se os robôs davam "pontuações mais altas" aos artistas masculinos nomeados em comparação aos artistas femininos nomeados.

Mas eles não fizeram apenas uma pergunta. Eles perguntaram aos robôs de quatro maneiras diferentes: "Isto é uma obra-prima?", "É um trabalho de qualidade?", "É influente?" e uma pergunta de controle apenas para verificar se o robô estava prestando atenção. Eles rodaram este teste em quatro cérebros robóticos diferentes (OpenAI CLIP, OpenCLIP B/32, OpenCLIP L/14 e SigLIP).

Aqui está o que eles descobriram, e é um pouco de uma reviravolta na trama: os robôs não concordaram.

Não foi uma história simples de "todos os robôs são sexistas". Em vez disso, a resposta dependia inteiramente de qual robô você perguntava e de como você perguntava.

Quando perguntaram sobre "Influência" (o quanto um artista mudou a história), dois dos robôs (OpenAI CLIP e OpenCLIP L/14) deram um sinal claro: eles avaliaram as obras inferidas como masculinas de forma mais alta do que as inferidas como femininas. Era como se o robô estivesse dizendo: "Oh, os livros de história dizem que os homens mudaram as coisas, então darei a eles uma pontuação mais alta".
No entanto, quando perguntaram sobre "Qualidade" ou "Obra-prima", os resultados foram uma bagunça. Um robô poderia dizer "Homens são melhores", outro poderia dizer "Mulheres são melhores" e um terceiro poderia dizer "Não vejo diferença".
Um robô, o SigLIP, na verdade deu o resultado oposto, avaliando as obras inferidas como femininas de forma mais alta, embora os pesquisadores tenham observado que os números eram um pouco instáveis e difíceis de definir.

O ponto mais importante que o artigo diz é que você não pode simplesmente tirar a média dessas respostas. Se você pegasse as pontuações de todos os quatro robôs e as fundisse em um único número grande, você obteria uma mentira. Os robôs são muito diferentes. Uma "pontuação alta" de um robô não é a mesma coisa que a "pontuação alta" de outro. Os pesquisadores argumentam que o "viés" não é uma falha fixa na tecnologia; é um problema de medição. O resultado muda dependendo da ferramenta que você usa e das palavras exatas que você digita.

O estudo também aponta que os próprios registros do museu desempenharam um papel crucial. Como 384 das 445 obras de arte não tinham um criador conhecido, os robôs nem sequer podiam compará-las. Os artistas "nomeados" eram uma fatia pequena e específica da coleção do museu. Os pesquisadores alertam que não podemos dizer que esses robôs odeiam artistas mulheres em geral; podemos apenas dizer que, neste teste específico, com estas palavras específicas e este conjunto específico de imagens, alguns robôs mostraram um padrão de favorecer nomes masculinos.

No fim, o artigo não diz "Os robôs estão quebrados" ou "Os robôs são perfeitos". Ele diz: "Tenha cuidado". Se um museu usar um robô para classificar a arte, a classificação pode ser apenas um reflexo de como o robô foi treinado e de como a pergunta foi feita, não o verdadeiro valor da arte. Os pesquisadores sugerem que, em vez de procurar por uma "verdade", precisamos ouvir o desacordo entre os robôs. Se um robô diz "Esta é uma obra-prima" e outro diz "Não é", esse desacordo é, na verdade, a resposta mais honesta que podemos obter: ele nos diz que a pergunta é mais difícil do que pensávamos, e que a opinião do robô é apenas uma voz barulhenta em uma sala muito barulhenta.

Resumo Técnico: De Quem é a Arte que Conta? Associações Dependentes de Modelo e de Prompt em Julgamentos de Arte de Museus por Visão-Linguagem

Definição do Problema
Modelos de visão-linguagem (VLMs) são cada vez mais implementados para pesquisar, classificar e descrever coleções culturais. No entanto, seus julgamentos de "valor artístico" (por exemplo, rotular uma imagem como uma "obra-prima" ou "influente") não são observações diretas de mérito, mas sim respostas a associações imagem-texto específicas aprendidas a partir de dados de escala web. Existe um problema crítico de medição: ao aplicar esses modelos a arquivos de museus, não está claro se as disparidades observadas nos escores (por exemplo, entre obras atribuídas a homens e mulheres) refletem um viés genuíno do modelo, associações aprendidas dos dados de treinamento ou artefatos do próprio arquivo. Os registros de museus não são amostras neutras; eles contêm desequilíbrios históricos de atribuição, digitalização e catalogação. Auditorias existentes frequentemente dependem de imagens de referência (benchmarks) ou prompts demográficos amplos, falhando em considerar como esses efeitos se comportam dentro de coortes de arquivo historicamente situadas e definidas por consulta, onde os metadados são frequentemente incompletos ou não resolvidos.

Metodologia: Protocolo de Auditoria Condicionado ao Arquivo
O estudo introduz um design de auditoria condicionado ao arquivo que trata o modelo, o prompt e a proveniência dos metadados como um único procedimento de medição. O protocolo adere a quatro regras estritas:

Congelamento do Arquivo: O conjunto de dados e as regras de seleção de imagens são fixos antes da inferência para garantir uma coorte de objetos reproduzível.
Resolução de Metadados: As categorias de criadores são derivadas estritamente de campos documentados e procedimentos de resolução de nomes (usando um dicionário "gender-guesser" para primeiros nomes), enquanto retém explicitamente registros "desconhecidos ou não atribuídos" em vez de descartá-los.
Especificação do Prompt: Pares de prompts avaliativos são fixados antes do teste. O estudo utiliza três contrastes orientados ao valor ("obra-prima", "qualidade", "influência") e um controle neutro ("obra de arte"), comparando uma frase de alto valor contra uma alternativa de menor valor.
Separação do Instrumento: O estudo avalia quatro VLMs distintos (OpenAI CLIP, OpenCLIP ViT-B/32, OpenCLIP ViT-L/14 e SigLIP) sem ajuste fino (fine-tuning). Reconhecendo que o CLIP produz probabilidades softmax enquanto o SigLIP produz logits, os autores evitam a agregação de escores brutos. Em vez disso, realizam a padronização dentro do modelo para diagnósticos entre modelos, tratando o desacordo entre modelos como uma característica do instrumento de medição, e não como ruído.

Configuração Experimental

Dados: 445 imagens de objetos de museu acessíveis publicamente da coleção Open Access do Metropolitan Museum of Art.
Coorte: Uma coorte de comparação binária de 61 obras (39 inferidas como masculinas, 22 inferidas como femininas) derivada de metadados resolvidos. As 384 obras restantes (desconhecidas/não atribuídas) são mantidas para contexto descritivo, mas excluídas do contraste binário.
Análise: O estudo calcula as diferenças de escore relativas ao prompt ( $\Delta_m$ ) entre categorias de criadores. Emprega intervalos de confiança de bootstrap de 95%, testes Mann-Whitney U e testes de permutação de 10.000 rótulos. Análises de sensibilidade incluem testes de exclusão de um departamento por vez (leave-one-department-out) e diagnósticos de instabilidade entre modelos.

Resultos Principais

Dependência de Prompt e de Modelo: Não há um viés universal entre os modelos. O prompt "Influência" produziu as diferenças positivas mais claras (masculino-inferido > feminino-inferido) para o OpenAI CLIP ( $\Delta = 0,2892$ ) e OpenCLIP L/14 ( $\Delta = 0,3400$ ). No entanto, o OpenCLIP B/32 e o SigLIP mostraram tendências direcionais inconsistentes ou opostas para os mesmos prompts.
Sensibilidade ao Prompt: A escolha do prompt altera significativamente a associação observada. Por exemplo, o OpenAI CLIP mostrou quase zero de diferença para os prompts "obra-prima" e "qualidade", mas uma forte diferença positiva para "influência". Isso indica que os modelos estão reagindo a associações semânticas específicas (ex: impacto histórico vs. status canônico) em vez de um único constructo latente de "valor artístico".
Instabilidade Agregada: Um índice agregado de escores de valor foi reportado apenas como um resumo secundário porque as correlações de prompt eram fracas ou mistas. Diagnósticos entre modelos revelaram alta instabilidade; por exemplo, o SigLIP produziu diferenças agregadas negativas enquanto o OpenCLIP L/14 produziu positivas.
Sensibilidade de Departamento: Análises de exclusão de departamento mostraram que as tendências direcionais (ex: diferenças positivas para o OpenAI CLIP) permaneceram estáveis na maioria das omissões de departamento, sugerindo que a associação é consistente dentro desta coorte específica definida por consulta, embora não necessariamente portável para outras instituições.

Significância e Alegações
A principal contribuição do artigo é metodológica, não uma afirmação definitiva sobre mérito artístico ou uma estimativa universal de viés de gênero na arte.

Protocolo de Medição: O estudo estabelece um protocolo para auditar VLMs em patrimônio cultural que explicitamente considera o viés de seleção de arquivo, metadados não resolvidos e escalas de pontuação específicas do modelo.
Limites Interpretativos: Os autores afirmam que seus achados descrevem associações entre categorias de criadores derivadas de metadados e escores do modelo sob prompts específicos. Eles declaram explicitamente que esses resultados não estabelecem efeitos causais, qualidade artística ou comportamento geral do modelo.
Papel do Desacordo: O artigo argumenta que o desacordo entre modelos deve ser tratado como evidência significativa de incerteza de avaliação, e não como ruído estatístico a ser suavizado pela média.
Uso Responsável: Os autores alertam que os escores dos modelos não devem ser usados para classificar o valor artístico, substituir o julgamento curatorial ou guiar políticas de aquisição. Em vez disso, esses diagnósticos servem para revelar como modelos multimodais lidam com artefatos culturais sob condições específicas de prompt e metadados, destacando a necessidade de transparência em como arquivos e modelos interagem.

Em resumo, o estudo demonstra que "de quem é a arte que conta" em uma auditoria de VLM é contingente ao modelo específico, ao fraseado do prompt e à sobrevivência dos metadados no arquivo, em vez de refletir uma medida objetiva ou estável de valor cultural.

Mais como este