💻 computer science

Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art

Este artículo presenta un protocolo de auditoría condicionado por archivos para evaluar cómo los modelos de visión y lenguaje y las estructuras de prompts interactúan con los metadatos de museos al evaluar el valor artístico, demostrando a través de un estudio de caso del Metropolitan Museum of Art que los prompts de "influencia" producen las diferencias basadas en categorías más consistentes, al tiempo que resaltan las limitaciones de la generalización entre modelos y entre prompts.

Autores originales: Manpreet Singh, Nandakishor Reddy Pulagam, Rhythm Bhatia, Rahul Joshi

Publicado 2026-08-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Manpreet Singh, Nandakishor Reddy Pulagam, Rhythm Bhatia, Rahul Joshi

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que acabas de construir un bibliotecario robot superinteligente que ha leído millones de libros y ha visto miles de millones de imágenes. Le preguntas: "¿Cuál de estas pinturas es una obra maestra?" o "¿Cuál cambió la historia?". Esperas que el robot observe el arte y dé una respuesta justa basada en la belleza y la destreza. Pero aquí está el truco: este robot no solo "ve" el arte como lo hace un humano. Ve patrones. Aprendió asociando imágenes con palabras en internet. Si en internet se decía mayoritariamente que los "grandes artistas" eran hombres, el robot podría aprender que el "gran arte" tiene la apariencia del trabajo de un hombre, incluso si eso es erróneo. Este es el mundo de los Modelos de Lenguaje-Visión (VLM): computadoras que conectan imágenes con palabras. La gran pregunta no es solo "¿Es inteligente el robot?", sino "¿De qué tipo de mundo aprendió el robot?" y "¿Cambia la respuesta del robot si hacemos la pregunta de forma diferente?". Los museos están llenos de estos robots ahora, ayudando a la gente a encontrar arte, pero si el robot tiene sesgos, podría ocultar las historias de las mujeres y de otros creadores subrepresentados, haciendo que parezcan menos importantes de lo que realmente son.

Así que un equipo de investigadores decidió someter a estos bibliotecarios robot a una prueba muy específica. No se limitaron a pedirles que adivinaran; establecieron un juego estricto para ver si los robots estaban jugando limpio. Tomaron 445 imágenes digitales de arte del Metropolitan Museum of Art. Pero aquí está el giro: sabían que los registros de los museos son desordenados. Muchas obras de arte antiguas no tienen un nombre claro asociado. Por lo tanto, dividieron el grupo en dos: un pequeño grupo de 61 piezas donde se conocía el nombre del creador (y dedujeron el género basándose en el nombre), y un enorme grupo de 384 piezas donde el creador era un misterio. Querían ver si los robots daban "puntuaciones más altas" a los artistas masculinos identificados en comparación con las artistas femeninas identificadas.

Pero no hicieron solo una pregunta. Le preguntaron a los robots de cuatro maneras diferentes: "¿Es esto una obra maestra?", "¿Es un trabajo de calidad?", "¿Es influyente?", y una pregunta de control solo para comprobar si el robot estaba prestando atención. Realizaron esta prueba en cuatro cerebros robóticos diferentes (OpenAI CLIP, OpenCLIP B/32, OpenCLIP L/14 y SigLIP).

Esto es lo que encontraron, y es un poco un giro en la trama: Los robots no estuvieron de acuerdo.

No fue una historia simple de "todos los robots son sexistas". En cambio, la respuesta dependía enteramente de qué robot consultabas y cómo hacías la pregunta.

Cuando preguntaron sobre la "Influencia" (cuánto cambió la historia un artista), dos de los robots (OpenAI CLIP y OpenCLIP L/14) dieron una señal clara: calificaron las obras inferidas como masculinas con una puntuación más alta que las femeninas. Era como si el robot dijera: "Oh, los libros de historia dicen que los hombres cambiaron las cosas, así que les daré una puntuación más alta".
Sin embargo, cuando preguntaron sobre la "Calidad" o "Obra maestra", los resultados fueron un caos. Un robot podía decir "Los hombres son mejores", otro "Las mujeres son mejores", y un tercero "No veo ninguna diferencia".
Un robot, SigLIP, de hecho dio el resultado opuesto, calificando más alto las obras inferidas como femeninas, aunque los investigadores señalaron que los números eran un poco inestables y difíciles de precisar.

Lo más importante que dice el artículo es que no puedes simplemente promediar estas respuestas. Si tomaras las puntuaciones de los cuatro robots y las mezclaras en un solo número grande, obtendrías una mentira. Los robots son demasiado diferentes. Una "puntuación alta" de un robot no es lo mismo que la "puntuación alta" de otro. Los investigadores argumentan que el "sesgo" no es un defecto fijo de la tecnología; es un problema de medición. El resultado cambia dependiendo de la herramienta que utilices y de las palabras exactas que escribas.

El estudio también señala que los propios registros del museo jugaron un papel crucial. Debido a que 384 de las 445 obras de arte no tenían un creador conocido, los robots ni siquiera pudieron compararlas. Los artistas "nombrados" eran una porción diminuta y específica de la colección del museo. Los investigadores advierten que no podemos decir que estos robots odien a las artistas mujeres en general; solo podemos decir que en este test específico, con estas palabras específicas y este conjunto específico de imágenes, algunos robots mostraron un patrón de favorecer los nombres masculinos.

Al final, el artículo no dice "Los robots están rotos" o "Los robots son perfectos". Dice: "Tenga cuidado". Si un museo utiliza un robot para clasificar el arte, la clasificación puede ser simplemente un reflejo de cómo fue entrenado el robot y cómo se hizo la pregunta, no el valor real del arte. Los investigadores sugieren que, en lugar de buscar una única "verdad", necesitamos escuchar el desacuerdo entre los robots. Si un robot dice "Esto es una obra maestra" y otro dice "No", ese desacuerdo es en realidad la respuesta más honesta que podemos obtener: nos dice que la pregunta es más difícil de lo que pensábamos, y que la opinión del robot es solo una voz ruidosa en una habitación muy ruidosa.

Resumen Técnico: ¿El arte de quién cuenta? Asociaciones dependientes del modelo y del prompt en los juicios de visión-lenguaje sobre el arte de los museos

Planteamiento del problema
Los modelos de visión-lenguaje (VLM, por sus siglas en inglés) se despliegan cada vez más para buscar, clasificar y describir colecciones culturales. Sin embargo, sus juicios sobre el "valor artístico" (por ejemplo, etiquetar una imagen como una "obra maestra" o "influyente") no son observaciones directas del mérito, sino respuestas a asociaciones específicas de imagen-texto aprendidas a partir de datos a escala web. Existe un problema de medición crítico: al aplicar estos modelos a archivos de museos, no está claro si las disparidades observadas en las puntuaciones (por ejemplo, entre obras atribuidas a hombres y a mujeres) reflecen un sesgo genuino del modelo, asociaciones aprendidas de los datos de entrenamiento o artefactos del propio archivo. Los registros de los museos no son marcos de muestreo neutrales; contienen desequilibrios históricos en la atribución, la digitalización y la catalogación. Las auditorías existentes suelen basarse en imágenes de referencia o prompts demográficos amplios, sin tener en cuenta cómo estos efectos se comportan dentro de cohortes de archivos históricamente situadas y definidas por consultas, donde los metadatos suelen estar incompletos o sin resolver.

Metodología: Protocolo de auditoría condicionado al archivo
El estudio introduce un diseño de auditoría condicionado al archivo que trata al modelo, al prompt y a la procedencia de los metadatos como un único procedimiento de medición. El protocolo se adhiere a cuatro reglas estrictas:

Congelación del archivo: El conjunto de datos y las reglas de selección de imágenes se fijan antes de la inferencia para garantizar una cohorte de objetos reproducible.
Resolución de metadatos: Las categorías de los creadores se derivan estrictamente de campos documentados y procedimientos de resolución de nombres (utilizando un diccionario "gender-guesser" para nombres de pila), mientras que se retienen explícitamente los registros "desconocidos o no atribuidos" en lugar de descartarlos.
Especificación del prompt: Los pares de prompts evaluativos se fijan antes de las pruebas. El estudio utiliza tres contrastes orientados al valor ("obra maestra", "calidad", "influencia") y un control neutral ("obra de arte"), comparando una frase de alto valor contra una alternativa de menor valor.
Separación del instrumento: El estudio evalúa cuatro VLM distintos (OpenAI CLIP, OpenCLIP ViT-B/32, OpenCLIP ViT-L/14 y SigLIP) sin ajuste fino (fine-tuning). Reconociendo que CLIP produce probabilidades softmax mientras que SigLIP produce logits, los autores evitan la agrupación de puntuaciones brutas. En su lugar, realizan una estandarización dentro del modelo para diagnósticos entre modelos, tratando el desacuerdo entre modelos como una característica del instrumento de medición en lugar de ruido.

Configuración experimental

Datos: 445 imágenes de objetos de museos accesibles públicamente de la colección de Acceso Abierto del Metropolitan Museum of Art.
Cohorte: Una cohorte de comparación binaria de 61 obras (39 inferidas como masculinas, 22 inferidas como femeninas) derivadas de metadatos resueltos. Las 384 obras restantes (desconocidas/no atribuidas) se retienen para contexto descriptivo pero se excluyen del contraste binario.
Análisis: El estudio calcula las diferencias de puntuación relativa al prompt ( $\Delta_m$ ) entre las categorías de creadores. Emplea intervalos de confianza de bootstrap del 95%, pruebas de Mann-Whitney U y pruebas de permutación de 10,000 etiquetas. Los análisis de sensibilidad incluyen pruebas de exclusión de un departamento a la vez y diagnósticos de inestabilidad entre modelos.

Resultos clave

Dependencia del prompt y del modelo: No existe un sesgo universal entre los modelos. El prompt "Influencia" produjo las diferencias positivas más claras (inferido masculino > inferido femenino) para OpenAI CLIP ( $\Delta = 0.2892$ ) y OpenCLIP L/14 ( $\Delta = 0.3400$ ). Sin embargo, OpenCLIP B/32 y SigLIP mostraron tendencias direccionales inconsistentes u opuestas para los mismos prompts.
Sensibilidad del prompt: La elección del prompt altera significativamente la asociación observada. Por ejemplo, OpenAI CLIP mostró una diferencia casi nula para los prompts de "obra maestra" y "calidad", pero una fuerte diferencia positiva para "influencia". Esto indica que los modelos están reaccionando a asociaciones semánticas específicas (por ejemplo, impacto histórico frente a estatus canónico) en lugar de a un único constructo latente de "valor artístico".
Inestabilidad agregada: Solo se reportó un índice agregado de puntuaciones de valor como un resumen secundario porque las correlaciones de los prompts eran débiles o mixtas. Los diagnósticos entre modelos revelaron una alta inestabilidad; por ejemplo, SigLIP produjo diferencias agregadas negativas mientras que OpenCLIP L/14 produjo positivas.
Sensibilidad departamental: Los análisis de exclusión de un departamento a la vez mostraron que las tendencias direccionales (por ejemplo, diferencias positivas para OpenAI CLIP) se mantuvieron estables tras la omisión de la mayoría de los departamentos, lo que sugiere que la asociación es consistente dentro de esta cohorte específica definida por la consulta, aunque no sea necesariamente portable a otras instituciones.

Significado y afirmaciones
La contribución principal del artículo es metodológica, no una declaración definitiva sobre el mérito artístico o una estimación universal del sesgo de género en el arte.

Protocolo de medición: El estudio establece un protocolo para auditar los VLM en el patrimonio cultural que explica explícitamente el sesgo de selección de archivo, los metadatos no resueltos y las escalas de puntuación específicas de cada modelo.
Límites interpretativos: Los autores afirman que sus hallazgos describen asociaciones entre las categorías de creadores derivadas de metadatos y las puntuaciones de los modelos bajo prompts específicos. Declaran explícitamente que estos resultados no establecen efectos causales, calidad artística o un comportamiento general del modelo.
Papel del desacuerdo: El artículo sostiene que el desacuerdo entre modelos debe tratarse como evidencia significativa de incertidumbre de evaluación en lugar de ruido estadístico para ser promediado.
Uso responsable: Los autores advierten que las puntuaciones de los modelos no deben utilizarse para clasificar la valía artística, reemplazar el juicio curatorial o guiar políticas de adquisición. En cambio, estos diagnósticos sirven para revelar cómo los modelos multimodales manejan los artefactos culturales bajo condiciones específicas de prompt y metadatos, resaltando la necesidad de transparencia en cómo interactúan los archivos y los modelos.

En resumen, el estudio demuestra que determinar "el arte de quién cuenta" en una auditoría de VLM depende de la especificidad del modelo, la formulación del prompt y la supervivencia de los metadatos en el archivo, en lugar de reflejar una medida objetiva o estable de valor cultural.

Más como este