The Algorithmic Gaze of Image Quality Assessment: An Audit and Trace Ethnography of the LAION-Aesthetics Predictor

Este estudio audita y realiza una etnografía del predictor LAION-Aesthetics, revelando que su enfoque algorítmico de la calidad estética refuerza sesgos occidentales, masculinos e imperiales al filtrar desproporcionadamente imágenes que representan a mujeres y personas LGBTQ+, lo que subraya la necesidad de transitar hacia evaluaciones más plurales en lugar de medidas prescriptivas de "estética".

Lo esencial

Imagina que tienes un juez de belleza digital llamado LAP. Este juez no es una persona real, sino un programa de computadora muy poderoso que se usa para decidir qué imágenes son "bonitas" y cuáles no.

Este juez es tan importante que las empresas que crean la Inteligencia Artificial (IA) que genera imágenes (como las que hacen fotos de gatos o paisajes imaginarios) lo usan como un filtro de seguridad. Si una foto no le gusta a LAP, la IA la descarta y no la usa para aprender. Básicamente, LAP decide qué tipo de arte entra en la "biblioteca" de la IA y qué tipo se queda fuera.

Los autores de este estudio decidieron investigar a este juez para ver: ¿De quién es el gusto que tiene este programa? ¿Es justo para todos?

Aquí te explico sus descubrimientos con analogías sencillas:

1. El Juez tiene "Antojos" Específicos (El Sesgo)

El estudio descubrió que LAP no tiene un gusto universal. Tiene un gusto muy estrecho, como si solo le gustara comer pizza y nunca ensalada.

• Lo que le encanta: Le obsesionan las fotos realistas de paisajes, ciudades y retratos de personas. Le gusta mucho el arte de artistas occidentales (de Europa y EE. UU.) y japoneses.
• Lo que desprecia: Si una imagen es abstracta (como un cuadro de Picasso que parece un rompecabezas), moderna, o viene de culturas africanas, indígenas o islámicas, LAP la califica como "mala" y la tira a la basura.
• La analogía: Imagina que tienes un club de lectura donde el presidente solo permite libros escritos por hombres blancos de Europa. Si intentas meter un libro de una autora africana o un poema moderno, el presidente lo rechaza diciendo: "Esto no es literatura de calidad". LAP hace lo mismo con las imágenes.

2. El "Ojo Imperial" y el "Ojo Masculino"

El estudio usa dos términos muy interesantes para describir cómo piensa LAP:

• El Ojo Imperial: LAP ve el mundo a través de los ojos de un colonizador europeo. Para él, el arte "bueno" es el que se parece al arte de los museos de Nueva York o París. El arte de otras culturas se considera "inferior" o "raro". Es como si el juez solo conociera la música clásica y dijera que el rap o la salsa son "ruidos" y no música.
• El Ojo Masculino: Aquí hay un giro triste. LAP tiende a calificar muy alto las imágenes donde aparecen mujeres (especialmente si son bonitas o en poses tradicionales), pero califica muy bajo las imágenes que mencionan a hombres o a personas LGBTQ+.
  • La analogía: Es como si en una fiesta, el DJ (LAP) pusiera muchas canciones sobre mujeres hermosas para que todos las miren, pero si alguien intenta hablar de la vida de un hombre o de una comunidad gay, el DJ corta la música y dice: "Esto no es agradable".

3. ¿Por qué LAP piensa así? (La Investigación)

Los investigadores no solo miraron qué hacía LAP, sino que investigaron quién lo construyó y con qué ingredientes. Fue como hacer una autopsia a la receta de un pastel.

• El Chef: El creador de LAP fue un solo hombre (un profesor alemán). Él decidió qué imágenes usar para entrenar al programa.
• Los Ingredientes: Las "imágenes de entrenamiento" venían de tres fuentes principales:
  1. Un concurso de fotografía en línea de hace 10 años (donde participaban fotógrafos occidentales).
  2. Un grupo pequeño de entusiastas de la IA (la mayoría hombres, blancos y de países ricos).
  3. Unas pocas imágenes que él mismo eligió.
• La Conclusión: LAP no es un juez imparcial. Es un espejo del gusto personal de un hombre occidental. Como el programa aprendió de ese grupo pequeño, ahora cree que ese es el único gusto válido en el mundo.

4. ¿Por qué es peligroso esto?

Si dejamos que este juez decida qué aprende la Inteligencia Artificial, estamos en problemas:

1. El arte se vuelve aburrido: La IA empezará a generar solo fotos realistas de paisajes europeos, ignorando la belleza del arte abstracto, africano o latinoamericano.
2. Refuerza estereotipos: Al poner muchas imágenes de mujeres "bonitas" y pocas de hombres o personas LGBTQ+, la IA aprenderá a representar a las mujeres como objetos para ser mirados, y a ignorar a otras identidades.
3. El peligro de la "inclusión" mal hecha: Los autores advierten que simplemente "meter más mujeres" en las fotos no es la solución si el juez sigue teniendo un gusto masculino y occidental. Podría empeorar las cosas, haciendo que las mujeres sean usadas en imágenes generadas por IA para fines dañinos (como deepfakes o imágenes sexuales no consentidas).

En resumen: La Lección Final

Los autores nos dicen que la belleza no es una fórmula matemática. No existe una sola definición de "arte bonito" que sirva para todo el mundo.

Ellos piden a los creadores de IA que dejen de buscar un "juez perfecto" universal y que, en su vez, reconozcan que sus herramientas tienen gustos específicos. En lugar de decir "esto es bonito y esto no", deberían decir: "Esta IA es buena para hacer paisajes realistas, pero no es buena para hacer arte abstracto o culturalmente diverso".

Es como decir: "No intentes que un chef italiano haga sushi perfecto; reconoce que su especialidad es la pasta y busca un chef japonés para el sushi". Necesitamos más diversidad en los "chefs" que entrenan a la IA para que el mundo digital sea tan colorido y variado como el mundo real.

Resumen técnico

Resumen Técnico: La Mirada Algorítmica de la Evaluación de Calidad de Imagen

1. El Problema

Los modelos de IA generativa visual (como Stable Diffusion) se entrenan utilizando medidas de "atractivo estético" estandarizadas y de talla única para curar sus conjuntos de datos y evaluar la calidad de las imágenes generadas. Sin embargo, el concepto de "estética" es profundamente subjetivo, político y culturalmente situado.

El problema central abordado en este trabajo es la falta de transparencia y la presencia de sesgos en el LAION-Aesthetics Predictor (LAP), un modelo de evaluación de calidad de imagen (AQA) ampliamente utilizado. Al tratar la estética como una métrica universal y cuantificable, el LAP podría estar perpetuando daños representacionales, reforzando estereotipos culturales y excluyendo visiones artísticas no occidentales o no realistas, sin que los desarrolladores de IA sean plenamente conscientes de estas implicaciones.

2. Metodología

Los autores emplearon un enfoque mixto que combina auditorías algorítmicas y etnografía de rastreo (trace ethnography) para investigar el modelo LAP desde dos ángulos: su comportamiento en la práctica y los orígenes de su diseño.

• Auditoría del Modelo (Cuantitativa):

  • Se evaluó el LAP en tres conjuntos de datos distintos:
    1. Conjunto de Datos LAION-Aesthetics (LAD): ~1.2 mil millones de imágenes filtradas por el propio LAP. Se analizó cómo el filtro afecta la representación de grupos demográficos en los subtítulos (captions).
    2. Metropolitan Museum of Art (MET): 249,351 imágenes de arte público. Se evaluó cómo el modelo puntúa obras de diferentes culturas, medios y departamentos.
    3. WikiArt: 81,444 imágenes de arte moderno y contemporáneo. Se analizó la puntuación basada en géneros, estilos y artistas específicos.
  • Umbral de análisis: Se centraron en imágenes con puntuación ≥ 6.5 (consideradas de "alta calidad" en la literatura de visión por computadora) para identificar sesgos sistemáticos. Se utilizó la Información Mutua Puntual (PMI) para correlacionar términos en los subtítulos con la inclusión en el conjunto de datos de alta calidad.

• Etnografía de Rastreo (Cualitativa):

  • Se reconstruyó el proceso de desarrollo del LAP mediante el análisis de "huellas digitales" públicas:
    • Publicaciones de blog y documentación de código.
    • Repositorios de datos de entrenamiento (AVA, SAC, LAION-Logos).
    • Un video explicativo de YouTube no listado del fundador de LAION.
  • El objetivo fue entender las decisiones de diseño, la procedencia de los datos de entrenamiento y la subjetividad del creador.

3. Contribuciones Clave

• Auditoría Empírica del LAP: Proporciona la primera evaluación exhaustiva de qué mide realmente el modelo LAP en la práctica, revelando sesgos significativos en la curación de datos para IA generativa.
• Etnografía de Origen: Vincula los sesgos observados en el modelo con las decisiones de diseño específicas y las limitaciones demográficas de los datos de entrenamiento, demostrando que el modelo refleja el gusto personal de un único desarrollador.
• Marco Crítico: Introduce el concepto de la "mirada algorítmica" (Imperial, Realista y Masculina) como una extensión de las críticas históricas en la historia del arte y los estudios de medios, aplicándolas a la infraestructura de IA.
• Metodología Híbrida: Propone combinar auditorías y etnografías de rastreo como un método socio-técnico robusto para evaluar sistemas algorítmicos, permitiendo no solo detectar sesgos, sino explicar su origen.

4. Resultados Principales

A. Sesgos en la Curación de Datos (Auditoría LAD):

• Género y Sexualidad: El LAP filtra desproporcionadamente imágenes que incluyen menciones a mujeres en los subtítulos (mayor probabilidad de puntuación ≥ 6.5), mientras que filtra imágenes que mencionan hombres o personas LGBTQ+.
• Religión y Cultura: Las menciones a hindúes, budistas y cristianos se favorecen, mientras que las menciones a judíos y musulmanes se filtran más a menudo.
• Origen de las Imágenes: Las imágenes de alta puntuación provienen predominantemente de sitios web de artistas visuales independientes y fotógrafos (ej. DeviantArt, Flickr), reforzando una estética fotográfica específica.

B. Sesgos en la Evaluación del Arte (Auditoría MET y WikiArt):

• La Mirada Imperial: El modelo otorga las puntuaciones más altas a obras de artistas occidentales y japoneses. Ninguna obra de arte de África, América Nativa, Oceanía, Islámica, Egipcia o del Antiguo Oriente Próximo alcanzó una puntuación ≥ 6.5 en el MET.
• La Mirada Realista: El modelo favorece abrumadoramente el realismo, los paisajes, los retratos y las ciudades. Estilos modernos o abstractos (Cubismo, Expresionismo Abstracto, Pop Art) y artistas influyentes como Picasso, Warhol y Dalí reciben puntuaciones significativamente más bajas.
• La Mirada Masculina: Al favorecer la representación de mujeres (como objeto visual) y excluir identidades LGBTQ+, el modelo replica la "mirada masculina" histórica del arte occidental a escala algorítmica.

C. Origen de los Sesgos (Etnografía de Rastreo):

• Subjetividad del Fundador: El modelo fue creado individualmente por Christoph Schuhmann (fundador de LAION) basándose en su propio "gusto subjetivo".
• Datos de Entrenamiento Limitados: El modelo se entrenó con tres conjuntos de datos (AVA, SAC, LAION-Logos) que presentan graves limitaciones:
  • AVA (2012): Datos de fotógrafos occidentales en un sitio web en inglés; no hubo consentimiento de los sujetos.
  • SAC (2022): Datos generados por una comunidad pequeña de entusiastas de la IA (WEIRD: Occidentales, Educados, Industrializados, Ricos y Democráticos), mayoritariamente desarrolladores de código abierto.
  • LAION-Logos: Datos escasamente documentados y con muy poca participación.
• Confluencia de Métricas: El modelo confunde diferentes definiciones de estética (puntuaciones absolutas vs. relativas) y promedia puntuaciones, perdiendo la variabilidad cultural y la disidencia artística.

5. Significado e Implicaciones

• Daño Representacional: El uso generalizado del LAP para curar conjuntos de datos de entrenamiento (como en Stable Diffusion) y evaluar modelos genera un ciclo de retroalimentación que excluye sistemáticamente culturas no occidentales, estilos artísticos no realistas e identidades diversas.
• Refuerzo de la Violencia de Género: Al favorecer imágenes de mujeres (a menudo como objetos estéticos) y filtrar identidades LGBTQ+, el modelo podría exacerbar los riesgos de generación de imágenes sexualizadas no consensuadas y contenido abusivo.
• Crítica a la "Universalidad": El artículo desafía la noción de que la "calidad estética" puede ser una métrica universal. Argumenta que tratar la estética como una medida prescriptiva (cómo deberían ser las imágenes) en lugar de descriptiva (cómo son las imágenes en un contexto específico) es un error fundamental.
• Llamado a la Acción:
  • Los desarrolladores de IA deben abandonar las medidas universales de "estética" y adoptar evaluaciones pluralistas y descriptivas.
  • La comunidad de investigación debe combinar auditorías técnicas con etnografías para entender los orígenes humanos de los sesgos algorítmicos.
  • Es necesario reconocer que la "inclusión" de datos en el entrenamiento no es suficiente si los mecanismos de filtrado (como el LAP) siguen aplicando criterios de calidad sesgados.

En conclusión, el artículo demuestra que la infraestructura técnica de la IA generativa no es neutral; está cargada de las preferencias culturales, de género y raciales de sus creadores y de los datos en los que se basa, requiriendo una reevaluación crítica de cómo definimos y medimos la "calidad" en la inteligencia artificial.