The Algorithmic Gaze of Image Quality Assessment: An Audit and Trace Ethnography of the LAION-Aesthetics Predictor

Este estudo audita e realiza uma etnografia traçada do preditor LAION-Aesthetics, revelando como seu viés algorítmico reforça o olhar imperial e masculino ao filtrar desproporcionalmente imagens com representações de mulheres, homens e pessoas LGBTQ+, além de priorizar estilos artísticos ocidentais e japoneses, devido à origem de seus dados de treinamento em fotógrafos anglófonos e entusiastas de IA ocidentais.

O essencial

Imagine que você tem um grande curador de arte invisível chamado "LAION-Aesthetics Predictor" (vamos chamá-lo de LAP). Este não é um humano com um chapéu de artista, mas um algoritmo de computador muito poderoso.

O trabalho desse "curador" é olhar para milhões de fotos na internet e dar uma nota de 1 a 10 dizendo: "Esta foto é bonita?" ou "Esta foto é de alta qualidade?".

Por que isso importa? Porque as empresas que criam os geradores de imagens (como o famoso Stable Diffusion, que cria imagens do nada) usam esse curador para escolher quais fotos vão ensinar a máquina. Se o curador diz "não gostei dessa foto", ela é jogada fora. Se diz "adorei", ela vira um professor para a máquina.

Os autores deste estudo decidiram investigar: De quem é o gosto desse curador?

Aqui está o resumo da investigação, explicado de forma simples:

1. O Grande Filtro (O que o LAP faz?)

O LAP foi usado para filtrar mais de 1 bilhão de imagens. A equipe do estudo descobriu que esse curador tem gostos muito específicos, e eles não são universais. É como se ele tivesse um "gosto de família" muito forte e estivesse aplicando isso a todo o mundo.

• O Viés de Gênero: O curador adora fotos onde a legenda menciona mulheres. Ele tende a jogar fora fotos que mencionam homens ou pessoas LGBTQ+. É como se ele achasse que a beleza só existe quando há uma mulher na cena.
• O Viés Cultural: Ele ama paisagens, cidades e retratos feitos por artistas ocidentais (EUA/Europa) e japoneses. Se você mostrar a ele uma arte africana, indígena, islâmica ou de outras culturas não ocidentais, ele tende a dar notas baixas e descartá-la.
• O Viés de Estilo: Ele adora realismo. Se a foto parece uma fotografia perfeita de uma montanha ou de uma pessoa, ele dá nota 10. Se é uma pintura abstrata, cubista ou algo estranho e surreal (como muitos artistas modernos gostam), ele dá nota baixa.

2. A Origem do Gosto (A "Investigação" dos Autores)

Para entender por que o curador tem esse gosto, os autores fizeram uma "etnografia de rastreamento". É como se eles fossem detetives tentando descobrir quem construiu esse curador e como.

Eles descobriram que:

• Um homem criou tudo: O algoritmo foi feito basicamente por uma única pessoa (o fundador da LAION, um professor alemão). Ele escolheu os dados e os pesos do modelo baseando-se no seu próprio gosto pessoal.
• Os "Júris" eram limitados: Para ensinar o curador o que é "bonito", usaram fotos de concursos de fotografia online (feitos por fotógrafos brancos, ocidentais e ricos) e de comunidades de entusiastas de IA (que também eram majoritariamente brancos e ocidentais).
• O Resultado: O curador aprendeu que "beleza" significa "fotorealismo feito por homens brancos ocidentais". Ele não aprendeu que beleza pode ser abstrata, africana ou feita por mulheres.

3. Por que isso é um problema? (O Perigo)

Pense no gerador de imagens como uma máquina de fazer sonhos. Se você alimenta essa máquina apenas com "sonhos" que o curador LAP considera bonitos, a máquina vai começar a repetir os mesmos sonhos.

• Exclusão: A máquina terá dificuldade em criar arte indígena, africana ou abstrata, porque o curador jogou essas fotos fora antes de ela aprender.
• O "Olhar Masculino": Como o curador adora fotos de mulheres, a máquina pode acabar criando muitas imagens de mulheres, mas muitas vezes de uma forma objetificada (como se fossem feitas apenas para o prazer de olhar de um homem), ignorando a perspectiva feminina.
• Falta de Diversidade: O mundo é cheio de cores e estilos diferentes. Se o nosso "curador de IA" só gosta de um tipo de cor, o futuro da arte gerada por IA ficará cinza e repetitivo.

A Conclusão dos Autores

Os pesquisadores dizem: "Parem de tentar criar uma única medida de beleza para todo o mundo."

A beleza é subjetiva. O que é lindo para você pode não ser para mim. Tentar forçar uma nota única (de 1 a 10) para definir o que é "arte boa" é um erro.

Eles pedem que os criadores de IA:

1. Parem de usar o "gosto único" como regra absoluta.
2. Aceitem a pluralidade: Em vez de dizer "isso é bonito (nota 9)", digam "isso é realista", "isso é abstrato" ou "isso tem estilo japonês".
3. Pensem nas consequências: Se usarmos esse curador para ensinar nossas máquinas, estaremos apagando culturas inteiras e reforçando estereótipos antigos.

Em resumo: O estudo nos mostra que a "inteligência" da IA não é neutra. Ela carrega os preconceitos, o gosto e a visão de mundo de quem a criou e de quem forneceu os dados. Se queremos uma IA que represente o mundo real, precisamos de curadores (e dados) muito mais diversos do que apenas um único homem com um computador.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "The Algorithmic Gaze of Image Quality Assessment: An Audit and Trace Ethnography of the LAION-Aesthetics Predictor", apresentado em português:

Título: O Olhar Algorítmico da Avaliação de Qualidade de Imagem: Uma Auditoria e Etnografia Rastreada do LAION-Aesthetics Predictor

1. Problema

O artigo aborda a crítica fundamental de que os modelos de IA generativa visual são treinados utilizando uma medida "tamanho único" de apelo estético. Embora a avaliação estética seja inerentemente subjetiva e ligada a valores culturais e gostos pessoais, os pesquisadores de IA frequentemente tentam quantificar a qualidade estética para curar conjuntos de dados de treinamento e avaliar a qualidade das imagens geradas.

O problema central é que o modelo LAION-Aesthetics Predictor (LAP), amplamente utilizado para filtrar dados (como no conjunto LAION-Aesthetics, usado para treinar o Stable Diffusion) e avaliar saídas de IA, opera com uma definição de "boa qualidade" que não é universal. A falta de investigação sobre o que esse modelo realmente mede e de onde suas vieses originam levanta questões sobre quais gostos culturais e representações estão sendo perpetuados e quais estão sendo excluídos sistematicamente.

2. Metodologia

Os autores empregaram uma abordagem híbrida combinando auditoria algorítmica e etnografia rastreada (trace ethnography):

• Auditoria do Modelo (LAP):

  • O modelo LAP foi testado em três conjuntos de dados distintos:
    1. LAION-Aesthetics Dataset (LAD): Um conjunto curado de ~1,2 bilhão de imagens derivado do LAION-5B. Os autores analisaram o impacto do filtro estético, comparando imagens acima e abaixo de um limiar de pontuação (6.5).
    2. Metropolitan Museum of Art (MET): 249.351 imagens de domínio público, analisadas por departamento e cultura.
    3. WikiArt: 81.444 imagens de arte visual moderna (meados de 1800 a meados de 1900), analisadas por gênero, estilo e artista.
  • Técnicas de Análise: Uso de Pointwise Mutual Information (PMI) para correlacionar termos em legendas (como identidades de gênero, raça e orientação sexual) com a probabilidade de uma imagem ser classificada como "alta qualidade" (≥6.5). Análise estatística de distribuições de pontuação por departamento, estilo e artista.

• Etnografia Rastreada (Trace Ethnography):

  • Investigação qualitativa das origens do LAP através de "rastros documentais" públicos.
  • Fontes Analisadas: Posts de blog de anúncio, repositórios de código e dados (GitHub, Hugging Face), artigos acadêmicos dos conjuntos de dados de treinamento (AVA, SAC, LAION-Logos) e um vídeo explicativo do criador.
  • Objetivo: Entender as decisões de design, a proveniência dos dados de treinamento e as motivações do fundador da LAION (Christoph Schuhmann) na criação do modelo.

3. Principais Contribuições

• Identificação de Vieses Sistêmicos: O estudo revela que o LAP não é um avaliador neutro, mas um refletor de gostos específicos (ocidentais, masculinos e realistas).
• Metodologia Híbrida: Demonstra a eficácia de combinar auditorias quantitativas (para detectar o que está errado) com etnografia rastreada (para explicar por que e como o viés surgiu), preenchendo uma lacuna na literatura de FAccT (Fairness, Accountability, and Transparency).
• Crítica à "Estética Universal": Argumenta contra o uso de métricas prescritivas e universalistas de estética, propondo uma mudança para avaliações descritivas e pluralistas.

4. Resultados Chave

A. Vieses de Representação e Identidade (Auditoria):

• Gênero e Sexualidade: Imagens com legendas mencionando mulheres têm maior probabilidade de serem incluídas no conjunto de alta qualidade (≥6.5), enquanto imagens mencionando homens ou pessoas LGBTQ+ são filtradas. Isso reforça o "olhar masculino" (male gaze) da história da arte ocidental.
• Religião e Raça: Imagens mencionando hindus, budistas e cristãos são favorecidas, enquanto judaicas e muçulmanas são filtradas. Comunidades asiáticas e africanas são favorecidas em comparação a latinas/europeias, possivelmente devido à invisibilidade da branquitude nas legendas.

B. Vieses Estéticos e Culturais (Auditoria):

• Dominância Ocidental e Japonesa: No MET, nenhuma obra de arte africana, nativa-americana, oceânica, islâmica, egípcia ou do antigo oeste asiático recebeu pontuação ≥6.5. As pontuações mais altas foram dadas a pinturas europeias, fotografias e impressões japonesas.
• Realismo vs. Abstração: O modelo favorece fortemente imagens realistas e figurativas (paisagens, retratos, cidades). Estilos modernos e abstratos (Cubismo, Expressionismo Abstrato, Pop Art) e artistas influentes como Picasso e Warhol receberam pontuações significativamente mais baixas.
• Origem dos Dados: O conjunto de dados de alta qualidade é desproporcionalmente composto por imagens de fotógrafos independentes e artistas visuais de sites como DeviantArt e Redbubble.

C. Origens do Viés (Etnografia Rastreada):

• Gosto Individual: O modelo foi desenvolvido individualmente por Christoph Schuhmann, que escolheu a arquitetura e os pesos dos dados de treinamento baseados em seu gosto pessoal subjetivo.
• Dados de Treinamento Limitados: O LAP foi treinado com três conjuntos de dados:
  1. AVA (2012): Fotos de um concurso online de fotografia em inglês (dpchallenge.com), dominado por fotógrafos ocidentais.
  2. SAC (2022): Imagens geradas e votadas por entusiastas de IA (principalmente desenvolvedores de código aberto nos EUA e Europa), descritos como "WEIRD" (Ocidental, Educado, Industrializado, Rico e Democrático).
  3. LAION-Logos: Pouco documentado, com poucos anotadores.
• Conflito de Métricas: O modelo tenta prever uma pontuação absoluta (1-10), mas os dados de AVA eram baseados em classificações relativas dentro de temas específicos. A agregação simples dessas métricas distintas ignorou nuances contextuais e variâncias nas opiniões humanas.

5. Significado e Implicações

• Dano Representacional: O uso do LAP para curar dados de treinamento perpetua vieses coloniais e de gênero, excluindo culturas não ocidentais e estilos artísticos não realistas. Isso pode levar a modelos de IA que não conseguem gerar arte indígena, islâmica ou abstrata com qualidade.
• Reforço do "Olhar Imperial" e "Masculino": O modelo codifica a visão de mundo de um homem branco ocidental como o padrão universal de beleza, marginalizando outras formas de expressão artística.
• Riscos de Inclusão Não Consensual: Ao favorecer imagens de mulheres (devido ao olhar masculino), o modelo pode, paradoxalmente, aumentar o risco de geração de imagens sexuais não consensuais (deepfakes, nudificação), exacerbando a violência contra mulheres na era da IA.
• Mudança de Paradigma na Avaliação: Os autores defendem que a comunidade de IA deve abandonar a busca por uma métrica universal de "estética". Em vez disso, deve-se adotar avaliações descritivas que especifiquem quais valores estéticos um modelo prioriza (ex: "fotorrealismo" ou "arte abstrata"), permitindo maior transparência e escolha por parte dos usuários e artistas.

Em suma, o artigo conclui que a avaliação de qualidade de imagem não é uma tarefa técnica neutra, mas um ato político e cultural que requer uma reavaliação crítica de como definimos "qualidade" nos sistemas de IA.