Evaluating AI-Generated Images of Cultural Artifacts with Community-Informed Rubrics

1. Problema e Motivação

O artigo aborda a falha sistemática dos sistemas de Inteligência Artificial Generativa (especificamente modelos de texto-para-imagem) em representar adequadamente culturas marginalizadas e artefatos culturais específicos. Embora existam benchmarks padronizados para avaliar esses modelos, eles frequentemente falham em contextos de baixa densidade de dados ou culturas não ocidentais, perpetuando estereótipos, apagamento cultural e representações imprecisas.

O problema central identificado é a tensão entre a necessidade de automatizar a medição (para escalabilidade e repetibilidade) e a capacidade de capturar a expertise e as perspectivas das comunidades impactadas. As abordagens atuais de avaliação muitas vezes ignoram o conhecimento de "experiência vivida" (lived-experience expertise) das comunidades cujas culturas estão sendo representadas, levando a métricas de validade questionável.

2. Metodologia

Os autores propõem um framework que integra a teoria de medição das ciências sociais (especificamente o trabalho de Adcock e Collier) com a prática de avaliação de IA. O processo é dividido em três etapas, com foco especial na fase de sistematização envolvendo a comunidade:

A. Seleção de Comunidades e Artefatos

O estudo envolveu três comunidades distintas:

1. Pessoas Cegas e com Baixa Visão (BLV) no Reino Unido.
2. Residentes de Kerala, Índia.
3. Residentes de Tamil Nadu, Índia.

Foram selecionados artefatos culturais significativos para cada grupo:

• BLV: Cajudo guia (guide cane) e máquina de anotação em Braille (braille notetaker).
• Kerala: Saree Kasavu e Barco Chundan Vallam (snake boat).
• Tamil Nadu: Jogo Pallanguzhi e Instrumento Mridangam.

B. Sistematização (Engajamento da Comunidade)

Em vez de usar apenas especialistas técnicos, os pesquisadores conduziram workshops síncronos com membros das comunidades para:

1. Examinar Imagens: Os participantes avaliaram imagens geradas por IA (usando modelos como DALL·E 3, Stable Diffusion 3) e fotos reais.
2. Definir Critérios: Os participantes identificaram quais características visuais tornavam uma representação "culturalmente apropriada" ou ofensiva.
3. Criar Rubricas: A partir dessas discussões, foram desenvolvidas rubricas binárias (Sim/Não) organizadas em temas (ex: funcionalidade, reconhecibilidade, não confusão com objetos hegemônicos).
   • Exemplo: Para o cajudo guia, um critério crucial era que ele não deveria parecer um "bastão de caminhada" (usado por pessoas videntes), mas sim ter características funcionais específicas para cegos.

C. Operacionalização (MLLM-as-a-Judge)

O objetivo foi testar se essas rubricas informadas pela comunidade poderiam ser aplicadas automaticamente.

• Abordagem: Utilização de um Modelo de Linguagem Multimodal (MLLM), especificamente o GPT-4o, atuando como "juiz".
• Processo: O MLLM recebe a imagem e a rubricas textuais, avaliando se cada critério é atendido (1 = sim, 0 = não).
• Validação: As avaliações do MLLM foram comparadas com anotações manuais feitas por pesquisadores e com os julgamentos majoritários dos participantes dos workshops.

3. Contribuições Principais

1. Framework de Engajamento Comunitário: Demonstração prática de como envolver comunidades marginalizadas na fase de "sistematização" (definição do conceito) antes da operacionalização técnica, garantindo que as métricas reflitam valores e conhecimentos locais.
2. Rubricas de Alta Fidelidade Cultural: Criação de conjuntos de critérios detalhados que capturam nuances que modelos de IA padrão ignoram (ex: a necessidade de o teclado de uma máquina Braille ser tátil e não ter tela, ou a presença específica de membranas pretas em tambores Mridangam).
3. Análise Comparativa (Comunidade vs. LLM): Evidência de que rubricas geradas automaticamente por LLMs (sem input humano) frequentemente contêm erros factuais, omissões de detalhes críticos ou refletem mal-entendidos culturais, enquanto as rubricas informadas pela comunidade são mais precisas e normativamente alinhadas.
4. Avaliação da Viabilidade do MLLM-as-a-Judge: Uma análise crítica sobre até que ponto os MLLMs atuais conseguem aplicar essas rubricas complexas, identificando onde a automação falha (ex: critérios que exigem inferência de material ou arranjo espacial complexo).

4. Resultados

A. Eficácia das Rubricas

• As rubricas desenvolvidas com a comunidade alinharam-se com mais de 80% dos julgamentos majoritários dos participantes nos workshops, validando que o conhecimento qualitativo pode ser traduzido em critérios quantitativos.
• As rubricas revelaram que a maioria das imagens geradas por modelos de ponta (State-of-the-Art) são culturalmente inadequadas. Por exemplo, apenas 40% das imagens de "cajudo guia" foram consideradas apropriadas, enquanto 0% das imagens de "Chundan Vallam" atenderam a todos os critérios.

B. Desempenho do MLLM-as-a-Judge

• Acordo Geral: Houve um acordo de 78% a 88% entre as anotações humanas e as do MLLM na classificação final de "apropriado/inapropriado".
• Viés de Superestimação: O MLLM tendiu a superestimar a adequação cultural (classificar imagens inadequadas como apropriadas) em 5 dos 6 artefatos.
• Limitações por Critério: O desempenho variou drasticamente dependendo da complexidade do critério:
  • Alta Precisão: Critérios visuais simples (ex: "o cabo deve ser branco") tiveram acordos de ~98%.
  • Baixa Precisão: Critérios que exigem inferência de material, textura ou arranjo espacial complexo (ex: "a membrana preta do tambor deve ser de couro de cabra" ou "o arranjo dos buracos no jogo Pallanguzhi") tiveram acordos abaixo de 50%, muitas vezes pior que o acaso.
• Comparação com Rubricas Automáticas: Rubricas geradas automaticamente por LLMs frequentemente falharam em capturar a essência funcional dos artefatos (ex: sugerir que uma máquina Braille tivesse uma tela de visualização, o que é inacessível para cegos).

5. Significado e Conclusão

O artigo conclui que a participação comunitária é essencial para definir métricas válidas de representação cultural, especialmente para artefatos de "cauda longa" (long-tail) que não são bem representados nos dados de treinamento dos modelos.

• Valor da Participação: A expertise de experiência vivida preenche lacunas epistêmicas que os modelos pré-treinados não conseguem capturar sozinhos.
• Desafios da Automação: Embora a automação (MLLM-as-a-Judge) seja promissora para escalabilidade, ela ainda não é totalmente confiável para critérios sutis ou culturalmente específicos. A automação pura sem a sistematização humana pode levar a medições inválidas.
• Caminho Futuro: Os autores sugerem um modelo híbrido onde a comunidade define os critérios (sistematização) e os MLLMs são usados para aplicação em escala, mas com a necessidade contínua de refinar os critérios para torná-los mais legíveis para a máquina e de desenvolver métodos para lidar com a discordância dentro das próprias comunidades.

Em suma, o trabalho oferece um caminho prático para tornar a avaliação de IA mais justa e culturalmente sensível, deslocando o foco de benchmarks genéricos para medições informadas pelos próprios sujeitos representados.