Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

Imagine que você tem um robô artista mágico e super inteligente. Você pode dizer a ele: "Desenhe uma pessoa almoçando", ou "Desenhe duas pessoas estudando juntas", e ele criará uma imagem instantaneamente. É isso que o Text-to-Image AI (IA de Texto para Imagem) faz.

No entanto, este artigo argumenta que esse robô artista não é apenas uma tela em branco. Ele foi treinado com milhões de imagens da internet e, infelizmente, aprendeu algumas regras muito antigas e muito prejudiciais sobre como as pessoas devem ser tratadas com base em sua origem. Especificamente, os pesquisadores investigaram como esta IA lida com a casta no Sul da Ásia (um sistema de hierarquia social na Índia).

Aqui está o detalhamento de suas descobertas em termos simples:

1. A Maneira Antiga de Olhar para o Problema

Pesquisadores anteriores tratavam a casta como uma caixa de seleção (checkbox). Eles pensavam que a IA era tendenciosa porque via um nome como "Sharma" (frequentemente de casta alta) e desenhava uma pessoa rica, ou via um nome como "Kumar" (frequentemente de casta baixa) e desenhava uma pessoa pobre. Eles pensavam que o problema era apenas sobre rótulos.

A Nova Ideia do Artigo:
Os autores dizem que isso é simples demais. A casta não é apenas um rótulo em uma etiqueta de identificação; é um relacionamento. É como um roteiro que diz às pessoas quem elas são em relação aos outros. A IA não está apenas rotulando incorretamente as pessoas; ela está encenando um roteiro profundo e invisível que decide quem merece dignidade e quem merece servir.

2. O Experimento do "Espelho Mágico"

Para testar isso, os pesquisadores não pediram apenas para a IA desenhar "um Brahmin" ou "um Dalit". Em vez disso, pediram que ela desenhasse cenas cotidianas usando nomes que eram:

• Claramente de casta alta.
• Claramente de casta baixa.
• Ambíguos (nomes que poderiam ser de qualquer um).
• Sem sobrenome (apenas um primeiro nome).

Eles pediram para a IA desenhar essas pessoas fazendo coisas normais: comendo, estudando, rezando ou trabalhando em um bairro.

3. O Que o Robô Artista Realmente Desenhou

A IA não apenas errou os nomes. Ela criou um universo moral onde algumas pessoas eram "puras" e "dignas", e outras eram "sujas" e "úteis apenas para o trabalho".

Os pesquisadores descobriram três formas principais pelas quais a IA impõe esse viés:

• O Filtro de "Valor do Corpo" (Moralidade Corporal):

  • A Analogia: Imagine uma balança que pesa sua alma.
  • O que aconteceu: Quando a IA desenhava nomes de casta alta ou ambíguos, ela os mostrava sentados em salas limpas e espaçosas, estudando em bibliotecas ou apenas parados com aparência digna. Eles não estavam "fazendo" nada.
  • O Viés: Quando a IA desenhava nomes de casta baixa ou ambíguos, ela quase sempre os mostrava trabalhando. Mesmo que o comando (prompt) não pedisse um emprego, a IA lhes dava uma vassoura, um cesto de peixes ou uma ferramenta de limpeza. A IA decidiu que esses corpos eram valiosos apenas se fossem úteis para os outros. A IA assumiu que eles mereciam ser pobres ou trabalhadores, enquanto outros mereciam o conforto.

• O Filtro de "Círculo Social" (Relação Social):

  • A Analogia: Imagine uma festa onde alguns convidados são permitidos entrar na casa, mas outros devem ficar do lado de fora na lama.
  • O que aconteceu: Quando a IA desenhava pessoas comendo juntas, ela frequentemente as separava. A pessoa "superior" era mostrada em uma casa limpa e privada, sem ninguém por perto (protegendo sua "pureza"). A pessoa "inferior" era mostrada comendo na rua, em um barraco ou em uma área crowded (lotada) e suja.
  • O Viés: A IA se recusava a imaginar pessoas de diferentes origens misturando-se livremente. Ela reforçava a ideia de que certas pessoas são "puras demais" para estarem perto de outros, ou "sujas demais" para estarem no mesmo espaço.

• O Filtro de "Cenário" (Relação Material-Espacial):

  • A Analogia: Imagine um set de filmagem onde os personagens ricos ganham uma mansão, e os personagens pobres ganham uma caixa de papelão, mesmo que o roteiro não diga isso.
  • O que aconteceu: A IA colocava personagens de casta baixa em ambientes específicos e restritos. Por exemplo, desenhou uma pessoa de casta baixa em uma vila com uma placa dizendo "Bhangi Colony" (uma área segregada para trabalhadores de saneamento) ou a mostrou em uma casa improvisada.
  • O Viés: A IA não mostrou apenas pobreza; ela mostrou segregação. Ela criou um mundo onde o trabalho "sujo" e os lugares "sujos" são as únicas opções para certas pessoas, efetivamente prendendo-as lá na imagem.

4. A Grande Surpresa: Isso Aconteceu Mesmo Sem Nomes

A parte mais chocante do estudo foi que a IA fez isso mesmo quando os nomes eram ambíguos ou não tinham sobrenomes.

• Se você desse à IA um nome que poderia pertencer a qualquer pessoa, ela ainda "adivinhava" o ranking social da pessoa com base no que ela achava que a pessoa deveria estar fazendo.
• Ela atribuiu os trabalhos "sujos" e os bairros "sujos" para pessoas que não tinham um rótulo de casta claro.
• A Lição: A IA não está apenas olhando para nomes; ela aprendeu uma ordem moral. Ela aprendeu um conjunto de regras que diz: "Este tipo de corpo pertence na cozinha limpando banheiros, e aquele tipo de corpo pertence na biblioteca lendo livros".

5. Por Que Isso Importa (O "Porquê" por Trás do "O Quê")

Os autores argumentam que o problema não é apenas que a IA é "tendenciosa" de uma forma simples. O problema é que a IA absorveu a Normatividade Brahminica.

• Tradução Simples: Esta é uma maneira sofisticada de dizer que a IA aprendeu as "configurações padrão" de uma sociedade onde um grupo é considerado superior e puro, e todos os outros são considerados inferiores e impuros.
• A IA não está apenas refletindo a realidade; ela está reforçando a ideia de que essa hierarquia é natural e moral. Ela faz parecer que é "correto" que alguns sejam limpadores e outros sejam chefes.

6. O Que os Autores Querem Que Aconteça

O artigo conclui que não podemos consertar isso apenas adicionando mais "dados justos" ou dizendo à IA para "ser legal".

• Precisamos parar de pensar na casta apenas como uma categoria (como uma caixa de seleção).
• Precisamos entendê-la como um relacionamento e um sistema moral.
• Para consertar a IA, precisamos desafiar a ideia de que algumas pessoas são naturalmente "dignas" de conforto e outras são naturalmente "dignas" apenas de trabalho. Precisamos ensinar à IA que a dignidade não é algo que você conquista pelo seu trabalho ou seu nome; é algo que todos possuem.

Em resumo: O robô artista não está apenas cometendo erros; ele está agindo como um livro de regras rígido e antigo que diz que algumas pessoas são "boas demais" para fazer certas coisas, e outras são "boas apenas" para o trabalho sujo. Os autores querem que percebamos isso e reescrevamos o livro de regras.