EmergencyBias: Bias in Text-to-Image Models under Emergency Scenarios

Imagine que você acabou de pegar uma câmera mágica que não tira fotos do mundo como ele é, mas sim pinta quadros baseados em suas palavras. Se você disser "um chef", ela pode desenhar um homem; se disser "uma enfermeira", ela pode desenhar uma mulher. É assim que os modelos modernos de Texto-para-Imagem (T2I) funcionam: eles são artistas incrivelmente inteligentes que transformam frases em visuais deslumbrantes. Mas aqui está o problema: esses artistas foram treinados em uma pilha gigante de fotos antigas da internet, e essa pilha está cheia de estereótipos. Por muito tempo, cientistas têm verificado se esses pintores digitais erram o "quem" — como desenhar apenas homens como médicos ou apenas mulheres como enfermeiras. Eles têm observado o elenco estático de personagens na imagem. Mas e se o problema real não for apenas quem está na sala, mas o que eles estão fazendo? E se a câmera decidir que, quando as coisas dão errado, apenas certas pessoas são corajosas o suficiente para ajudar, enquanto outras apenas ficam paradas observando? Esta é a nova fronteira do viés: não apenas quem aparece, mas quem age, quem reage e quem tem o direito de ser o herói.

Entra em cena uma equipe de pesquisadores da Universidade de Fudan que decidiu colocar esses artistas de IA ao teste definitivo: a sala de emergência. Eles cunharam um novo termo, EmergencyBias, para descrever um tipo de preconceito sorrateiro que acontece quando a IA é solicitada a desenhar uma crise, como um acidente de carro ou um incêndio. Eles queriam ver se a IA decidiria automaticamente que os homens são aqueles que correm para salvar o dia, enquanto mulheres, idosos ou pessoas com tons de pele mais escuros são aqueles que precisam ser salvos ou apenas ficam assistindo.

Para descobrir, eles não apenas pediram à IA para desenhar uma cena aleatória; eles montaram um experimento massivo e sistemático. Eles criaram seis diferentes cenários de alto risco, variando de alguém se afogando em um rio a um acidente em uma plataforma de metrô. Eles pediram a sete dos modelos de IA mais avançados do mundo para desenhar essas cenas. Primeiro, deram aos modelos prompts "em branco" — apenas "uma pessoa cai em uma plataforma de metrô" — para ver em quem a IA defaultizava. Depois, deram prompts "controlados", dizendo explicitamente à IA: "Desenhe uma espectadora feminina" ou "Desenhe uma pessoa idosa em crise", para ver se a IA ainda a trataria de forma diferente em suas ações.

Os resultados foram como assistir a um truque de mágica onde o mágico acidentalmente revela o segredo: os modelos de IA eram, de fato, enviesados, e o viés piorava quando a situação ficava assustadora. Quando os prompts eram em branco, a IA escolhia predominantamente homens para serem tanto os que estavam em perigo quanto os que estavam ajudando, enquanto os idosos eram quase invisíveis, aparecendo em menos de 8% dos papéis de "em crise". Mas o verdadeiro choque veio quando eles controlaram a demografia. Mesmo quando diziam explicitamente à IA, "Desenhe uma espectadora feminina", o modelo ainda fazia com que ela fosse menos propensa a realmente ajudar em comparação a um espectador masculino. A IA parecia ter um roteiro oculto onde homens são os socorristas ativos e mulheres são as observadoras passivas, independentemente do que o prompt dizia. Isso não era apenas um pequeno erro; a diferença no comportamento de "ajuda" entre gêneros foi o viés mais pronunciado que encontraram.

Os pesquisadores também testaram uma nova correção leve chamada ActionAlign. Pense nisso como um treinador pequeno e invisível sussurrando instruções para o artista de IA logo antes de ele começar a pintar, dando um empurrãozinho para quebrar seus maus hábitos sem apagar seu talento artístico. Eles compararam isso a um método mais óbvio de apenas adicionar palavras "éticas" ao prompt (como dizer "seja justo"). Os resultados mostraram que o ActionAlign era muito melhor em corrigir o comportamento. Em um dos modelos, ele reduziu o viés no comportamento de ajuda em impressionantes 78,14%, sem quase tocar na qualidade da imagem. Isso sugere que você não pode apenas dizer a uma IA para "ser legal" com algumas palavras; às vezes, você precisa treinar seu senso interno de como diferentes pessoas devem agir em uma crise.

Em resumo, este artigo sugere que nossos artistas de IA não estão apenas copiando quem está na sala; eles também estão copiando quem eles acham que deveria ser o herói. Mesmo quando forçamos eles a desenhar uma pessoa específica, eles ainda lutam para imaginar essa pessoa tomando uma atitude. A boa notícia é que, com um pouco de ajuste inteligente, podemos ensinar esses modelos a escrever um roteiro mais justo para todos, garantindo que, nas emergências digitais do futuro, os heróis se pareçam com todos nós.