Evaluating Demographic Misrepresentation in Image-to-Image Portrait Editing

Este trabalho investiga como as instruções de edição de imagens geram resultados desiguais e enviesados demograficamente em editores de imagem, identificando falhas como o apagamento suave e a substituição por estereótipos, e propõe uma solução baseada em prompts para mitigar essas disparidades sem necessidade de atualizações no modelo.

O essencial

Imagine que você tem um fotógrafo de IA muito talentoso. Você chega até ele com uma foto sua e diz: "Por favor, tire uma foto minha vestindo um terno de executivo" ou "Mostre-me como eu ficaria com 30 anos a mais".

Você espera que o fotógrafo mude apenas o que você pediu (a roupa ou a idade), mantendo o seu rosto, sua cor de pele e sua identidade exatamente como são.

O que este paper descobriu é que, para muitas pessoas, esse fotógrafo não está prestando atenção no que você pediu. Em vez disso, ele está seguindo um "roteiro secreto" cheio de preconceitos, mudando quem você é de formas que você não pediu.

Aqui está a explicação simples do que os pesquisadores encontraram:

1. Os Dois Grandes Problemas (Os "Travessuras" da IA)

Os autores deram nomes engraçados para dois tipos de erros que a IA comete:

• O "Apagamento Suave" (Soft Erasure):
  Imagine que você pede para o fotógrafo colocar um chapéu na sua cabeça. Ele tira a foto, entrega a você, mas esqueceu o chapéu. A foto está lá, parece bonita, mas o pedido principal foi ignorado.

  • Na prática: A IA recusa silenciosamente pedidos que envolvem vulnerabilidade (como mostrar uma pessoa em uma cadeira de rodas ou com uma deficiência), apagando a característica que você pediu para adicionar.

• A "Troca por Estereótipo" (Stereotype Replacement):
  Imagine que você pede para se vestir como um "médico". Se você é uma mulher negra, a IA pode mudar sua foto para parecer uma mulher branca, porque o "roteiro secreto" dela diz que médicos são brancos.

  • Na prática: A IA não apenas muda a roupa, ela muda sua cor de pele, etnia ou gênero para se encaixar no que a sociedade (e a IA) acha que aquele papel deve ser. É como se a IA dissesse: "Você pediu para ser um CEO? Ok, vou te transformar em um homem branco, porque é assim que eu imagino um CEO."

2. O Grande Viés: "Tudo fica mais claro"

O estudo descobriu algo muito preocupante: a IA tem uma obsessão por clarear a pele.

• Se a pessoa na foto original tem a pele escura (negra, indígena, latina), a IA tende a deixar a pele muito mais clara na foto editada.
• Se a pessoa já é branca, a IA quase não muda nada.
• É como se a IA tivesse um "botão de clareamento" automático que só funciona para quem não é branco, tentando fazer todos parecerem mais próximos de um padrão branco europeu.

3. O Teste do "Espelho Mágico" (A Solução)

Os pesquisadores tentaram uma solução simples: em vez de apenas pedir "Vista-se como um CEO", eles ensinaram a IA a descrever a pessoa antes de editar.

• Antes: "Vista-se como um CEO." (A IA muda a pessoa).
• Depois: "Mantenha a pele marrom-escura, o nariz largo e o cabelo cacheado. Agora, vista essa pessoa como um CEO."

O resultado foi surpreendente:

• Para as pessoas brancas, quase não houve diferença (porque a IA já as tratava "corretamente" por padrão).
• Para as pessoas negras e de outras minorias, a IA parou de mudar a identidade delas. O "segredo" era que a IA só precisava ser lembrada de quem a pessoa era antes de começar a trabalhar.

4. O Que Isso Significa para o Mundo?

Este estudo é como um raio-X mostrando que a tecnologia de edição de fotos não é neutra.

• O Problema: A IA aprendeu preconceitos do mundo real e os aplica automaticamente. Ela "acha" que certas profissões ou situações só pertencem a certos tipos de pessoas.
• A Lição: Não podemos confiar cegamente nessas ferramentas para retratar pessoas reais, especialmente minorias. Elas podem apagar quem você é em nome de um "estilo" ou "estereótipo".
• A Esperança: Os pesquisadores mostraram que, com um pequeno ajuste no comando (o prompt), podemos corrigir grande parte desses erros sem precisar reprogramar a IA inteira. Mas o ideal é que os criadores dessas IAs corrijam isso de dentro, para que não precisemos ficar "segurando a mão" da máquina o tempo todo.

Em resumo: A IA de edição de fotos é como um assistente que, às vezes, decide que você não é quem você diz que é. Se você for uma pessoa negra pedindo para parecer um executivo, ela pode tentar te transformar em um executivo branco. O estudo nos ensina a exigir que a IA respeite a sua identidade original, não o preconceito dela.

Resumo técnico

1. Problema Investigado

Embora os vieses demográficos na geração de imagens a partir de texto (Text-to-Image ou T2I) sejam amplamente estudados, as falhas condicionadas à demografia na edição de imagens guiada por instruções (Image-to-Image ou I2I) permanecem pouco exploradas.

O problema central é que, ao utilizar editores de imagem de peso aberto (open-weight) para alterar atributos específicos de um retrato (ex: mudar a roupa para um uniforme profissional), os modelos frequentemente falham em preservar a identidade do sujeito de forma equitativa. Em vez disso, eles exibem dois modos de falha sistemáticos dependentes da demografia (raça, gênero e idade):

1. Soft Erasure (Apagamento Suave): A edição solicitada é ignorada ou realizada de forma muito fraca, resultando em uma imagem quase inalterada, sem que o modelo recuse explicitamente a tarefa.
2. Stereotype Replacement (Substituição por Estereótipo): A edição introduz atributos demográficos não solicitados que são consistentes com estereótipos sociais (ex: clareamento da pele, mudança de raça ou gênero para corresponder a um estereótipo de profissão).

Essas falhas levam a uma preservação de identidade desigual, onde grupos minoritários sofrem mais alterações indesejadas do que grupos majoritários, minando a confiança e amplificando danos representacionais.

2. Metodologia

Os autores propõem uma abordagem controlada e sistemática para diagnosticar e mitigar essas falhas:

• Benchmarks e Dados:

  • Utilização de 84 retratos extraídos do dataset FairFace, amostrados factorialmente para cobrir 7 raças, 2 gêneros e 6 faixas etárias.
  • Criação de um conjunto de 20 prompts diagnósticos divididos em duas categorias:
    • Estereótipos Ocupacionais: Para testar viés de gênero e raça em funções (ex: CEO, enfermeira, segurança).
    • Atributos de Vulnerabilidade: Para testar supressão de edições em contextos sensíveis (ex: deficiência, envelhecimento, situações de pobreza).
  • Escala Experimental: 5.040 imagens editadas geradas por 3 editores de I2I de peso aberto: FLUX.2-dev, Step1X-Edit-v1p2 e Qwen-Image-Edit-2511.

• Protocolo de Avaliação:

  • Avaliação Automática (VLM): Uso de dois Modelos de Linguagem Visuais (VLMs) independentes (Gemini 3.0 Flash e GPT-5-mini) para pontuar as saídas em escalas ordinais (1-5) em eixos específicos: Sucesso da Edição, Mudança de Tom de Pele, Mudança de Raça, Gênero e Idade.
  • Avaliação Humana: Validação em Prolific com 30 participantes e 1.000 amostras para correlacionar as pontuações dos VLMs com a percepção humana.

• Mecanismo de Mitigação (Feature Prompt):

  • Teste de uma intervenção no nível do prompt que adiciona restrições de identidade observáveis (ex: "mantenha a pele marrom-escura com tons quentes, rosto redondo") antes da instrução de edição.
  • Objetivo: Verificar se é possível mitigar falhas sem re-treinar ou ajustar os pesos do modelo.

• Experimento Suplementar:

  • Adaptação do benchmark WinoBias para testar especificamente a inferência de gênero baseada em ocupações, aplicando prompts de profissões a imagens de homens e mulheres para ver se o modelo "corrige" o gênero para o estereótipo.

3. Principais Contribuições

1. Formalização de Modos de Falha: Definição e caracterização sistemática de Soft Erasure e Stereotype Replacement como falhas distintas na edição I2I, diferenciando-as de recusas explícitas.
2. Benchmarks Controlados: Introdução de um benchmark padronizado que gera 5.040 imagens editadas para medir comportamentos condicionados à demografia, revelando padrões que benchmarks anteriores ignoraram.
3. Mitigação no Nível do Prompt: Demonstração de que a adição de prompts de características observáveis (Feature Prompts) reduz significativamente as alterações demográficas indesejadas sem a necessidade de atualizar os pesos do modelo.
4. Validação VLM-Humano: Evidência de forte alinhamento entre as avaliações de VLMs e humanos, sugerindo que a avaliação automatizada é uma alternativa escalável e confiável para detectar viés demográfico em edições.

4. Resultados Chave

• Soft Erasure Pervasivo: O modelo Step1X-Edit-v1p2 apresentou a menor taxa de sucesso na execução de edições, frequentemente ignorando solicitações, especialmente em contextos de vulnerabilidade.
• Disparidade Racial no Clareamento de Pele:
  • 62–71% de todas as edições resultaram em pele mais clara do que a imagem original.
  • O efeito é desproporcional: Sujeitos Negros e Indianos sofreram clareamento em 72–75% dos casos, comparado a 44% para sujeitos Brancos e 54% para Asiáticos do Leste.
  • A taxa de mudança de raça foi de 14% para Indianos versus apenas 1% para Brancos.
• Mitigação Assimétrica:
  • O uso de Feature Prompts reduziu drasticamente a mudança de raça para grupos não-brancos (ex: redução de 1,48 pontos na escala para sujeitos Negros), mas teve efeito negligenciável (0,06 pontos) para sujeitos Brancos.
  • Isso indica que os modelos possuem um "padrão implícito" (default) para características brancas; as restrições explícitas são necessárias principalmente para corrigir desvios em grupos minoritários.
• Estereótipos Gênero-Ocupação:
  • Em 84–86% dos casos, os modelos alteraram a apresentação de gênero para corresponder ao estereótipo da ocupação solicitada, ignorando o gênero original da imagem fonte.
• Trade-off: A aplicação de restrições de identidade (Feature Prompts) reduziu a mudança demográfica indesejada, mas também diminuiu ligeiramente o "Sucesso da Edição" (a capacidade de realizar a mudança visual desejada), indicando um compromisso entre fidelidade à identidade e liberdade estilística.

5. Significado e Impacto

Este trabalho estabelece que a preservação da identidade em editores de imagem I2I não é um problema uniforme, mas sim estruturalmente desigual, moldada por priores sociais implícitos nos dados de treinamento e nas arquiteturas de difusão.

• Responsabilidade: Os resultados sugerem que a carga de corrigir vieses não deve recair sobre o usuário (que precisa criar prompts complexos de preservação), mas sim sobre os desenvolvedores de modelos, que devem garantir que a preservação de identidade seja o comportamento padrão.
• Direção Futura: A pesquisa motiva a criação de sistemas de edição robustos demograficamente, a auditoria de dados de treinamento para equilíbrio demográfico e o desenvolvimento de funções de perda que priorizem a estabilidade da identidade.
• Ferramentas: A disponibilização do benchmark e do protocolo de avaliação permite medições reprodutíveis e incentiva o desenvolvimento de editores que respeitem a diversidade humana por padrão.

Em resumo, o artigo revela que, sem intervenções explícitas, os editores de imagem atuais tendem a homogeneizar retratos em direção a estereótipos majoritários (brancos, masculinos em certas profissões), apagando características minoritárias mesmo quando a intenção do usuário é apenas editar o contexto ou a roupa.