💻 computer science

Picturing Perceptions: An Open-Source Toolkit to Uncover Bias in Humans and Machines

Este artigo apresenta o PictoPercept, um kit de ferramentas de código aberto que utiliza comparações de escolha forçada visual contra dados reais de trabalho para medir e revelar vieses significativos, frequentemente divergentes, tanto no julgamento humano quanto em sistemas de IA em relação aos ganhos entre diferentes grupos demográficos.

Autores originais: Saurabh Khanna, Zhijun Chen, Chei Billedo, Jiayi Yan, Irene van Driel, Alex Barco Martelo, Hugo Moreda Cartagena, Haizea Gonzalez Atorrasagasti, Markel Adanez Perez, Daniela An, Qianyi Wang, Xinkangru

Publicado 2026-06-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Saurabh Khanna, Zhijun Chen, Chei Billedo, Jiayi Yan, Irene van Driel, Alex Barco Martelo, Hugo Moreda Cartagena, Haizea Gonzalez Atorrasagasti, Markel Adanez Perez, Daniela An, Qianyi Wang, Xinkangrui Gao, Lauren Taylor, Olga Eisele, Sindy Sumter

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar quem ganha mais dinheiro apenas olhando para o rosto deles. Você acertaria? Ou seu cérebro dependeria de estereótipos antigos, como um GPS quebrado que continua te enviando pelo caminho errado?

Este artigo apresenta uma nova ferramenta chamada PictoPercept (abreviação de "Picturing Perceptions") projetada para testar exatamente isso. É como um "detector de viés" que funciona tanto para humanos quanto para computadores.

Aqui está a história do que os pesquisadores fizeram e o que descobriram, explicada de forma simples:

O Problema: As Ferramentas Antigas Estavam Quebradas

Por anos, cientistas tentaram medir o viés usando questionários (perguntando diretamente às pessoas) ou testes de tempo de reação (medindo a rapidez com que as pessoas clicam em botões).

Questionários são como perguntar a alguém: "Você é racista?". A maioria das pessoas dirá "Não" porque querem manter uma boa imagem. É como perguntar a um ladrão se ele rouba; ele vai mentir.
Testes de reação são como um videogame onde você tem que classificar palavras rapidamente. Mas os computadores não têm "tempos de reação" da mesma forma que os humanos, então esses testes não podiam ser usados para verificar se uma IA era tendenciosa.
O Mapa Ausente: Nenhuma dessas ferramentas antigas verificava se os palpites das pessoas correspondiam à realidade. Elas apenas mediam se as pessoas preferiam o Grupo A ao Grupo B, sem perguntar: "O Grupo A é realmente mais rico ou mais pobre no mundo real?"

A Solução: Um Jogo Visual de "Escolha Forçada"

Os pesquisadores construíram o PictoPercept, um conjunto de ferramentas de código aberto (significa que qualquer pessoa pode usar gratuitamente).

O Jogo: Você vê dois rostos em uma tela. O comando pergunta: "Quem tem mais probabilidade de ter rendimentos mais altos?". Você deve escolher um. Você não pode dizer "Eu não sei".
O Truque: Os rostos são cuidadosamente combinados para que pareçam igualmente atraentes e confiáveis. A única diferença é a raça e o gênero.
O Mapa: Os pesquisadores compararam suas escolhas com dados reais do U.S. Bureau of Labor Statistics. Se os dados dizem que homens asiáticos são os que mais ganham, mas você continua escolhendo homens latinos como os que têm maiores rendimentos, a ferramenta calcula isso como um "índice de viés".

Eles testaram isso em 283 adultos americanos reais e também alimentaram o GPT-5, um poderoso modelo de IA, com as mesmas fotos exatas.

As Grandes Surpresas (Os Resultados)

1. O Ponto Cego do "Modelo de Minoria"
A maior surpresa foi sobre os asiáticos americanos.

A Realidade: De acordo acordo com dados governamentais, os asiáticos americanos são, na verdade, o grupo com os maiores rendimentos nos EUA.
A Percepção: As pessoas subestimaram dramaticamente seus ganhos. Mesmo quando confrontadas com rostos de homens e mulheres asiáticos, as pessoas supunham que eles ganhavam menos do que realmente ganham.
A Ironia: Até mesmo os participantes asiáticos no estudo subestimaram os rendimentos de seu próprio grupo. É como se todo o país tivesse um ponto cego para o sucesso desse grupo, talvez porque eles não sejam vistos o suficiente em cargos de liderança ou na mídia.

2. O Mito do "Ingroup" (Grupo de Pertencimento)
Muitas vezes pensamos que as pessoas sempre favorecem o seu próprio grupo (ex: pessoas brancas favorecendo pessoas brancas, pessoas negras favorecendo pessoas negras).

A Realidade: Isso não foi verdade para todos.
- Homens brancos mostraram favoritismo, superestimando os rendimentos de seu próprio grupo.
- Participantes asiáticos, no entanto, fizeram o oposto. Eles subestimaram significativamente o seu próprio grupo. Eles não apenas ignoraram o viés; eles realmente pensavam que seu próprio grupo ganhava menos do que ganha.
- Outros grupos (como negros e latinos) foram surpreendentemente precisos sobre seus próprios grupos, não mostrando um forte favoritismo ou viés.

3. A IA é Ainda Mais Tendenciosa
Quando testaram o GPT-5 (a IA), os resultados foram assustadores.

A IA não apenas imitou o viés humano; ela o amplificou.
A IA foi extremamente ruim ao julgar mulheres. Ela sistematicamente pensou que todos os grupos femininos ganhavam muito menos do que realmente ganham.
Ela pensou que todos os grupos masculinos ganhavam muito mais.
Embora os humanos tenham cometido erros, os erros da IA foram enormes, consistentes e extremos. É como um aluno que não apenas erra a resposta, mas erra por um fator de dez.

Por Que Isso Importa

O artigo argumenta que o viés não é apenas sobre "odiar" um grupo; é sobre ter um mapa distorcido da realidade.

Se você pensa que um grupo ganha menos do que ganha, você pode tratá-lo injustamente na contratação ou na concessão de empréstimos.
A ferramenta mostra que nossos cérebros (e nossos computadores) estão frequentemente operando com softwares desatualizados que não correspondem ao mundo real.

A Conclusão

PictoPercept é uma nova forma de código aberto de verificar se nossas percepções correspondem à realidade. Descobriu que:

Somos cegos para os altos rendimentos dos asiáticos americanos.
Não favorecemos sempre nossos próprios grupos; às vezes, subestimamos a nós mesmos.
Modelos de IA como o GPT-5 são atualmente muito mais tendenciosos do que os humanos, especialmente contra as mulheres.

Os autores sugerem que, antes de deixarmos a IA tomar grandes decisões (como quem recebe um empréstimo ou um emprego), precisamos de ferramentas como esta para verificar se a IA está olhando para o mundo através de um espelho de parque de diversões.

Resumo Técnico: Picturing Perceptions (PictoPercept)

Definição do Problema
O viés no julgamento humano e nos sistemas de inteligência artificial (IA) apresenta desafios críticos em domínios consequentes, como contratações, concessão de crédito e justiça criminal. As metodologias existentes para medir o viés sofrem de limitações fundamentais:

Medição do Viés Humano: As ferramentas tradicionais baseadas em questionários são textuais, explícitas e vulneráveis a efeitos de desejabilidade social. Elas frequentemente exigem instrumentos separados para diferentes dimensões (ex: gênero, etnia), tornando a avaliação interseccional ineficiente. Além disso, carecem de fundamentação na realidade demográfica, falhando em distinguir entre percepções precisas de desigualdades existentes e percepções distorcidas.
Medição do Viés de IA: A pesquisa atual de equidade em IA baseia o seu foco em auditorias algorítmicas e análises de conjuntos de dados, que são incompatíveis com os métodos de pesquisa de viés humano (como questionários ou o Teste de Associação Implícita). O Teste de Associação Implícita (IAT), embora eficaz para o viés implícito humano via tempos de reação, não pode ser aplicado a sistemas de IA, que carecem de tempos de reação semelhantes aos humanos ou operam através de mecanismos computacionais distintos.
A Lacuna: Existe uma falta de um framework unificado e de código aberto capaz de medir o viés tanto em humanos quanto em máquinas simultaneamente, fundamentado em benchmarks de nível populacional em vez de preferências relativas abstratas.

Metodologia: PictoPercept
Os autores apresentam o PictoPercept, um toolkit de código aberto projetado para medir o viés por meio de comparações visuais de escolha forçada fundamentadas em benchmarks de nível populacional.

Estímulos: O estudo utiliza 68 tentativas de escolha forçada (64 experimentais + 4 verificações de atenção) usando pares de fotografias faciais normadas do Chicago Face Database (CFD). As imagens são cuidadosamente equilibradas em covariáveis não focais (atratividade, confiabilidade, idade, dominância) para isolar efeitos demográficos.
Tarefa: Os participantes (tanto humanos quanto IA) visualizam pares de rostos e respondem à pergunta: "Qual pessoa é mais propensa a ter ganhos pessoais mais elevados?". Os participantes são instruídos a confiar em impressões iniciais para capturar o processamento do Sistema 1 (automático).
Benchmarking: Ao contrário das medidas tradicionais que geram índices relativos (ex: preferência pelo Grupo A sobre o B), o PictoPercept compara as seleções contra dados reais do U.S. Bureau of Labor Statistics (BLS) para a mediana de ganhos semanais em oito categorias demográficas (Masculino/Feminino × Asiático/Negro/Latino/Branco).
Cálculo de Viés:
- Pontuação de Viés Baseada na Realidade: Calculada como a diferença entre a probabilidade de seleção observada ( $P_{observada}$ $P_{o b ser v a d a}$ ) e a probabilidade de seleção esperada ( $P_{esperada}$ $P_{es p er a d a}$ ) derivada dos dados reais de ganhos.
  - $P_{esperada}(i|i, j) = \frac{Ganhos_i}{Ganhos_i + Ganhos_j}$
  - $Viés_{realidade}(i) = P_{observada}(i) - P_{esperada}(i)$
- Pontuações positivas indicam superestimação dos ganhos de um grupo em relação à realidade; pontuações negativas indicam subestimação.
Participantes:
- Humanos: Uma amostra nacionalmente representativa de 283 adultos dos EUA recrutados via Prolific Academic.
- IA: O modelo de linguagem-visão GPT-5 (OpenAI) foi testado utilizando o mesmo par de imagens experimentais de 64. O modelo foi executado 100 vezes por tentativa para garantir estabilidade, sendo que a maioria das respostas foi utilizada para a análise.

Resultos Principais
O estudo validou o PictoPercept como um instrumento psicometricamente sólido (confiabilidade de divisão de metades $r_{sb} = 0,779$ ) e revelou três descobertas primárias:

Percepção Errónea Sistemática de Ganhos:
- Os participantes subestimaram dramaticamente os ganhos de asiáticos americanos, apesar de este grupo possuir os maiores ganhos reais nas estatísticas trabalhistas dos EUA (Asiático Masculino: \ $1.759; Asiático Feminino: \$ 1.363).
- Inversamente, os participantes superestimaram os ganhos de latinos masculinos e brancos masculinos.
- Mulheres negras também foram significativamente subestimadas.
Heterogeneidade do Favoritismo de Endogrupo:
- O favoritismo de endogrupo não foi universal. Participantes brancos do sexo masculino mostraram um claro viés de endogrupo (superestimando os ganhos de seu próprio grupo).
- Em contraste, participantes asiáticos demonstraram um significativo viés de endogrupo negativo, subestimando significativamente os ganhos tanto de homens asiáticos quanto de mulheres asiáticas. Isso sugere uma falta de consciência sobre o sucesso econômico de seu próprio grupo, mesmo dentro da comunidade.
- Mulheres brancas, participantes negros e latinos mostraram percepções próximas da realidade ou viés de endogrupo mínimo.
Amplificação de Viés pela IA:
- O GPT-5 exibiu vieses substancialmente mais fortes do que os participantes humanos.
- A IA mostrou uma subestimação sistemática extrema de todos os grupos femininos e uma superestimação de todos os grupos masculinos.
- A magnitude do viés da IA, particularmente em relação ao gênero, excedeu as médias humanas, com latinos masculinos recebendo a superestimação mais extrema (Pontuação de Viés > 1,0).

Significância e Contribuições
O artigo reivindica várias contribuições teóricas e práticas:

Avanço Metodológico: O PictoPercept oferece um framework unificado para avaliar o viés tanto em humanos quanto em IA. Ao utilizar estímulos visuais e tarefas de escolha forçada, ele captura processos implícitos e automáticos (Sistema 1), reduzindo os efeitos de desejabilidade social inerentes aos questionários textuais.
Interseccionalidade: A ferramenta permite a avaliação simultânea de múltiplas dimensões que se interceptam (gênero e etnia) sem a necessidade de blocos de teste separados, abordando as limitações de designs fatoriais como o IAT.
Fundamentação na Realidade: Ao ancorar as medições em estatísticas populacionais objetivas (dados do BLS), o framework distingue entre a percepção precisa da desigualdade e a distorção enviesada. Isso permite o cálculo da direção do viés (superestimação/subestimação) e sua magnitude em relação à verdade fundamental.
Ciência Aberta: Como um toolkit de código aberto, o PictoPercept promove a reprodutibilidade e o desenvolvimento de conhecimento cumulativo, superando as limitações de ferramentas de medição proprietárias e de código fechado.
Implicações para a IA: Os achados sugerem que modelos de IA de última geração podem não apenas espelhar, mas amplificar estereótipos humanos, particularmente em relação ao gênero. Isso desafia a suposição de que a IA fornece uma alternativa neutra ao julgamento humano em processos de tomada de decisão de alto risco.

Os autores concluem que o PictoPercept possibilita uma abordagem mais eficiente, integrada e empiricamente fundamentada para a medição de viés, revelando percepções sistemáticas que divergem da realidade demográfica e destacando a necessidade de auditorias rigorosas de sistemas de IA antes de sua implementação em domínios consequentes.