Digital Skin, Digital Bias: Uncovering Tone-Based Biases in LLMs and Emoji Embeddings

Título: Digital Skin, Digital Bias: Revelando Vieses Baseados em Tom de Pele em LLMs e Embeddings de Emojis

1. Problema e Motivação

Os emojis com tons de pele são fundamentais para a identidade pessoal e a inclusão social na comunicação digital. Desde 2015, o Unicode introduziu modificadores de tom de pele baseados na Escala de Fitzpatrick para permitir que os usuários personalizem emojis. No entanto, à medida que os Modelos de Linguagem de Grande Escala (LLMs) e modelos de incorporação (embeddings) se tornam a infraestrutura que media as interações na web, surge uma preocupação crítica: esses sistemas perpetuam vieses sociais através da representação desses símbolos?

O problema central é que, embora os modelos modernos possam "suportar" tecnicamente esses emojis, isso não garante uma representação justa ou equitativa. Existem duas lacunas principais investigadas:

1. Lacuna de Suporte: Modelos de embedding estáticos tradicionais podem não suportar ou sub-representar variantes de tons de pele.
2. Lacuna de Justiça (Fairness): Mesmo em LLMs modernos que processam todos os tons, as representações internas (embeddings) podem conter desvios semânticos, associações sentimentais distorcidas e vieses associativos (ex: associar tons de pele mais escuros a conceitos negativos).

2. Metodologia

Os autores realizaram o primeiro estudo comparativo em larga escala, analisando 9 modelos de embedding estáticos (como emoji2vec, emoji-sw2v, FastText, GloVe, BERT) e 4 LLMs modernos (Llama, Gemma, Qwen, Mistral).

A metodologia foi dividida em três etapas principais:

• A. Avaliação de Cobertura e Tokenização:

  • Verificaram a capacidade dos modelos de reconhecer e representar todos os 2.735 emojis com modificadores de tom de pele.
  • Analisaram a estatística de tokenização para identificar assimetrias computacionais (quantos tokens são necessários para representar cada modificador).

• B. Medição de Similaridade Semântica:

  • Alinhamento Emoji-Texto: Mediram a distância semântica entre o emoji e sua descrição textual (ex: "mão levantada") usando Cosine Distance (para representações agregadas) e Word Mover's Distance (WMD) (para representações discretas de sequências).
  • Consistência Interna: Utilizaram visualização t-SNE para observar como as variantes de tons de pele se agrupam no espaço vetorial em relação ao emoji padrão (amarelo).
  • Similaridade Pareada: Analisaram heatmaps de distância coseno entre pares de tons de pele para detectar desvios sistemáticos.

• C. Quantificação de Vieses:

  • RND (Relative Norm Distance): Mede se palavras neutras estão mais próximas de um grupo de tons de pele do que de outro.
  • WEAT (Word Embedding Association Test): Testa associações implícitas entre grupos de tons de pele e atributos de "Bom" vs. "Ruim" (baseado em emojis e palavras).
  • RNSB (Relative Negative Sentiment Bias): Quantifica a distribuição desigual de sentimento negativo entre as variantes de uma mesma profissão (ex: emojis de médicos com diferentes tons de pele).

3. Principais Contribuições

1. Benchmark Transversal: Primeira comparação abrangente entre modelos estáticos legados e LLMs modernos, revelando grandes lacunas de representação nos sistemas antigos.
2. Descoberta de Assimetria de Tokenização: Identificaram um viés oculto no nível de tokenização em LLMs, onde certos tons (especialmente o tom de pele mais escuro) exigem mais tokens para serem codificados em alguns modelos (ex: Mistral), resultando em custos computacionais e de API desproporcionais.
3. Evidência de Desvio Semântico: Demonstraram que modificadores de tom de pele induzem mudanças semânticas consistentes, mesmo em modelos modernos, alterando o alinhamento entre o emoji e seu significado textual.
4. Métricas Adaptadas: Adaptaram métricas estabelecidas de detecção de viés em texto (RND, WEAT, RNSB) para o domínio de emojis, fornecendo evidências estatísticas de danos representacionais.

4. Resultados Chave

• Suporte e Tokenização:

  • Modelos estáticos (como FastText e GloVe) têm suporte quase nulo ou muito limitado para emojis com modificadores de tom.
  • LLMs suportam todos os emojis, mas com eficiência variada. O modelo Mistral mostrou um viés crítico: o modificador de tom de pele mais escuro requer 5 tokens, enquanto outros modelos (Gemma, Qwen) usam apenas 1 token para todos os modificadores. Isso cria uma "iniquidade fundacional" onde a representação de identidades marginalizadas é computacionalmente mais cara.

• Alinhamento Semântico:

  • Em modelos como Gemma, há um desvio semântico onde tons de pele mais escuros têm um alinhamento mais fraco com a descrição textual em comparação com tons claros.
  • Em Qwen, observa-se uma tendência oposta, onde o alinhamento melhora conforme o tom escurece.

• Agrupamento (Clustering) e Vieses Associativos:

  • Gemma demonstrou a maior equidade, agrupando todas as variantes de pele próximas ao emoji padrão (baseado no significado).
  • Llama e Mistral mostraram agrupamento baseado em tom de pele, onde tons mais escuros se distanciam significativamente do padrão, sugerindo que o modelo trata a cor da pele como uma característica semântica separadora, não apenas estilística.
  • WEAT e RNSB:
    • Modelos como Llama e Qwen tendem a associar tons de pele mais claros a conceitos "Bons" e tons mais escuros a conceitos "Ruins" em contextos profissionais.
    • O modelo Mistral apresentou um comportamento inverso em alguns testes, associando tons claros a atributos negativos, indicando que os vieses não são uniformes entre os modelos, mas sistêmicos.
    • O RNSB revelou que o modelo Qwen distribui o sentimento negativo de forma extremamente desigual, sobrecarregando as variantes de pele escura e padrão com mais negatividade do que os tons intermediários.

5. Significado e Conclusão

O estudo conclui que o suporte técnico a emojis com tons de pele não é sinônimo de justiça algorítmica.

• Impacto: À medida que os LLMs se tornam a base da infraestrutura da web, esses vieses representacionais correm o risco de perpetuar desigualdades sociais em escala global, reforçando estereótipos raciais e de gênero.
• Recomendações: Os autores defendem que desenvolvedores e plataformas devem ir além do simples suporte e adotar medidas ativas de mitigação, como:
  • Normalização de Tokenização: Garantir que todos os modificadores de tom de pele tenham o mesmo custo computacional.
  • Aumento de Dados Contrafactuais: Treinar modelos com dados que corrijam as associações sentimentais e semânticas distorcidas.

Em suma, a "pele digital" carrega "vieses digitais", e a equidade na representação de identidades humanas exige uma auditoria rigorosa e contínua dos fundamentos dos modelos de IA.