Digital Skin, Digital Bias: Uncovering Tone-Based Biases in LLMs and Emoji Embeddings

Titel: Digitale Huid, Digitale Bias: Blootleggen van Op Toon Gebaseerde Vooroordelen in LLM's en Emoji-Embeddings

1. Het Probleem

Emoji's met huidskleuren zijn essentieel voor het uitdrukken van persoonlijke identiteit en sociale inclusie in digitale communicatie. Hoewel de Unicode-standaard sinds 2015 vijf huidskleurenmoficiërs (gebaseerd op de Fitzpatrick-schaal) ondersteunt, is er onzekerheid over hoe AI-modellen deze symbolen verwerken.
Het centrale probleem is dat Large Language Models (LLM's) en statische embedding-modellen deze huidskleuren mogelijk niet eerlijk of consistent representeren. Hoewel moderne LLM's technisch gezien in staat zijn om deze emoji's te tokeniseren, bestaat er geen garantie dat hun interne representaties vrij zijn van sentimentele schuivingen, semantische inconsistenties of associatieve vooroordelen (bijv. het koppelen van donkere huidskleuren aan negatieve concepten). Bestaande statische modellen missen vaak zelfs de ondersteuning voor deze varianten volledig.

2. Methodologie

De auteurs voeren een grootschalige vergelijkende studie uit tussen twee klassen van modellen:

• Statische Embedding-modellen: Negen modellen, waaronder emoji2vec, emoji-sw2v, FastText, GloVe en BERT. Deze genereren vaste vectoren voor elk woord/emoji.
• Moderne LLM's: Vier state-of-the-art modellen (Llama-3.2, Gemma-2, Qwen-2, en Mistral-v0.3). Deze genereren dynamische, contextbewuste embeddings via subword-tokenizers.

Analysefasen:

1. Coverage & Tokenisatie: Evaluatie van hoeveel huidskleur-varianten elk model ondersteunt en analyse van de tokenisatie-efficiëntie (aantal tokens per emoji).
2. Semantische Impact:
   • Emoji-Text Alignement: Meting van de semantische afstand tussen een emoji en zijn tekstuele beschrijving (bijv. "OK-hand") via Cosine Distance en Word Mover's Distance (WMD).
   • Interne Consistentie: t-SNE visualisaties om te zien of varianten van dezelfde emoji (verschillende huidskleuren) dicht bij elkaar clusteren op basis van betekenis of juist gescheiden worden op basis van huidskleur.
3. Bias-metingen: Toepassing van gevestigde NLP-metrics op emoji-embeddings:
   • RND (Relative Norm Distance): Meet of neutrale woorden dichter bij de centroid van lichte of donkere huidskleuren liggen.
   • WEAT (Word Embedding Association Test): Meet impliciete associaties tussen huidskleuren en "Goede" vs. "Slechte" attributen (of beroepsrollen).
   • RNSB (Relative Negative Sentiment Bias): Kwantificeert de ongelijkheid in de verdeling van negatief sentiment over verschillende huidskleurvarianten.

3. Belangrijkste Bijdragen

• Eerste Benchmark: De eerste cross-family vergelijking van ondersteuning voor huidskleur-emoji's over negen statische modellen en vier LLM's.
• Tokenisatie-Asymmetrie: Ontdekking van een nieuw bias-dimension: bepaalde modellen (zoals Mistral) vereisen significante meer tokens om donkere huidskleuren te coderen dan lichte, wat leidt tot hogere rekenkosten en latentie voor specifieke demografische groepen.
• Semantische Verschuiving: Aantonen dat zelfs in moderne LLM's de toevoeging van een huidskleur-moficiër leidt tot consistente semantische verschuivingen, waardoor de betekenis van de emoji verandert afhankelijk van de huidskleur.
• Aangepaste Metrics: De eerste toepassing van RND, WEAT en RNSB specifiek voor de emoji-domein om kwantitatief bewijs te leveren van representatieve schade.

4. Resultaten

• Kloof in Ondersteuning: Statische modellen (zoals FastText en GloVe) hebben ernstige tekortkomingen en ondersteunen vaak minder dan 5 huidskleur-varianten. LLM's bieden daarentegen volledige ondersteuning dankzij hun tokenizers.
• Tokenisatie-Bias: Mistral toont een duidelijke bias: donkere huidskleuren vereisen 5 tokens, terwijl andere modellen (zoals Gemma en Qwen) slechts 1 token nodig hebben. Llama gebruikt consequent 3 tokens. Dit creëert een "computational penalty" voor donkere huidskleuren.
• Semantische Inconsistentie:
  • In Gemma en Llama zijn donkere huidskleuren semantisch verder verwijderd van de tekstuele beschrijving dan lichte huidskleuren.
  • Qwen toont een tegenovergestelde trend waar de alignement verbetert bij donkerdere tinten.
  • t-SNE visualisaties tonen aan dat Llama en Mistral varianten clusteren op basis van huidskleur (donker gescheiden van licht), terwijl Gemma ze beter clusterde op basis van de onderliggende betekenis.
• Associatieve en Sentiment Bias:
  • WEAT: Llama en Qwen associëren lichte huidskleuren sterker met "Goede" concepten en beroepsrollen. Mistral vertoont het omgekeerde patroon (associatie van lichte huid met "Slechte" concepten), wat wijst op een complexere, maar nog steeds vooroordeelachtige dynamiek.
  • RNSB: Qwen toont de grootste ongelijkheid in negatief sentiment, waarbij standaard- en donkere varianten onevenredig veel negatief sentiment dragen vergeleken met midden-tinten.
  • Caliskan Benchmark: Emoji2vec, Mistral en Qwen associëren consistent lichtere huidskleuren met positieve culturele concepten, terwijl Gemma en Llama juist donkere tinten positiever associëren.

5. Betekenis en Conclusie

De studie concludeert dat technische ondersteuning voor huidskleur-emoji's niet gelijkstaat aan eerlijke representatie. Hoewel LLM's de technische barrière van tokenisatie hebben overwonnen, introduceren ze nieuwe vormen van bias:

1. Computational Bias: Hogere kosten en latentie voor het verwerken van donkere huidskleuren in bepaalde architecturen.
2. Semantische Bias: De betekenis en het sentiment van een emoji veranderen systematisch afhankelijk van de huidskleur, wat bestaande maatschappelijke stereotypen kan versterken.

De auteurs pleiten voor een verschuiving van passieve ondersteuning naar actieve mitigatie. Dit omvat het normaliseren van tokenisatie (zodat alle tinten evenveel tokens kosten) en het gebruik van contrafactuele data-augmentatie om de representatieve schade te verminderen. Zonder deze ingrepen riskeert AI als infrastructuur voor het web om maatschappelijke ongelijkheid te versterken in plaats van te verminderen.