Digital Skin, Digital Bias: Uncovering Tone-Based Biases in LLMs and Emoji Embeddings

Resumen Técnico: Digital Skin, Digital Bias

1. El Problema

Los emojis con tonos de piel son fundamentales para la identidad personal y la inclusión social en la comunicación digital. Sin embargo, a medida que los Modelos de Lenguaje Grande (LLMs) y los sistemas de IA median cada vez más las interacciones en la web, existe el riesgo de que estos sistemas perpetúen sesgos sociales a través de su representación de estos símbolos.

El problema central abordado en este trabajo es doble:

1. Brecha de Soporte: Los modelos de incrustación (embedding) estáticos tradicionales, construidos antes de la popularización de los modificadores de tono de piel, a menudo carecen de soporte para estas variantes o las representan de manera deficiente.
2. Sesgo Latente en Modelos Modernos: Aunque los LLMs modernos soportan técnicamente todos los tonos de piel mediante sus tokenizadores, no está garantizado que sus representaciones sean equitativas. Existe la posibilidad de que los modificadores de tono introduzcan sesgos en la semántica, la polaridad del sentimiento y las asociaciones culturales, incluso dentro de modelos de vanguardia.

2. Metodología

Los autores realizaron el primer estudio comparativo a gran escala de sesgos en representaciones de emojis con tonos de piel, abarcando dos clases de modelos:

• Modelos Estáticos: Se evaluaron 9 modelos de incrustación estáticos (incluyendo emoji2vec, emoji-sw2v, FastText, GloVe, BERT, etc.).
• Modelos Dinámicos (LLMs): Se analizaron 4 LLMs modernos (Llama-3.2, Gemma-2, Qwen-2, Mistral).

Enfoque de Análisis:

1. Evaluación de Cobertura y Tokenización: Se midió qué modelos soportan los 2,735 emojis con tonos de piel y se analizó la eficiencia de la tokenización (número de tokens necesarios para representar cada modificador).
2. Medición de Similitud Semántica:
   • Alineación Emoji-Texto: Se comparó la distancia coseno y la Distancia del Movimiento de Palabras (WMD) entre la representación del emoji y su descripción textual para detectar deriva semántica.
   • Consistencia Interna: Se utilizó t-SNE para visualizar cómo se agrupan las variantes de tonos de piel en el espacio semántico.
3. Cuantificación de Sesgos: Se adaptaron métricas establecidas de detección de sesgos en texto al contexto de emojis:
   • RND (Relative Norm Distance): Mide la distancia relativa de palabras neutrales hacia grupos de tonos de piel específicos.
   • WEAT (Word Embedding Association Test): Evalúa asociaciones implícitas entre tonos de piel y conceptos positivos/negativos o roles profesionales.
   • RNSB (Relative Negative Sentiment Bias): Cuantifica la distribución desigual del sentimiento negativo entre las variantes de un mismo emoji.

3. Contribuciones Clave

• Benchmarks Transversales: Se proporciona la primera evaluación comparativa que cubre tanto modelos estáticos heredados como LLMs modernos, revelando brechas significativas en el soporte de representaciones.
• Asimetría a Nivel de Tokenización: Se identificó una forma de sesgo computacional en los LLMs: ciertos tonos de piel (especialmente los oscuros en modelos como Mistral) requieren más tokens para su representación, lo que implica un mayor costo computacional y latencia, penalizando indirectamente la diversidad.
• Evidencia de Deriva Semántica: Se demostró que los modificadores de tono inducen cambios semánticos consistentes, incluso en modelos modernos, alterando la alineación entre el emoji y su descripción textual.
• Medición Multi-facética de Sesgos: Se adaptaron y aplicaron RND, WEAT y RNSB al dominio de emojis, proporcionando evidencia estadística de daños representacionales (sesgos de sentimiento y asociación).

4. Resultados Principales

• Brecha de Soporte: La mayoría de los modelos estáticos (como GloVe o FastText) soportan 0 o muy pocos emojis con tonos de piel. En contraste, los LLMs ofrecen soporte completo gracias a sus tokenizadores de subpalabras.
• Inequidad en Tokenización: Mientras que Gemma y Qwen codifican cada modificador de tono en un solo token, Mistral requiere 2 tokens para la mayoría, pero 5 tokens específicamente para el tono de piel oscuro, creando una carga computacional desproporcionada.
• Sesgos de Alineación Semántica:
  • En Gemma, los tonos oscuros muestran una alineación semántica más débil con su texto descriptivo en comparación con los tonos claros.
  • En Qwen, la alineación mejora a medida que el tono de piel se oscurece.
  • En Llama, los tonos oscuros se distancian semánticamente del emoji por defecto.
• Sesgos de Asociación y Sentimiento:
  • WEAT: Modelos como Llama y Qwen tienden a asociar fuertemente los tonos de piel claros con atributos "buenos" (positivos) y roles profesionales, mientras que Mistral muestra el patrón inverso (asociando tonos claros con atributos "malos").
  • RNSB: Qwen muestra la distribución más desigual de sentimiento negativo, asignando una carga desproporcionada de negatividad a las variantes de tono oscuro y por defecto en roles profesionales.
  • RND: Los LLMs muestran sesgos más grandes y variables en comparación con el modelo estático emoji2vec, que demostró ser más robusto y estable.

5. Significado e Implicaciones

El estudio concluye que el simple soporte técnico de los emojis con tonos de piel en los LLMs no garantiza una representación equitativa. Los sesgos no son solo un problema de vocabulario, sino que están incrustados en la arquitectura de tokenización, la semántica aprendida y las asociaciones estadísticas de los modelos.

Impacto:

• Riesgo de Perpetuación de Estereotipos: A medida que los LLMs se convierten en infraestructura fundamental para la web, estos sesgos representacionales pueden reforzar estereotipos sociales dañinos a escala global.
• Necesidad de Mitigación Activa: Se insta a los desarrolladores y plataformas a ir más allá del soporte básico. Se proponen medidas como la normalización de tokenizadores (para evitar costos desiguales) y la aumentación de datos contrafactuales para asegurar que los símbolos de identidad humana sean tratados con verdadera equidad.

En resumen, el papel de la IA en la web debe evolucionar de simplemente "soportar" la diversidad a "garantizar" la equidad representacional, evitando que los sesgos digitales refuercen las desigualdades sociales.