Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation

Resumen Técnico: Sesgos Raciales en la Anotación Automatizada con LLMs

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLMs) se están adoptando rápidamente como herramientas estándar para la anotación automatizada de texto en investigación académica, moderación de contenido y procesos de contratación. Sin embargo, existe una preocupación creciente de que estos modelos absorban y reproduzcan los estereotipos raciales y étnicos presentes en sus datos de entrenamiento.

El problema central identificado es que, aunque se ha estudiado el sesgo en la generación de texto o en tareas de clasificación únicas, no se ha explorado suficientemente cómo los sesgos sociales moldean los resultados de la anotación en configuración "zero-shot" (sin entrenamiento específico para la tarea). El estudio investiga si las señales de identidad implícitas en el texto (como nombres o dialectos) sesgan sistemáticamente las evaluaciones de atributos como la profesionalidad, la competencia, la personalidad y la empleabilidad.

2. Metodología

El estudio realiza una auditoría a gran escala que involucra 19 LLMs de nueve organizaciones diferentes (incluyendo OpenAI, Anthropic, Google, Meta, Alibaba, etc.), abarcando modelos de EE. UU., Europa y China. Se utilizaron dos paradigmas experimentales complementarios con un total de más de 4 millones de juicios de anotación:

• Experimento 1: Paradigma de Nombres

  • Diseño: Se insertaron nombres asociados a cinco grupos étnicos (Blanco, Negro, Hispano, Asiático y Árabe/Medio Oriente) en 211 viñetas biográficas breves. Los nombres se seleccionaron basándose en su distintividad estadística y semántica dentro del espacio de incrustaciones (embeddings) del modelo.
  • Tareas: Se evaluaron 39 tareas de clasificación binaria (sí/no) que cubrían empleabilidad, cognición, liderazgo, calidez social, rasgos de carácter y estereotipos negativos.
  • Muestra: Se compararon pares de textos idénticos que solo diferían en el nombre (uno de un grupo minoritario y uno blanco).

• Experimento 2: Paradigma de Dialecto

  • Diseño: Se utilizaron pares de textos idénticos en contenido proposicional, pero escritos en Inglés Vernáculo Afroamericano (AAVE) y Inglés Americano Estándar (SAE).
  • Tareas: Se evaluaron 16 tareas, incluyendo las mismas del Experimento 1 más la detección de toxicidad y ira.
  • Objetivo: Aislar el efecto del dialecto como señal de identidad racial sin la variable del nombre.

3. Contribuciones Clave

• Escala y Diversidad: Es una de las auditorías más grandes hasta la fecha, probando 19 modelos de múltiples proveedores, lo que permite generalizar las conclusiones sobre la generación actual de LLMs.
• Detección de Sesgos Multidimensionales: Demuestra que el sesgo no es uniforme; varía según el grupo étnico y la dimensión evaluada (ej. cognitivo vs. interpersonal).
• Análisis de "Zero-Shot": Proporciona evidencia de que los sesgos persisten incluso cuando los modelos no han sido entrenados específicamente para la tarea de anotación, sino que operan bajo instrucciones naturales.
• Identificación de la "Sobre-corrección": Descubre un fenómeno donde la instrucción de ajuste (fine-tuning) parece corregir excesivamente ciertos sesgos visibles (como la contratación basada en nombres) mientras deja intactos otros sesgos estructurales más sutiles.

4. Resultados Principales

A. Efectos Basados en Nombres (Experimento 1):
Los modelos reproducen perfiles de estereotipos coherentes y específicos por grupo:

• Nombres Negros: Se asocian consistentemente con rasgos de carácter negativos. 18 de 19 modelos los califican como más agresivos y más chismosos. También reciben una penalización universal en auto-disciplina.
• Nombres Asiáticos (Perfil del "Techo de Bambú"): Muestran una disociación clara. Son evaluados como más inteligentes y creativos (elevación cognitiva), pero simultáneamente como menos seguros, menos sociables y menos líderes. Esto refleja el estereotipo del "modelo minoritario" que es competente pero carece de agencia.
• Nombres Árabes: Exhiben un patrón mixto. Se les atribuye mayor competencia cognitiva y ambición, pero se penaliza su calidez interpersonal (menos comunicadores, menos complacientes) y se les asocia con rasgos negativos como ser más emocionales o perezosos.
• Nombres Hispanos: Se elevan en evaluaciones cognitivas (más inteligentes), pero se asocian sistemáticamente con desventaja económica (más probables de ser pobres) y se penalizan en liderazgo y背景 STEM.
• Penalización Universal de Auto-disciplina: Todos los grupos minoritarios fueron calificados como menos auto-disciplinados que sus contrapartes blancas en la mayoría de los modelos.
• Excepción en Empleabilidad (Hireability): A diferencia de los estudios de auditoría humana donde los nombres minoritarios reciben menos llamadas, aquí los modelos favorecen sistemáticamente a los solicitantes con nombres minoritarios (especialmente árabes y negros). Esto sugiere una sobre-corrección por parte del ajuste de instrucciones (instruction tuning) para evitar la discriminación laboral explícita, sin resolver los sesgos subyacentes en otros atributos.

B. Efectos Basados en Dialecto (Experimento 2):
Cuando la identidad se comunica a través del dialecto (AAVE) en lugar del nombre, el patrón cambia a una discriminación casi universal:

• Desventaja Total: Los 19 modelos calificaron los textos en AAVE como significativamente menos profesionales (brecha media de -0.774), menos indicativos de un hablante educado (-0.688), más tóxicos y más enfadados que las versiones en SAE.
• Empleabilidad: A diferencia del experimento de nombres, la empleabilidad en AAVE fue penalizada en todos los modelos (-0.305).
• Conclusión: La devaluación del AAVE es una propiedad compartida de la generación actual de LLMs, independientemente del proveedor, reflejando la devaluación de dialectos no prestigiosos en los datos de entrenamiento.

5. Significado e Implicaciones

• Riesgo para la Investigación y Gobernanza: El uso de LLMs como infraestructura de anotación puede incrustar sesgos sociales estructurados directamente en los conjuntos de datos y medidas que sustentan la investigación científica, la toma de decisiones políticas y los sistemas de contratación.
• Invisibilidad del Sesgo: Los sesgos a menudo son implícitos y difíciles de detectar mediante validaciones estándar (como comparar con estándares humanos en pequeñas muestras), ya que los modelos rara vez justifican sus decisiones basándose en la identidad.
• Falsa Sensación de Seguridad: La sobre-corrección en la métrica de "empleabilidad por nombre" podría llevar a los desarrolladores a creer que el sistema es justo, mientras que los sesgos en la personalidad, la profesionalidad y el dialecto permanecen intactos o incluso se exacerban.
• Recomendación: Los investigadores y practicantes deben tratar las juicios de los LLMs con extrema precaución, asumiendo que la identidad del autor se infiere implícitamente del texto, y que cambiar de modelo no garantiza la eliminación de estas distorsiones.

En resumen, el estudio demuestra que los LLMs no son herramientas neutrales para la anotación de texto; actúan como espejos de los estereotipos raciales históricos, reproduciéndolos de manera sistemática y multidimensional, con consecuencias potencialmente graves para la equidad en sistemas automatizados.