Resumen Técnico: StereoTales

Declaración del Problema

La investigación existente sobre sesgos sociales en Modelos de Lenguaje Grandes (LLM) está predominantemente restringida por tres limitaciones:

1. Formato: La mayoría de las pruebas de referencia dependen de entornos estrictamente controlados (opción múltiple, rellenado de plantillas o preguntas y respuestas) que evalúan el reconocimiento de sesgos en lugar de la generación de sesgos. Esto no refleja la generación abierta y de forma libre típica del uso real de LLM.
2. Alcance: Los estudios son abrumadoramente centrados en inglés y enfocados en EE. UU., a menudo limitando los atributos sociodemográficos al género y la raza basados en las categorías del Censo de EE. UU. Esto ignora cómo se manifiestan los sesgos en diferentes idiomas y contextos culturales.
3. Granularidad: El trabajo anterior a menudo puntúa salidas individuales o se centra en modelos pequeños de peso abierto, dejando el comportamiento de los modelos de vanguardia y la emergencia distribucional de los sesgos (patrones visibles solo a través de cientos de generaciones) en gran medida inexplorado.

En consecuencia, los sesgos que surgen únicamente en la generación abierta, a través de diversos idiomas y en modelos de vanguardia recientes, permanecen inexplorados.

Metodología

Los autores introducen StereoTales, un conjunto de datos multilingüe y una tubería de evaluación diseñados para descubrir sistemáticamente el sesgo social en la generación abierta de LLM.

Construcción del Conjunto de Datos

• Escala: El conjunto de datos comprende aproximadamente 650,000 historias generadas por 23 LLM de vanguardia de proveedores principales (OpenAI, Anthropic, Google, Mistral, Alibaba, etc.).
• Idiomas: La generación ocurre en 10 idiomas (inglés, francés, español, italiano, portugués, neerlandés, ucraniano, árabe, hindi y chino). Crucialmente, las instrucciones, los valores de atributo y los escenarios fueron traducidos manualmente por hablantes nativos para evitar la deriva semántica y el aplanamiento cultural asociados con la traducción automática.
• Diseño de Instrucciones: Las instrucciones se construyen mediante un producto cartesiano de:
  • 19 Atributos Demográficos: Que cubren identidad, estatus socioeconómico y situaciones de vida (por ejemplo, edad, género, religión, educación, ingresos, estatus de inmigración).
  • 79 Valores de Atributo: Conjuntos cerrados de valores admisibles para cada atributo.
  • 36 Escenarios Narrativos: Situaciones diversas (por ejemplo, entrevistas de trabajo, cenas familiares, crisis de salud) que sirven como semillas narrativas.
• Protocolo de Generación: Cada instrucción fija un único valor de atributo para el protagonista mientras deja otros sin especificar. El modelo genera una historia de ~200 palabras.

Tubería de Análisis

1. Extracción de Atributos: Un conjunto de tres extractores de LLM (GPT-5-nano, Gemini 2.5 Flash Lite, Gemini 3.1 Flash Lite) extrae el perfil sociodemográfico del protagonista de cada historia a través de las 19 dimensiones.
2. Descubrimiento de Asociación Estadística: La tubería construye tablas de contingencia para las co-ocurrencias entre el atributo impuesto por la instrucción (Base) y los atributos extraídos.
   • Nivel de Atributo: La prueba exacta de Fisher (estimación Monte Carlo) determina si una distribución depende del atributo base. El tamaño del efecto se mide mediante la V de Cramér corregida por sesgo.
   • Nivel de Valor: Las pruebas de Fisher unilaterales identifican pares de valores específicos que impulsan la asociación. El tamaño del efecto se mide mediante Lift ($P(B=b|A=a)/P(B=b)$). Solo se retienen los pares con $Lift \ge 2$ y significancia estadística (corregida por Benjamini-Yekutieli).
3. Juicio de Dañinidad: Para evitar inyectar sesgos de los autores, la dañinidad se determina mediante dos evaluadores independientes:
   • Estudio Humano: 247 participantes basados en el Reino Unido calificaron 1,580 asociaciones únicas en una escala Likert de 5 puntos para dañinidad y frecuencia en el mundo real.
   • Autoevaluación de LLM: Los mismos 23 modelos que generaron las historias fueron instruidos para calificar la dañinidad de las mismas asociaciones.

Contribuciones Clave

1. Conjunto de Datos StereoTales: Un recurso a gran escala y multilingüe que contiene ~650k historias, anotaciones de atributos y calificaciones de dañinidad, cubriendo 10 idiomas y 23 modelos.
2. Descubrimiento de Sesgo Distribucional: Una metodología que va más allá de la clasificación a nivel de muestra para identificar asociaciones sistemáticas y estadísticamente significativas a través de la distribución de las salidas del modelo.
3. Evaluación Trans-modelo y Trans-idioma: El primer estudio que evalúa conjuntamente la universalidad del sesgo en 23 modelos de vanguardia y la adaptabilidad cultural de los sesgos en 10 idiomas.
4. Calibración de LLM como Juez: Una calibración a gran escala de la autoevaluación de LLM frente al juicio humano en el dominio de la dañinidad de estereotipos.

Resultados Clave

1. Pervasividad y Universalidad de Estereotipos Dañinos

• Ubicuidad: Cada modelo evaluado emite estereotipos dañinos consecuentes en la generación abierta, independientemente de su tamaño o capacidad.
• Patrones Compartidos: Las asociaciones dañinas se comparten en gran medida entre proveedores en lugar de ser comportamientos erráticos aislados. Aproximadamente el 25% de las asociaciones dañinas aparecen en al menos la mitad de los modelos, y una parte significativa es producida por cada modelo individual.
• Independencia de la Capacidad: No hay una reducción detectable en las asociaciones dañinas con el aumento del tamaño del modelo. Sorprendentemente, existe una correlación positiva débil entre la capacidad del modelo (ELO) y el número de asociaciones dañinas, lo que sugiere que las recetas actuales de alineación no mitigan eficazmente estos sesgos.

2. Especificidad Lingüística y Adaptación Cultural

• Reflejo Cultural: Los modelos no transfieren un conjunto estático y dominante en inglés de sesgos. En cambio, actúan como "camaleones culturales", adaptando los estereotipos al marco cultural evocado por el idioma de la instrucción.
• Local vs. Global: Aproximadamente la mitad de las emisiones dañinas se confinan a un máximo de dos idiomas.
• Desplazamiento del Objetivo: El idioma de la instrucción desplaza qué grupos son objetivo. Los modelos tienden a reducir las asociaciones dañinas sobre la identidad "no marcada" (mayoritaria) del idioma de la instrucción mientras aumentan los daños contra minorías protegidas localmente relevantes.
• Agrupaciones Regionales: Los sesgos dañinos se agrupan por región cultural (por ejemplo, un fuerte bloque de Europa Occidental y un bloque más débil de América Latina), lo que indica que los datos de entrenamiento y el contexto cultural, y no solo la familia lingüística, impulsan los perfiles de sesgo.

3. Alineación entre Juicios Humanos y de LLM

• Alineación Amplia: Los juicios de LLM están ampliamente alineados con las calificaciones humanas ($\rho$ de Spearman = 0.62).
• Puntos Ciegos Sistemáticos: Los desacuerdos son sistemáticos y compartidos entre proveedores. Los modelos consistentemente subestiman el daño de los estereotipos anclados en el estatus socioeconómico, la edad, la religión, la inmigración y la educación. Por el contrario, sobreestiman el daño relacionado con el género y la alineación de género, los mismos ejes que históricamente han sido el foco de la alineación de seguridad.
• Sesgo Conservador: Los LLM son generalmente más conservadores que los humanos, utilizando la calificación extrema "5" significativamente menos a menudo.

Significado y Afirmaciones

El artículo afirma que las pruebas de referencia de equidad monolingües subestiman sustancialmente el daño que un modelo puede emitir cuando se le instruye en otro idioma. Debido a que los sesgos se adaptan culturalmente al idioma de la instrucción, un modelo considerado "seguro" en inglés puede emitir estereotipos distintos y localmente dañinos en otros idiomas.

Además, el estudio desafía la noción de que las pruebas de referencia de reconocimiento de sesgos (que los modelos de vanguardia a menudo saturan) implican que la generación de sesgos está resuelta. Los resultados indican que la generación de asociaciones dañinas es una propiedad estructural de los LLM actuales, probablemente heredada de datos de preentrenamiento compartidos y recetas de alineación, en lugar de una falla de escala o capacidad.

Finalmente, el artículo postula que, aunque los LLM pueden servir como evaluadores complementarios para el sesgo, su autojuicio es frágil y presenta puntos ciegos sistemáticos en atributos socioeconómicos e ideológicos, lo que los convierte en un reemplazo insuficiente para la evaluación humana en estos dominios específicos.

Los autores liberan el conjunto de datos completo, el código y la plataforma de anotación para permitir que la comunidad extienda este trabajo a nuevos idiomas, taxonomías de atributos y paneles de referencia normativos.