Resumen Técnico: Sondeo de Sesgos de Identidad Social en Modelos de Lenguaje Grandes Chinos mediante Pronombres de Género y Grupos Sociales

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLMs) se despliegan cada vez más en aplicaciones orientadas al usuario, lo que genera preocupaciones de que puedan reflejar y amplificar sesgos sociales existentes. Si bien investigaciones anteriores han documentado extensamente sesgos específicos de categoría (por ejemplo, género, etnia) en LLMs centrados en inglés mediante puntos de referencia como CrowS-Pairs o análisis basados en incrustaciones, existe una brecha significativa en la comprensión de los sesgos de identidad social dentro del contexto lingüístico chino. La teoría de la identidad social postula que los individuos muestran actitudes favorables hacia su "grupo interno" y actitudes negativas hacia los "grupos externos". Sin embargo, sigue sin estar claro si los LLMs chinos reproducen estas dinámicas y cómo características lingüísticas específicas del mandarín, particularmente la distinción entre el pronombre plural por defecto 他们 (tāmen, utilizado para grupos mixtos o no especificados) y el plural explícitamente femenino 她们 (tāmen), modulan estos sesgos. Las estrategias de evaluación actuales a menudo pasan por alto el mecanismo relacional del sentimiento intergrupal y las estructuras morfológicas únicas del chino.

Metodología

El estudio emplea un marco de generación controlada en diez LLMs chinos representativos, que abarcan tanto variantes base (preentrenadas) como variantes ajustadas por instrucciones de desarrolladores principales (por ejemplo, Alibaba, Baidu, Tencent, DeepSeek).

1. Diseño de Prompts y Recopilación de Datos

• Condiciones de Encuadre: Los autores construyeron prompts de finalización de oraciones utilizando dos encuadres principales:
  • Grupo Interno: Primera persona del plural ("我们", "Nosotros").
  • Grupo Externo: Tercera persona del plural, dividida además en:
    • Plural por Defecto: "他们" (no marcado/mixto).
    • Plural Femenino: "她们" (marcado explícitamente como femenino).
• Grupos Sociales: Los prompts se instanciaron con 240 grupos sociales relevantes en el contexto chino (por ejemplo, edad, discapacidad, nacionalidad, nivel educativo) utilizando la formulación "Como [Grupo], nosotros/ellos son...".
• Mitigación de Rechazos: Para garantizar una generación estable en modelos ajustados por instrucciones, se utilizó una estrategia de andamiaje en contexto neutral, anteponiendo oraciones neutrales de alta calidad del corpus ChineseWebText a los prompts.
• Conjunto de Datos: El estudio generó 297.600 respuestas de los diez modelos. Además, se realizó un análisis exploratorio complementario en 4.079 interacciones usuario-asistente del corpus WildChat para evaluar la validez en el mundo real.

2. Marco de Medición

Se adoptó un marco de medición de dos niveles para evaluar tanto el sentimiento como la toxicidad:

• Análisis de Sentimiento: Se utilizaron tres clasificadores (Aliyun, Baidu NLP y DeepSeek-V3) para etiquetar las respuestas como positivas, negativas o neutrales. Las etiquetas de consenso se derivaron mediante votación mayoritaria, con una validación manual en un subconjunto de 200 oraciones que mostró un acuerdo del 83,5 %.
• Análisis de Toxicidad: Se utilizó la API de Perspective para generar puntuaciones continuas de toxicidad (0–1), capturando señales relevantes para la seguridad (comentarios groseros, irrespetuosos o poco razonables) que el análisis de sentimiento por sí solo podría pasar por alto.
• Modelado Estadístico: Se estimaron modelos de regresión (logística para el sentimiento binario, lineal para la toxicidad) para probar la solidaridad del grupo interno y la hostilidad hacia el grupo externo, controlando la longitud de la oración y la diversidad léxica (Relación Tipo-Token).

Resultados Clave

1. Asimetrías Sistemáticas entre Grupo Interno y Grupo Externo

En casi todos los modelos, el estudio encontró asimetrías sistemáticas:

• Solidaridad del Grupo Interno: Las respuestas bajo encuadres de "Nosotros" fueron generalmente más positivas que bajo encuadres de "Ellos".
• Hostilidad hacia el Grupo Externo: Las respuestas bajo encuadres de "Ellos" exhibieron un mayor sentimiento negativo y toxicidad.
• Varianza del Modelo: Los modelos preentrenados mostraron una hostilidad hacia el grupo externo particularmente fuerte. Los modelos ajustados por instrucciones mostraron patrones más equilibrados, con asimetrías de sentimiento a menudo atenuadas, aunque las brechas de toxicidad permanecieron más persistentes.

2. El Impacto del Marcado Lingüístico de Género

La distinción entre 他们 y 她们 reveló patrones de sesgo específicos:

• Toxicidad Vinculada al Género Femenino: En varios modelos, el plural explícitamente femenino (她们) se asoció con puntuaciones de toxicidad más altas en comparación con el plural por defecto (他们), incluso cuando las asimetrías de sentimiento fueron modestas.
• Efectos del Ajuste por Instrucciones: Si bien el ajuste por instrucciones redujo las disparidades de sentimiento, la brecha de toxicidad asociada con la forma marcada como femenino permaneció visible en algunos sistemas, lo que sugiere que la alineación de seguridad no elimina completamente el sesgo de género.

3. Variación entre Categorías Sociales

La expresión del sesgo no fue uniforme en los 240 grupos sociales:

• Alta Sensibilidad: Los grupos relacionados con Género, Nacionalidad y Raza mostraron las asimetrías entre grupo interno y grupo externo más pronunciadas (razones de odds > 1,4).
• Efectos Atenuados: Categorías como Etnia y Nivel de Educación exhibieron efectos atenuados o invertidos, lo que sugiere mecanismos de alineación de seguridad selectivos que moderan las salidas negativas para ciertas categorías sensibles mientras dejan otras susceptibles.

4. Evidencia de Diálogo en el Mundo Real

El análisis complementario de los diálogos de WildChat proporcionó evidencia exploratoria de que patrones similares entre grupo interno y grupo externo existen en interacciones naturalistas, aunque los autores advierten que estos hallazgos no son directamente comparables con los experimentos controlados debido al uso de modelos centrados en inglés en el corpus WildChat y a marcadores de identidad desequilibrados.

Contribuciones Clave

1. Marco de Evaluación Consciente del Idioma: El estudio introduce una metodología diseñada específicamente para LLMs chinos que aprovecha la distinción morfológica entre pronombres plurales por defecto y femeninos para sondear sesgos, una dimensión no directamente observable en entornos exclusivos de inglés.
2. Evidencia Empírica en el Contexto Chino: Confirma que los sesgos de identidad social (favoritismo del grupo interno y hostilidad hacia el grupo externo) previamente documentados en inglés también se manifiestan en LLMs chinos en un amplio espectro de 240 grupos sociales.
3. Perspectiva de Métrica Dual: Al combinar el análisis de sentimiento y toxicidad, el artículo revela que el ajuste por instrucciones puede reducir las asimetrías de sentimiento positivo/negativo, pero a menudo falla en eliminar las brechas de toxicidad, particularmente aquellas vinculadas a marcadores lingüísticos de género.
4. Análisis Complementario del Mundo Real: Proporciona evidencia preliminar de que estos hallazgos de puntos de referencia sintéticos pueden extenderse a entornos similares al despliegue, destacando la necesidad de estrategias de alineación fundamentadas culturalmente.

Significado y Afirmaciones

El artículo afirma que el sesgo de identidad social en los LLMs chinos es un problema sistémico que se extiende más allá de categorías específicas hasta una dinámica relacional general entre "nosotros" y "ellos". Crucialmente, argumenta que las estructuras lingüísticas específicas del mandarín (específicamente los pronombres de género) pueden revelar patrones de sesgo que son invisibles en evaluaciones centradas en inglés.

Los autores afirman que, si bien el ajuste por instrucciones puede mitigar parcialmente estos sesgos, no los elimina, particularmente en lo que respecta a la toxicidad y el encuadre de género. Esto sugiere que las estrategias de alineación actuales pueden ser insuficientes para garantizar la equidad en aplicaciones interactivas orientadas al usuario. El estudio pide una supervisión sistemática del comportamiento de los LLMs en dominios de alto riesgo y el desarrollo de estrategias de mitigación que sean sensibles tanto al contexto cultural como a las propiedades lingüísticas específicas del idioma chino.

Los autores mantienen un tono modesto con respecto a sus afirmaciones, reconociendo limitaciones como la exclusión de algunos modelos debido a restricciones computacionales, la dependencia de proxies de sentimiento automatizados en lugar de estándares de oro humanos completos, y la naturaleza exploratoria del análisis de diálogos en el mundo real. Enfatizan que sus hallazgos documentan comportamientos de modelos y no reflejan las opiniones de los autores ni representaciones precisas de los grupos sociales involucrados.