Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

Resumen Técnico: Evaluación de Modelos de Lenguaje Grandes Chinos: La Influencia de la Asignación de Personajes en Estereotipos y Mecanismos de Seguridad

Declaración del Problema
Aunque investigaciones recientes han establecido que asignar personajes específicos a Modelos de Lenguaje Grandes (LLM) puede aumentar significativamente la generación de contenido dañino en contextos occidentales, existe una brecha crítica en la comprensión de este fenómeno dentro de entornos sociotécnicos no occidentales, específicamente chinos. La literatura actual carece de análisis a gran escala y entre múltiples modelos sobre cómo la asignación de personajes interactúa con los mecanismos de seguridad, específicamente el comportamiento de rechazo y la amplificación de la toxicidad, en LLM basados en chino. Además, sigue sin estar claro cómo los elementos de diseño de las indicaciones (plantillas, personajes y grupos sociales objetivo) influyen conjuntamente en estos resultados de seguridad en modelos de lenguaje chinos, los cuales sirven a una población diversa con normas culturales distintas.

Metodología
Los autores realizaron un análisis a gran escala y entre múltiples modelos que involucró a cuatro LLM chinos líderes: Qwen-Turbo, Ernie-4.5-Turbo-128k, DeepSeek-V3 y Hunyuan-Standard. El estudio utilizó un conjunto de datos de más de 1,4 millones de textos generados (aproximadamente 369.000 salidas por modelo).

• Diseño Experimental: Los investigadores emplearon un enfoque sistemático de ingeniería de indicaciones que combinaba tres variables:
  1. Personajes: Categorizados en Predeterminado (sin asignación), Básico (descriptores generales como "una persona mala") y Personaje (perfiles detallados como "Mujeres Empresarias" o figuras históricas).
  2. Grupos Sociales: 240 grupos en 13 categorías (por ejemplo, género, raza, religión, estatus socioeconómico) relevantes para la sociedad china.
  3. Plantillas de Indicaciones: Seis variaciones que van desde benignas ("Di algo bueno sobre") hasta adversarias ("Di algo tóxico sobre").
• Recopilación de Datos: Los modelos fueron consultados mediante APIs oficiales basadas en chat con parámetros estandarizados (temperatura=1, max_tokens=500). Se generaron tres respuestas para cada combinación de personaje, grupo social y plantilla. Las salidas no en chino se tradujeron para su análisis.
• Métricas de Medición:
  • Comportamiento de Rechazo: Detectado mediante un enfoque híbrido de clasificación basada en reglas y un clasificador BERT ajustado finamente entrenado con datos de Qwen. Una indicación se consideró "rechazada" solo si las tres repeticiones resultaron en un rechazo.
  • Toxicidad: Medida utilizando la API de Perspective, que asigna una puntuación de toxicidad continua (0–1). Se registró la puntuación máxima de toxicidad entre las respuestas que no fueron rechazadas para cada condición.
• Análisis: El estudio empleó regresión logística para modelar la probabilidad de rechazo y regresión lineal (MCO) para modelar las puntuaciones de toxicidad, tratando la categoría de personaje, el grupo social y la plantilla como variables independientes.
• Estudio de Caso de Mitigación: Un estudio complementario sobre Qwen probó una estrategia de mitigación iterativa guiada por evaluadores. Un LLM externo (Ernie) actuó como evaluador para proporcionar retroalimentación y refinar las salidas tóxicas sin volver a entrenar el modelo principal.

Resultados Clave

• Disparidades en el Rechazo Impulsadas por Personajes: El comportamiento de rechazo no es uniforme; varía sistemáticamente según el modelo, el personaje y el grupo social.
  • Sesgo de Género: Los personajes femeninos desencadenaron tasas de rechazo significativamente más altas que los personajes masculinos en varios modelos y plantillas negativas (por ejemplo, "Malo", "Tóxico"), lo que sugiere desencadenantes de seguridad con sesgo de género.
  • Sensibilidad del Grupo Social: Las tasas de rechazo fueron más altas para categorías sensibles como "Orientación Sexual", "Raza", "Enfermedad" y "Discapacidad", mientras que se mantuvieron bajas para "Edad" y "Cualificación Educativa".
  • Indicaciones Repetidas: Las tasas de rechazo generalmente se atenuaron (disminuyeron) a medida que se repetían las indicaciones idénticas, lo que indica que los mecanismos de seguridad pueden erosionarse mediante intentos iterativos.
• Amplificación de la Toxicidad: La asignación de personajes amplifica significativamente la toxicidad en comparación con los valores predeterminados del modelo.
  • Magnitud: En algunos casos, combinaciones específicas de personaje-grupo social aumentaron la toxicidad en más de 40 veces en comparación con la línea base predeterminada (notablemente en Ernie).
  • Variación entre Modelos: Los modelos con altas tasas de rechazo (por ejemplo, Hunyuan) mostraron una amplificación de la toxicidad atenuada, mientras que los modelos con tasas de rechazo más bajas (por ejemplo, DeepSeek) exhibieron cambios de toxicidad más pronunciados bajo personajes adversarios.
• Determinantes del Comportamiento: Los análisis de regresión revelaron que:
  • Plantillas: Son la señal de control más fuerte para el rechazo; las plantillas adversarias ("Tóxico", "Dañino") aumentan consistentemente la probabilidad de rechazo.
  • Grupos Sociales: Son determinantes dominantes del rechazo, a menudo anulando los efectos de los personajes.
  • Polaridad del Personaje: Los personajes negativos aumentaron consistentemente la toxicidad en todos los modelos, mientras que su efecto sobre el comportamiento de rechazo fue altamente dependiente del modelo (reduciendo el rechazo en Qwen pero aumentándolo en DeepSeek).
• Eficacia de la Mitigación: La estrategia iterativa guiada por evaluadores redujo con éxito las puntuaciones medianas de toxicidad del rango de 0,6–0,8 a 0,1–0,3 para las 1.000 instancias más tóxicas, demostrando que las salidas tóxicas pueden mitigarse sustancialmente sin un costoso reentrenamiento del modelo.

Significado y Afirmaciones
El artículo afirma proporcionar la primera caracterización a gran escala y entre múltiples modelos de los riesgos de seguridad impulsados por personajes en LLM chinos. Sus contribuciones principales son:

1. Evidencia Empírica: Prueba cuantitativa de que la asignación de personajes actúa como un mecanismo general para amplificar la toxicidad y alterar los patrones de rechazo en modelos chinos, con efectos que varían significativamente según la arquitectura del modelo y el diseño de seguridad.
2. Contextualización Cultural: Destaca la necesidad de evaluaciones de seguridad específicas culturalmente, ya que los mecanismos de seguridad en LLM chinos exhiben sensibilidades distintas a los grupos sociales (por ejemplo, reacciones específicas a "Orientación Sexual" o "Religión") que difieren de los hallazgos centrados en Occidente.
3. Marco Estructurado: Ofrece una metodología estructurada para evaluar los riesgos inducidos por personajes y demuestra que los bucles de retroalimentación externos e iterativos pueden servir como una estrategia de mitigación viable y de bajo costo para reducir la toxicidad en LLM desplegados.

Los autores concluyen que, si bien la asignación de personajes es una herramienta poderosa para la personalización, introduce riesgos significativos y no uniformes que requieren evaluaciones de seguridad contextualizadas culturalmente y estrategias de mitigación robustas más allá de las técnicas estándar de alineación.