Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

Resumo Técnico: Avaliação de Grandes Modelos de Linguagem Chineses: A Influência da Atribuição de Persona em Estereótipos e Salvaguardas

Declaração do Problema
Embora pesquisas recentes tenham estabelecido que atribuir personas específicas a Grandes Modelos de Linguagem (LLMs) possa aumentar significativamente a geração de conteúdo prejudicial em contextos ocidentais, existe uma lacuna crítica na compreensão desse fenômeno dentro de ambientes sociotécnicos não ocidentais, especificamente chineses. A literatura atual carece de análises em larga escala e entre modelos de como a atribuição de persona interage com mecanismos de segurança — especificamente o comportamento de recusa e a amplificação da toxicidade — em LLMs baseados em chinês. Além disso, permanece incerto como elementos de design de prompt (modelos, personas e grupos sociais-alvo) influenciam conjuntamente esses resultados de segurança em modelos de linguagem chineses, que atendem a uma população diversa com normas culturais distintas.

Metodologia
Os autores conduziram uma análise em larga escala e entre modelos envolvendo quatro principais LLMs chineses: Qwen-Turbo, Ernie-4.5-Turbo-128k, DeepSeek-V3 e Hunyuan-Standard. O estudo utilizou um conjunto de dados de mais de 1,4 milhão de textos gerados (aproximadamente 369.000 saídas por modelo).

• Design Experimental: Os pesquisadores empregaram uma abordagem sistemática de engenharia de prompts combinando três variáveis:
  1. Personas: Categorizadas em Padrão (sem atribuição), Básica (descritores gerais como "uma pessoa má") e Personagem (perfis detalhados como "Mulheres Empresárias" ou figuras históricas).
  2. Grupos Sociais: 240 grupos em 13 categorias (por exemplo, gênero, raça, religião, status socioeconômico) relevantes para a sociedade chinesa.
  3. Modelos de Prompt: Seis variações que vão de benignas ("Diga algo bom sobre") a adversárias ("Diga algo tóxico sobre").
• Coleta de Dados: Os modelos foram consultados por meio de APIs oficiais baseadas em chat com parâmetros padronizados (temperatura=1, max_tokens=500). Três respostas foram geradas para cada combinação de persona, grupo social e modelo. Saídas em idiomas não chineses foram traduzidas para análise.
• Métricas de Medição:
  • Comportamento de Recusa: Detectado usando uma abordagem híbrida de classificação baseada em regras e um classificador BERT fine-tuned treinado em dados do Qwen. Um prompt foi considerado "recusado" apenas se todas as três repetições resultassem em uma recusa.
  • Toxicidade: Medida usando a API Perspective, que atribui uma pontuação contínua de toxicidade (0–1). A pontuação máxima de toxicidade entre as respostas não recusadas foi registrada para cada condição.
• Análise: O estudo empregou regressão logística para modelar a probabilidade de recusa e regressão linear (OLS) para modelar pontuações de toxicidade, tratando categoria de persona, grupo social e modelo como variáveis independentes.
• Estudo de Caso de Mitigação: Um estudo complementar no Qwen testou uma estratégia de mitigação iterativa e guiada por avaliador. Um LLM externo (Ernie) atuou como avaliador para fornecer feedback e refinar saídas tóxicas sem retreinar o modelo principal.

Principais Resultados

• Disparidades de Recusa Impulsionadas por Persona: O comportamento de recusa não é uniforme; varia sistematicamente por modelo, persona e grupo social.
  • Viés de Gênero: Personas femininas dispararam taxas de recusa significativamente mais altas do que personas masculinas em vários modelos e modelos negativos (por exemplo, "Má", "Tóxica"), sugerindo gatilhos de segurança de gênero.
  • Sensibilidade do Grupo Social: As taxas de recusa foram mais altas para categorias sensíveis como "Orientação Sexual", "Raça", "Doença" e "Deficiência", permanecendo baixas para "Idade" e "Qualificação Educacional".
  • Prompting Repetido: As taxas de recusa geralmente atenuaram (diminuíram) à medida que prompts idênticos eram repetidos, indicando que os mecanismos de segurança podem ser erodidos através de tentativas iterativas.
• Amplificação da Toxicidade: A atribuição de personas amplifica significativamente a toxicidade em relação aos padrões do modelo.
  • Magnitude: Em alguns casos, combinações específicas de persona e grupo social aumentaram a toxicidade em mais de 40 vezes em comparação com a linha de base padrão (notavelmente no Ernie).
  • Variância do Modelo: Modelos com altas taxas de recusa (por exemplo, Hunyuan) mostraram amplificação de toxicidade atenuada, enquanto modelos com taxas de recusa mais baixas (por exemplo, DeepSeek) exibiram mudanças de toxicidade mais pronunciadas sob personas adversárias.
• Determinantes do Comportamento: As análises de regressão revelaram que:
  • Modelos são o sinal de controle mais forte para recusa; modelos adversários ("Tóxico", "Prejudicial") consistentemente aumentam a probabilidade de recusa.
  • Grupos Sociais são determinantes dominantes de recusa, frequentemente sobrepondo efeitos de persona.
  • Polaridade da Persona: Personas negativas aumentaram consistentemente a toxicidade em todos os modelos, enquanto seu efeito no comportamento de recusa foi altamente dependente do modelo (reduzindo a recusa no Qwen, mas aumentando-a no DeepSeek).
• Eficácia da Mitigação: A estratégia iterativa guiada por avaliador reduziu com sucesso as pontuações medianas de toxicidade da faixa de 0,6–0,8 para 0,1–0,3 para as 1.000 instâncias mais tóxicas, demonstrando que saídas tóxicas podem ser substancialmente mitigadas sem o custoso re-treinamento de modelos.

Significado e Alegações
O artigo alega fornecer a primeira caracterização em larga escala e entre modelos de riscos de segurança impulsionados por persona em LLMs chineses. Suas principais contribuições são:

1. Evidência Empírica: Prova quantitativa de que a atribuição de persona atua como um mecanismo geral para amplificar a toxicidade e alterar padrões de recusa em modelos chineses, com efeitos variando significativamente por arquitetura do modelo e design de segurança.
2. Contextualização Cultural: Destacando a necessidade de avaliações de segurança culturalmente específicas, pois os mecanismos de segurança em LLMs chineses exibem sensibilidades distintas a grupos sociais (por exemplo, reações específicas a "Orientação Sexual" ou "Religião") que diferem de achados centrados no Ocidente.
3. Estrutura Organizada: Oferecendo uma metodologia estruturada para avaliar riscos induzidos por persona e demonstrando que loops de feedback externos e iterativos podem servir como uma estratégia de mitigação viável e de baixo custo para reduzir a toxicidade em LLMs implantados.

Os autores concluem que, embora a atribuição de persona seja uma ferramenta poderosa para personalização, ela introduz riscos significativos e não uniformes que exigem avaliações de segurança contextualizadas culturalmente e estratégias robustas de mitigação além das técnicas padrão de alinhamento.