Resumo Técnico: Sondagem de Vieses de Identidade Social em LLMs Chineses com Pronomes de Gênero e Grupos Sociais

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados em aplicações voltadas ao usuário, levantando preocupações de que eles possam refletir e amplificar vieses sociais existentes. Embora pesquisas anteriores tenham documentado extensivamente vieses específicos de categoria (por exemplo, gênero, etnia) em LLMs centrados no inglês, utilizando benchmarks como CrowS-Pairs ou análises baseadas em embeddings, há uma lacuna significativa na compreensão dos vieses de identidade social dentro do contexto linguístico chinês. A teoria da identidade social postula que os indivíduos exibem atitudes favoráveis em relação ao seu "grupo interno" e atitudes negativas em relação a "grupos externos". No entanto, permanece incerto se os LLMs chineses reproduzem essas dinâmicas e como características linguísticas específicas do mandarim — particularmente a distinção entre o pronome plural padrão 他们 (tāmen, usado para grupos mistos de gênero ou não especificados) e o plural explicitamente feminino 她们 (tāmen) — modulam esses vieses. Estratégias de avaliação atuais frequentemente ignoram o mecanismo relacional do sentimento intergrupal e as estruturas morfológicas únicas do chinês.

Metodologia

O estudo emprega um framework de geração controlada em dez LLMs chineses representativos, abrangendo variantes base (pré-treinadas) e ajustadas por instrução de desenvolvedores principais (por exemplo, Alibaba, Baidu, Tencent, DeepSeek).

1. Design de Prompt e Coleta de Dados

• Condições de Enquadramento: Os autores construíram prompts de conclusão de frase usando dois enquadramentos principais:
  • Grupo Interno: Primeira pessoa do plural ("我们", "Nós").
  • Grupo Externo: Terceira pessoa do plural, subdividida em:
    • Plural Padrão: "他们" (não marcado/misto de gênero).
    • Plural Feminino: "她们" (explicitamente marcado como feminino).
• Grupos Sociais: Os prompts foram instanciados com 240 grupos sociais salientes no contexto chinês (por exemplo, idade, deficiência, nacionalidade, nível de educação) usando a formulação "Como [Grupo], nós/eles são...".
• Mitigação de Recusas: Para garantir geração estável a partir de modelos ajustados por instrução, foi utilizada uma estratégia de andaime de contexto neutro, antecedendo os prompts com frases de alta qualidade e neutras do corpus ChineseWebText.
• Conjunto de Dados: O estudo gerou 297.600 respostas a partir dos dez modelos. Adicionalmente, uma análise exploratória suplementar foi conduzida em 4.079 interações usuário-assistente do corpus WildChat para avaliar a validade no mundo real.

2. Framework de Medição

Um framework de medição de dois níveis foi adotado para avaliar tanto o sentimento quanto a toxicidade:

• Análise de Sentimento: Três classificadores (Aliyun, Baidu NLP e DeepSeek-V3) foram utilizados para rotular as respostas como positivas, negativas ou neutras. Rótulos de consenso foram derivados por votação majoritária, com validação manual em um subconjunto de 200 frases mostrando 83,5% de concordância.
• Análise de Toxicidade: A API Perspective foi utilizada para gerar pontuações contínuas de toxicidade (0–1), capturando sinais relevantes para segurança (comentários grosseiros, desrespeitosos ou irrazoáveis) que a análise de sentimento sozinha poderia perder.
• Modelagem Estatística: Modelos de regressão (logística para sentimento binário, linear para toxicidade) foram estimados para testar solidariedade do grupo interno e hostilidade do grupo externo, controlando o comprimento da frase e a diversidade lexical (Razão Tipo-Token).

Principais Resultados

1. Assimetrias Sistemáticas entre Grupo Interno e Externo

Em quase todos os modelos, o estudo encontrou assimetrias sistemáticas:

• Solidariedade do Grupo Interno: Respostas sob enquadramentos de "Nós" foram geralmente mais positivas do que sob enquadramentos de "Eles".
• Hostilidade do Grupo Externo: Respostas sob enquadramentos de "Eles" exibiram maior sentimento negativo e toxicidade.
• Variância do Modelo: Modelos pré-treinados exibiram hostilidade ao grupo externo particularmente forte. Modelos ajustados por instrução mostraram padrões mais equilibrados, com assimetrias de sentimento frequentemente atenuadas, embora as lacunas de toxicidade permanecessem mais persistentes.

2. O Impacto da Marcação Linguística de Gênero

A distinção entre 他们 e 她们 revelou padrões específicos de viés:

• Toxicidade Vinculada ao Feminino: Em vários modelos, o plural explicitamente feminino (她们) foi associado a pontuações de toxicidade mais altas em comparação com o plural padrão (他们), mesmo quando as assimetrias de sentimento eram modestas.
• Efeitos do Ajuste por Instrução: Embora o ajuste por instrução tenha reduzido disparidades de sentimento, a lacuna de toxicidade associada à forma marcada como feminino permaneceu visível em alguns sistemas, sugerindo que o alinhamento de segurança não elimina totalmente o viés de gênero.

3. Variação entre Categorias Sociais

A expressão do viés não foi uniforme entre os 240 grupos sociais:

• Alta Sensibilidade: Grupos relacionados a Gênero, Nacionalidade e Raça mostraram as assimetrias mais pronunciadas entre grupo interno e externo (razões de chances > 1,4).
• Efeitos Atenuados: Categorias como Etnia e Nível de Educação exibiram efeitos atenuados ou invertidos, sugerindo mecanismos de alinhamento de segurança seletivos que temperam saídas negativas para certas categorias sensíveis, enquanto deixam outras suscetíveis.

4. Evidências de Diálogo no Mundo Real

A análise suplementar dos diálogos WildChat forneceu evidências exploratórias de que padrões semelhantes de grupo interno e externo existem em interações naturalísticas, embora os autores alertem que essas descobertas não são diretamente comparáveis aos experimentos controlados devido ao uso de modelos centrados no inglês no corpus WildChat e a marcadores de identidade desequilibrados.

Principais Contribuições

1. Framework de Avaliação Consciente da Língua: O estudo introduz uma metodologia especificamente projetada para LLMs chineses que aproveita a distinção morfológica entre pronomes plurais padrão e femininos para sondar vieses, uma dimensão não diretamente observável em ambientes exclusivos de inglês.
2. Evidência Empírica no Contexto Chinês: Confirma que vieses de identidade social (favoritismo do grupo interno e hostilidade do grupo externo) previamente documentados em inglês também se manifestam em LLMs chineses em um amplo espectro de 240 grupos sociais.
3. Insight de Métrica Dupla: Ao combinar análise de sentimento e toxicidade, o artigo revela que o ajuste por instrução pode reduzir assimetrias de sentimento positivo/negativo, mas frequentemente falha em eliminar lacunas de toxicidade, particularmente aquelas vinculadas a marcadores linguísticos de gênero.
4. Análise Suplementar do Mundo Real: Fornece evidências preliminares de que essas descobertas de benchmark sintético podem se estender a configurações semelhantes à implantação, destacando a necessidade de estratégias de alinhamento fundamentadas culturalmente.

Significado e Alegações

O artigo afirma que o viés de identidade social em LLMs chineses é um problema sistêmico que se estende além de categorias específicas para uma dinâmica relacional geral entre "nós" e "eles". Crucialmente, argumenta que estruturas linguísticas específicas do mandarim (especificamente pronomes de gênero) podem revelar padrões de viés que são invisíveis em avaliações centradas no inglês.

Os autores afirmam que, embora o ajuste por instrução possa mitigar parcialmente esses vieses, não os elimina, particularmente no que diz respeito à toxicidade e ao enquadramento de gênero. Isso sugere que as estratégias de alinhamento atuais podem ser insuficientes para garantir equidade em aplicações interativas voltadas ao usuário. O estudo pede monitoramento sistemático do comportamento de LLMs em domínios de alto risco e o desenvolvimento de estratégias de mitigação sensíveis tanto ao contexto cultural quanto às propriedades linguísticas específicas da língua chinesa.

Os autores mantêm um tom modesto em relação às suas alegações, reconhecendo limitações como a exclusão de alguns modelos devido a restrições computacionais, a dependência de proxies de sentimento automatizados em vez de padrões-ouro humanos completos e a natureza exploratória da análise de diálogo do mundo real. Eles enfatizam que suas descobertas documentam comportamentos de modelos e não refletem as opiniões dos autores nem representações precisas dos grupos sociais envolvidos.