Analysing Differences in Persuasive Language in LLM-Generated Text: Uncovering Stereotypical Gender Patterns

Resumo Técnico: Analisando Diferenças na Linguagem Persuasiva em Textos Gerados por LLM

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em tarefas de comunicação interpessoal, incluindo a redação de mensagens destinadas a influenciar e persuadir. Embora pesquisas anteriores tenham estabelecido que os LLMs podem persuadir humanos com sucesso e amplificar a linguagem persuasiva, existe uma lacuna crítica na compreensão de como instruções específicas do usuário — particularmente aquelas que envolvem atributos do destinatário — afetam o estilo da linguagem persuasiva gerada. Especificamente, permanece incerto se os LLMs alteram sistematicamente suas estratégias persuasivas com base no gênero do destinatário pretendido, o que pode refletir e amplificar estereótipos de gênero da sociedade. Este artigo investiga se os atributos fornecidos pelo usuário no texto da instrução, como o gênero do destinatário, a intenção enquadrada pelo usuário e a língua de saída, induzem mudanças mensuráveis nas dimensões da linguagem persuasiva gerada pelos LLMs.

Metodologia
Os autores propõem uma estrutura sistemática para avaliar diferenças na linguagem persuasiva gerada por LLM sob condições de prompts pareados controlados. A metodologia envolve os seguintes componentes:

1. Construção de Prompts: Dois conjuntos de prompts de instrução foram gerados cobrindo mensagens interpessoais (ex: pedir a um colega de trabalho para trocar turnos) e argumentos políticos (ex: baixar a idade de votação). Para cada prompt, uma versão pareada foi criada modificando apenas o atributo de tratamento (ex: mudar "colega de trabalho mulher" para "colega de trabalho homem" ou "intenção nobre" para "intenção ignóbil").
2. Avaliação do Modelo: O estudo avaliou 13 LLMs de cinco famílias de modelos diferentes (incluindo GPT-5, Llama 3, DeepSeek, Qwen e Claude), variando em tamanho, alinhamento de segurança e origem.
3. Dimensões de Avaliação: As respostas foram analisadas em 19 categorias derivadas de cinco dimensões teóricas de comunicação e persuasão:
   • Apelos Retóricos: Logos, Pathos, Ethos.
   • Princípios de Cialdini: Reciprocidade, Compromisso, Afeição, Autoridade, Escassez, Prova Social.
   • Traços de Psicologia Social: Agêntico (competência, assertividade) vs. Comunitário (calidez, cooperatividade).
   • Objetivos de Interação: Instrumental, Relacional, Identidade.
   • Tons: Direto, Polido, Formal, Brincalhão, Afetuoso.
4. LLM-como-Juiz: Foi empregada uma configuração de avaliação automatizada usando o GPT-4o como juiz para pontuar diferenças pareadas entre as respostas. O juiz atribuiu pontuações relativas em uma escala ordinal (−3 a +3) para cada categoria. Para garantir a robustez, a avaliação foi realizada duas vezes com a ordem de entrada invertida para mitigar o viés de posição.
5. Verificação: A estrutura incluiu medidas extensivas de verificação, incluindo:
   • Validade Convergente: Anotação humana de um subconjunto de respostas para verificar se as percepções humanas alinhavam-se com as descobertas do juiz LLM.
   • Testes de Robustez: Teste de modelos de juiz alternativos (Qwen2.5), neutralização de termos de gênero nos inputs e tradução dos inputs para o inglês para avaliar a consistência cross-lingual.
   • Análise Estatística: Uso de testes de postos sinalizados de Wilcoxon e reamostragem de bootstrap para comparar "Lacunas de Gênero" ($G_T$) entre diferentes modelos.

Resultos Principais
O estudo revela diferenças de gênero significativas e consistentes na geração de linguagem persuasiva em todos os LLMs testados:

• Estereótipos de Gênero no Estilo:
  • Respostas direcionadas ao feminino exibiram consistentemente pontuações mais altas em traços Comunitários, Pathos (apelo emocional), objetivos Relacionais, Polidez e tons Afetuosos.
  • Respostas direcionadas ao masculino exibiram consistentemente pontuações mais altas em traços Agênticos, Logos (apelo lógico), objetivos Instrumentais e tons Diretos.
• Consistência entre Modelos: Embora a magnitude do viés tenha variado (ex: o GPT-5 mostrou uma lacuna maior que o GPT-4.1), o padrão direcional de estereotipagem estava presente em todos os 13 modelos.
• Persistência Cross-Lingual: Ao testar um único modelo (GPT-5-MINI) em 16 idiomas, as diferenças estilísticas de gênero persistiram. O estudo não encontrou correlação significativa entre a magnitude da lacuna de gênero e o Índice de Desigualdade de Gênero (GII) dos países associados, sugerindo que o viés é impulsionado por padrões internos do modelo e não apenas por dados sociais externos.
• Enquadramento de Intenção: Quando a intenção do usuário foi enquadrada como "nobre" versus "ignóbil", os modelos ajustaram seu estilo, com intenções "ignóbil" sendo classificadas com maior Pathos e Brincadeira, enquanto intenções "nobres" foram classificadas com maior Formalidade.
• Sucesso da Verificação: Os anotadores humanos confirmaram as descobertas do juiz LLM, identificando textos direcionados ao feminino como mais comunitários e textos direcionados ao masculino como mais agênticos. Modelos de juiz alternativos e inputs neutralizados produziram resultados altamente correlacionados, confirmando a robustez dos achados.

Significância e Alegações
O artigo afirma fornecer a primeira análise sistemática e multidimensional de como os estilos de linguagem persuasiva dos LLMs se adaptam com base no gênero do destinatário e outros atributos. Suas principais contribuições são:

1. Uma Estrutura de Avaliação: Uma metodologia rigorosa para detectar vieses sutis de estilo na geração de LLM que vai além da simples recusa de conteúdo ou toxicidade explícita.
2. Evidência de Viés Onipresente: Os achados demonstram que mesmo modelos com amplo alinhamento de segurança exibem vieses de gênero estilísticos profundos e arraigados. Esses vieses alinham-se com a literatura estabelecida de sociolinguística e psicologia social em relação às tendências linguísticas "agênticas" (masculinas) e "comunitárias" (femininas).
3. Generalização: A estrutura mostra-se aplicável além do gênero, detectando com sucesso diferenças baseadas na intenção do usuário e no idioma, sendo aplicável a uma ampla gama de idiomas e famílias de modelos.

Os autores observam modestamente que sua análise se baseia em tradições teóricas ocidentais (retórica aristotélica, princípios de Cialdini) e tratamentos de gênero binário. Eles não pretendem descobrir as causas raízes desses vieses, medir a eficiência da persuasão ou propor estratégias de mitigação, mas sim estabelecer a existência e a onipresença desses vieses estilísticos como uma área crítica para futuras pesquisas e salvaguardas na implantação de IA no mundo real.