From Biased Chatbots to Biased Agents: Examining Role Assignment Effects on LLM Agent Robustness

Título: De Chatbots Viesados a Agentes Viesados: Examinando os Efeitos da Atribuição de Papéis na Robustez de Agentes LLM

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão evoluindo de chatbots passivos para agentes autônomos capazes de executar ações no mundo real, como implantação de código, automação de sistemas operacionais, tomada de decisões médicas e negociação financeira. Embora os vieses induzidos por "personas" (identidades atribuídas) na geração de texto sejam bem documentados, seu impacto na execução de tarefas operacionais por agentes LLM permanece pouco explorado.

O problema central investigado é se a atribuição de personas baseadas em demografia (gênero, raça, religião, profissão) — que são irrelevantes para a tarefa técnica em si — pode alterar o comportamento do agente, degradar seu desempenho e introduzir instabilidade operacional. A hipótese é que essas atribuições podem ativar vieses implícitos e estereótipos sociais, comprometendo a confiabilidade de sistemas críticos.

2. Metodologia

Os autores realizaram um estudo de caso sistemático para avaliar a robustez de agentes LLM sob diferentes condições de persona.

• Seleção de Personas: Foram testadas 23 personas variando em quatro dimensões demográficas:
  • Gênero: Feminino, Masculino, Não-binário.
  • Raça/Origem: Negro, Branco, Asiático, Africano, Europeu, Americano.
  • Religião: Cristão, Muçulmano, Hindu, Budista, Judeu, Tradicional Chinês.
  • Profissão: Professor, Médico, Gerente, Estudante, Agricultor, Trabalhador, Desenvolvedor, CEO.
• Configuração de Prompt: Utilizou-se um prefixo conversacional fixo de duas voltas antes de cada tarefa para condicionar o modelo à persona, mantendo todas as instruções da tarefa inalteradas.
• Modelos Avaliados: Três modelos amplamente utilizados:
  • GPT-4o-mini (Comercial).
  • DeepSeek-V3 (Open-source).
  • Qwen3-235B (Open-source, arquitetura MoE).
• Benchmarks de Avaliação: Os agentes foram testados em 5 domínios operacionais distintos:
  1. ALFWorld: Planejamento de tarefas domésticas em ambiente simulado.
  2. WebShop: Tomada de decisão em e-commerce (busca e compra).
  3. Card Game: Raciocínio estratégico em jogos de cartas competitivos.
  4. OS Interaction: Execução de comandos de shell baseados em instruções em linguagem natural.
  5. Database: Geração de consultas SQL (de filtros simples a joins complexos).

3. Contribuições Principais

• Primeiro Estudo Sistemático: É a primeira investigação a demonstrar que atribuições de personas demográficas podem mensuravelmente minar a execução de tarefas por agentes LLM.
• Descoberta de Vulnerabilidade Oculta: Revela que a condicionalidade de persona e injeções simples de prompt podem distorcer a confiabilidade na tomada de decisão de agentes, indo além da geração de texto.
• Correlação com Estereótipos Sociais: Demonstra que as flutuações de desempenho frequentemente espelham estereótipos humanos (ex: homens sendo menos competentes em tarefas domésticas, certas profissões sendo associadas a maior ou menor competência técnica).

4. Resultados Chave

Os resultados indicam que as personas induzem variações de desempenho significativas e consistentes, mesmo quando a identidade demográfica é irrelevante para a tarefa.

• Degradação Geral: Observou-se uma degradação de desempenho de até 26,2% em tarefas específicas, atribuída exclusivamente à mudança de persona.
• Sensibilidade por Tipo de Tarefa:
  • Tarefas Técnicas (OS, Banco de Dados): Relativamente estáveis, com flutuações geralmente entre 2% e 5%.
  • Raciocínio de Alto Nível (Planejamento, Estratégia): Extremamente vulneráveis. O desempenho no Card Game (estratégia) e ALFWorld (planejamento) sofreu as maiores quedas.
• Análise por Categoria:
  • Raça/Origem: Causou as degradações mais severas. No DeepSeek V3, a persona "África" reduziu a precisão no jogo de cartas em 26,2%, e "Asiático" em 23,4%. No Qwen3, a persona "Branco" reduziu a precisão em 23,8%.
  • Gênero: Mostrou efeitos dependentes da tarefa. Atribuições masculinas degradaram o desempenho em tarefas domésticas (ALFWorld), refletindo estereótipos de competência doméstica, enquanto atribuições femininas ou não-binárias melhoraram o desempenho em algumas áreas, mas degradaram outras.
  • Profissão: Profissões de alto status (ex: Médico) às vezes melhoraram o desempenho, enquanto profissões de classe trabalhadora (ex: Trabalhador) reduziram a precisão, indicando que o modelo associa status social à capacidade técnica.
  • Religião: Causou volatilidade extrema e divergente entre modelos. Por exemplo, a persona "Cristão" reduziu drasticamente o desempenho do DeepSeek V3 em estratégia, mas melhorou ligeiramente o do GPT-4o-mini, sugerindo que os vieses dependem dos dados de pré-treinamento específicos de cada modelo.

5. Significado e Conclusão

O estudo conclui que a atribuição de personas introduz um eixo de vulnerabilidade negligenciado nos sistemas de agentes LLM modernos.

• Risco Operacional: A volatilidade comportamental e a introdução de vieses implícitos representam riscos diretos para a implantação segura em setores de alto risco (saúde, finanças, justiça), onde a consistência e a equidade são críticas.
• Interferência no Raciocínio: Os vieses não afetam apenas o "tom" da resposta, mas interferem nos processos centrais de raciocínio e planejamento necessários para a execução de tarefas.
• Implicações Futuras: É imperativo desenvolver técnicas de interpretabilidade para entender como a condicionalidade de persona afeta as políticas de ação e criar intervenções de debiasing (desviesamento) específicas para garantir que agentes LLM permaneçam robustos e equitativos independentemente do contexto de usuário ou atribuição de papel.

Em resumo, o trabalho alerta que, à medida que os agentes LLM assumem responsabilidades no mundo real, a simples atribuição de uma identidade demográfica pode comprometer sua confiabilidade, exigindo novas abordagens de segurança e robustez.