Agents with Feelings? Personality and Emotion in Multi-Agent Software Teams

Resumo Técnico: Agentes com Sentimentos? Personalidade e Emoção em Equipes de Software Multiagentes

Declaração do Problema
Embora os sistemas de modelos de linguagem de grande escala (LLM) multiagentes para Engenharia de Software (SE) diferenciem cada vez mais os agentes por meio de papéis e fluxos de trabalho atribuídos (ex: planejador, implementador, revisor), há uma compreensão limitada de como perfis comportamentais — especificamente personalidade e emoção — afetam o desempenho da equipe e a dinâmica de colaboração. Sabe-se que equipes humanas de software são influenciadas por traços de personalidade, estados emocionais e estilos de trabalho, mas permanece incerto se induzir perfis semelhantes em agentes LLM altera sua eficácia em tarefas colaborativas de SE. Pesquisas anteriores exploraram o uso de personas em configurações de agente único ou em contextos não relacionados à SE, mas o impacto de configurações sistemáticas de personalidade e emoção em equipes de SE colaborativas permanece amplamente inexplorado.

Metodologia
Os autores conduziram um estudo empírico sistemático envolvendo 78 configurações de perfis de agentes em quatro LLMs (Qwen2.5-1.5B, Llama-3.1-8B, Mistral-Small-24B e Qwen2.5-32B) e duas tarefas de SE: geração de código e revisão de código.

1. Estrutura Informada pela Psicologia: O estudo constrói "personas" integrando:

   • Personalidade: Três traços do Big Five (Conscienciosidade, Abertura e Extroversão) definidos em níveis Alto, Baixo ou Neutro.
   • Emoção: Seis estados (Raiva, Medo, Nojo, Tristeza, Felicidade, Neutro) baseados na teoria das emoções básicas e em pesquisas de SE.
   • Estilos de Trabalho: Sete tendências relevantes para SE derivadas da taxonomia O*NET (ex: Inovação vs. Preferência por Métodos Comprovados, Cautela vs. Decisividade de Ação Imediata).
   • Papéis de Tarefa: Papéis específicos para geração de código (Planejador, Implementador, Revisor/Revisar) e revisão de código (Escritor 1, Escritor 2, Supervisor).
   • Nota: A estrutura gera descrições de persona em linguagem natural coerentes (120–180 palavras) que combinam esses elementos, as quais são então atribuídas aos agentes.

2. Design Experimental:

   • Equipes de Perfil Compartilhado: Todos os agentes em uma equipe recebem o mesmo perfil de personalidade/emoção (54 configurações).
   • Equipes de Perfil Misto: Os agentes recebem perfis diferentes. O estudo selecionou as três melhores configurações de perfil compartilhado para cada par de modelo-tarefa e as recombinou entre os papéis para criar 24 configurações de perfil misto.
   • Tarefas:
     • Geração de Código: Um fluxo de trabalho de três agentes (Planejar → Implementar → Revisar/Revisar) avaliado em 282 problemas do LiveCodeBench usando pass@1 como métrica.
     • Revisão de Código: Um fluxo de trabalho de três agentes (Dois Escritores → Supervisor) avaliado em 377 instâncias do conjunto de dados Hydra-Reviewer usando BLEU-4 suavizado contra comentários escritos por humanos.
   • Métricas: Desempenho da tarefa (pass@1, BLEU), sinais comportamentais (taxas de revisão, taxas de sobre-revisão, uso de tokens) e polaridade de sentimento (usando SentiCR).

Principais Resultados

1. Impacto no Desempenho (RQ1): A escolha do perfil afeta significamente o desempenho. Na geração de código, a lacuna entre as melhores e piores configurações de perfil compartilhado variou de 7,1 a 11,3 pontos percentuais em pass@1 entre os modelos. Na revisão de código, as lacunas variaram de 0,5 a 1,1 pontos BLEU. No entanto, o perfil ideal não é universal; ele varia significativamente conforme o modelo e a tarefa (ex: "Medo-Baixa Conscienciosidade-Baixa Abertura-Alta Extroversão" foi o melhor para Qwen 1.5B, enquanto "Tristeza-Alta Conscienciosidade-Alta Abertura-Alta Extroversão" foi o melhor para Qwen 32B).
2. Perfis Mistos vs. Compartilhados (RQ2): Equipes de perfil misto (onde os agentes possuem perfis diferentes) superaram a melhor configuração de perfil compartilhado em seis de oito cenários de modelo-tarefa. Isso sugere que a especialização de perfis comportamentais por papel gera ganhos adicionais sobre as configurações de equipe homogêneas.
3. Influência Comportamental (RQ3): Os perfis alteram significativamente a dinâmica de colaboração:
   • Atividade de Revisão: Perfis de "Medo" e "Alta Conscienciosidade" aumentaram consistentemente as taxas de revisão e o uso de tokens. Por exemplo, o medo aumentou as chances de revisão em 3,95× em comparação com a felicidade.
   • Sobre-revisão: Perfis de alta conscienciosidade e medo levaram a taxas mais altas de "sobre-revisão" (solicitar mudanças mesmo quando a solução já estava correta), sem ganhos consistentes de desempenho.
   • Custo: Esses perfis aumentaram os custos computacionais (uso de tokens) devido a interações mais frequentes e respostas mais longas, embora não tenham melhorado de forma confiável a qualidade do resultado final.
   • Sentimento: O sentimento negativo não explicou robustamente as diferenças de desempenho entre as melhores e piores configurações.

Principais Contribuições

• Estrutura: Propôs uma estrutura informada pela psicologia para construir personas de agentes LLM em SE, integrando traços de personalidade, emoções, estilos de trabalho O*NET e papéis de tarefa.
• Evidência Empírica: Forneceu um estudo de larga escala (78 configurações, 659 instâncias de tarefas) demonstrando que perfis de personalidade e emoção são uma dimensão de design crítica que afeta tanto os resultados das tarefas quanto a eficiência da colaboração.
• Insight de Design: Estabeleceu que estratégias de perfis mistos podem superar estratégias de perfis compartilhados e que "mais escrutínio" (impulsionado pelo medo ou alta conscienciosidade) não equivale necessariamente a um melhor desempenho, destacando um compromisso entre custo e desempenho.

Significância e Alegações
O artigo afirma que os perfis de agentes não são meramente textos decorativos de prompt, mas atuam como controles comportamentais eficazes que moldam os fluxos de trabalho multiagentes. As descobertas sugerem que:

• A eficácia do perfil é específica para o modelo e a tarefa, não sendo universalmente transferível.
• Projetistas de sistemas de SE multiagentes devem tratar a atribuição de perfis como um fator experimental a ser otimizado para contextos específicos de modelo-tarefa, em vez de adotar uma abordagem única.
• Há necessidade de mecanismos para distinguir revisões produtivas de revisões desnecessárias, uma vez que certos perfis (medo, alta conscienciosidade) aumentam o esforço de colaboração e o custo sem garantir benefícios de desempenho.
• Sistemas futuros devem explorar a busca automatizada de perfis e mecanismos de atribuição adaptativa que equilibrem o desempenho e o custo computacional.

Os autores mantêm uma postura modesta, observando que esses resultados não implicam que os LLMs possuam emoções ou personalidades reais, mas sim que esses perfis servem como controles de nível de prompt que influenciam o comportamento dentro do fluxo de trabalho definido.