Can LLMs Truly Embody Human Personality? Analyzing AI and Human Behavior Alignment in Dispute Resolution

Resumo Técnico: Os LLMs podem realmente incorporar a personalidade humana?

Título Original: Can LLMs Truly Embody Human Personality? Analyzing AI and Human Behavior Alignment in Dispute Resolution

1. O Problema (Problem)

Com o aumento do uso de Grandes Modelos de Linguagem (LLMs) em contextos sociais de alto impacto — como mediação de conflitos, negociações e treinamentos de resolução de disputas — surge uma questão crítica: os LLMs, quando instruídos com traços de personalidade, conseguem reproduzir fielmente os padrões de comportamento humano derivados dessa personalidade?

Atualmente, assume-se que "promptar" um modelo com traços do Big Five Inventory (BFI) é suficiente para criar um agente que atue como um substituto (proxy) comportamental humano. No entanto, a fidelidade comportamental dos LLMs em interações emocionalmente carregadas e estratégicas ainda não foi rigorosamente validada, o que pode levar a consequências éticas e sociais se esses modelos forem usados para simular dinâmicas humanas de forma imprecisa.

2. Metodologia (Methodology)

Os autores propõem um framework de avaliação para comparar diretamente o comportamento humano e o de LLMs em diálogos de resolução de disputas. A metodologia divide-se em três pilares:

• Dataset Humano (KODIS): Utilizaram o corpus KObe DISpute (KODIS), que contém diálogos reais entre humanos (compradores e vendedores) em cenários de disputa emocional sobre itens comprados online. O dataset inclui perfis de personalidade BFI dos participantes.
• Simulação LLM-to-LLM (L2L): Criaram um conjunto de dados paralelo onde dois LLMs (GPT-4o mini, Claude 3.7 Sonnet e Gemini 2.0 Flash) negociam entre si. Os modelos foram configurados com perfis de personalidade BFI amostrados da mesma distribuição empírica dos humanos para garantir uma comparação justa.
• Métricas de Avaliação:
  • Resultados Finais: Pontuação (Score), Aceitação de ofertas (Accept) e Permanência na negociação (Not Walk-Away).
  • Comportamento Estratégico (Framework IRP): Categorização de falas em Interesses, Direitos e Poder (Interests-Rights-Power). Foram calculadas métricas de Razão IRP (frequência de estratégias cooperativas vs. competitivas), Reciprocidade (se o agente retribui a estratégia do parceiro) e Escalação/Desescalação (reação a movimentos não-competitivos).

3. Principais Contribuições (Key Contributions)

1. Framework de Avaliação de Alinhamento: Um método sistemático para comparar o alinhamento psicológico entre humanos e agentes de IA em contextos de conflito.
2. Metodologia de Criação de Dataset L2L: Uma técnica para gerar diálogos de IA com perfis de personalidade e preferências de questões (ex: importância de um pedido de desculpas) pareados com dados humanos.
3. Validação de Anotação via LLM: Demonstração de que modelos como o GPT-4o podem ser usados para anotar estratégias IRP com alta precisão (F1-score de 0.79 a 0.81), validada por humanos.

4. Resultados (Results)

Os resultados revelam divergências significativas entre humanos e LLMs, desafiando a premissa de que modelos instruídos com personalidade são proxies confiáveis:

• Divergência em Resultados de Negociação: Em humanos, os resultados (pontuação) eram moldados mais pela dinâmica da interação do que pela personalidade estável. Nos LLMs, a personalidade teve um efeito direto e claro nos resultados (ex: no GPT-4, maior concordância/agreeableness resultou em pontuações menores).
• Padrões de Estratégia (IRP):
  • Humanos: Mostram um uso equilibrado e flexível de estratégias, baseando-se fortemente em "Fatos" e adaptando-se ao contexto.
  • LLMs: Tendem a ser mais transacionais e rígidos. Eles utilizam excessivamente "Propostas" e "Concessões", ignorando frequentemente a fase de fundamentação factual que os humanos utilizam no início do diálogo.
• Reciprocidade e Escalação: Os LLMs apresentam comportamentos mais polarizados. O GPT-4, por exemplo, tende a escalar conflitos mais rapidamente do que os humanos, enquanto o Claude favorece a desescalação de forma quase constante.
• Diferenças entre Modelos: O Gemini mostrou maior sobreposição com os padrões humanos em termos de frequência de estratégias competitivas e cooperativas, enquanto o GPT-4o mini divergiu mais significativamente.

5. Significância (Significance)

O estudo conclui que, embora os LLMs consigam emular traços de personalidade em nível de texto, eles falham em replicar a dinâmica comportamental complexa e adaptativa que esses traços geram em humanos durante conflitos.

Implicações:

• Aviso de Segurança: O uso de LLMs para simular comportamentos humanos em aplicações sociais críticas (como coaching de negociação ou tomada de decisão assistida) deve ser feito com cautela, pois os modelos podem apresentar vieses de personalidade que não existem na realidade humana.
• Necessidade de Fundamentação Psicológica: O trabalho enfatiza que o desenvolvimento de IAs socialmente responsáveis exige mais do que apenas prompting de traços; exige validação comportamental e integração de modelos psicológicos mais profundos para garantir o alinhamento com a complexidade humana.