Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

Resumo Técnico: Avaliação de Comportamentos Antropomórficos em Modelos de Linguagem de Grande Escala através de Múltiplos Turnos

Definição do Problema
A tendência dos usuários de antropomorfizar Modelos de Linguagem de Grande Escala (LLMs) — atribuindo qualidades humanas como julgamento moral, consciência emocional e senciência — apresenta um compromisso complexo. Embora possa aumentar o engajamento do usuário, isso acarreta riscos significativos de segurança, incluindo a superestimação das capacidades da IA, o compartilhamento de informações privadas e a vulnerabilidade a influências indevidas. Os paradigmas atuais de avaliação de segurança de LLMs dependem amplamente de benchmarks estáticos de turno único, que não conseguem capturar a natureza interativa e emergente dos comportamentos antropomórficos. Além disso, as avaliações existentes de múltiplos turnos focam frequentemente em "red-teaming" adversário, em vez de interações de usuários inocentes e realistas, e carecem de métodos automatizados e escaláveis para uma avaliação sistemática. Existe uma lacuna crítica em ferramentas de avaliação de múltiplos turnos, empiricamente fundamentadas, que possam medir de forma confiável como as escolhas de design influenciam os comportamentos antropomórficos dos modelos e prever as percepções reais dos usuários.

Metodologia: AnthroBench
Para abordar essas lac gaps, os autores introduzem o AnthroBench, um método e ferramenta empírica inovadora para avaliar comportamentos antropomórficos de LLMs em cenários realistas. A metodologia consiste em três estágios primários:

1. Taxonomia e Design de Prompts:
   Os autores decompõem o antropomorfismo em 14 comportamentos distintos, categorizados em quatro grupos:

   • Alegações de personificação: Senciência, histórico pessoal, relacionamentos pessoais e uso de pronomes de primeira pessoa.
   • Expressões de estados internos: Desejos, emoções e agência.
   • Alegações de corporeidade física: Corporeidade física, movimento físico e entrada sensorial.
   • Comportamentos de construção de relacionamento: Empatia, validação, relatabilidade e referências explícitas de relacionamento humano-IA.

   A avaliação utiliza 120 prompts base adaptados em 960 prompts contextualizados em quatro domínios de uso (amizade, coaching de vida, desenvolvimento de carreira e planejamento geral) para cobrir níveis variados de empatia e profissionalismo.

2. Avaliação Automatizada de Múltiplos Turnos:
   O núcleo da avaliação é totalmente automatizado. Um "LLM Usuário" (Gemini 1.5 Pro), interpretando o papel de um usuário humano, participa de diálogos de 5 turnos com um "LLM Alvo" (o modelo sob avaliação). Este processo gera 4.800 mensagens por LLM Alvo através de quatro sistemas avaliados: Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT-4o e Mistral Large.

   Para rotular as respostas do LLM Alvo, os autores empregam uma abordagem de LLM-como-Juiz utilizando três LLMs Juízes distintos (Gemini 1.5 Flash, Claude 3.5 Sonnet e GPT-4 Turbo). Cada Juiz anota a presença dos 13 comportamentos não relacionados a pronomes (pronomes são contados via regex) com base em definições fornecidas e exemplos negativos. Um comportamento é considerado presente se dois dos três Juízes o rotularem como tal.

3. Validação Humana:
   Para garantir a validade de construto, os autores conduziram um estudo de sujeitos humanos interativo de grande escala ($N=1.101$). Os participantes foram designados aleatoriamente para conversar com uma versão antropomórfica de "alta frequência" ou de "baixa frequência" do Gemini 1.5 Pro. Suas percepções foram medidas via:

   • Medidas explícitas: O questionário de antropomorfismo Godspeed.
   • Medidas implícitas: Uma métrica "AnthroScore" derivada das descrições escritas dos participantes sobre o chatbot, analisando a probabilidade de o sistema ser enquadrado como humano versus não humano.

Resultos Principais

• Uniformidade de Comportamento: Todos os quatro sistemas de IA avaliados exibiram perfis antropomórficos notavelmente semelhantes. Os comportamentos dominantes foram a construção de relacionamento (ex: empatia, validação) e o uso de pronomes de primeira pessoa.
• Sensibilidade Contextual: A frequência dos comportamentos antropomórficos variou conforme o domínio. Domínios sociais de alta empatia (amizade e coaching de vida) suscitaram as frequências mais altas de comportamentos antropomórficos, enquanto os domínios de desenvolvimento de carreira e planejamento geral mostraram frequências menores.
• A Necessidade de Análise de Múltiplos Turnos: Uma descoberta crítica é que os comportamentos antropomórficos frequentemente não aparecem no primeiro turno. Para nove dos 14 comportamentos, mais de 50% das instâncias foram detectadas apenas após múltiplos turnos (turnos 2–5).
• Momento Comportamental: A análise de transições turno a turno revelou que, uma vez que um comportamento antropomórfico ocorre em um turno, os turnos subsequentes têm uma probabilidade significativamente maior de exibir comportamentos antropomórficos adicionais em comparação com turnos que seguem trocas não antropomórficas.
• Sucesso da Validação: Os resultados da avaliação automatizada correlacionaram-se fortemente com as percepções humanas. Os participantes que interagiram com o modelo antropomórfico de alta frequência reportaram pontuações significativamente mais altas no questionário Godspeed e foram mais propensos a enquadrar implicitamente o sistema como humano em suas descrições, comparado ao grupo de baixa frequência.

Principais Contribuições

1. Estrutura de Avaliação de Múltiplos Turnos: O artigo vai além da avaliação de turno único, demonstrando que fenômenos sociais complexos na interação humano-IA, como a emergência do antropomorfismo, requerem avaliação de múltiplos turnos para serem capturados com precisão.
2. Automação Escalável: Apresenta um pipeline automatizado e escalável para avaliar comportamentos antropomórficos usando simulações de usuários interativos e juízes de LLM, oferecendo uma alternativa reprodutível aos estudos de sujeitos humanos que consomem muitos recursos para triagem inicial.
3. Validade de Construto: Através de um estudo humano de grande escala, os autores validam empiricamente que suas métricas automatizadas preveem as percepções antropomórficas dos usuários reais, estabelecendo um vínculo direto entre a frequência de saída do modelo e as respostas psicológicas humanas.
4. Ferramenta AnthroBench: Os autores disponibilizam o AnthroBench como uma ferramenta de benchmarking pública para apoiar desenvolvedores, pesquisadores e formuladores de políticas na avaliação e comparação de comportamentos antropomórficos entre sistemas e contextos.

Significância
O artigo argumenta que compreender a desejabilidade e os riscos do antropomorfismo da IA requer medição empírica robusta. Ao estabelecer um método de avaliação padronizado de múltiplos turnos, este trabalho fornece uma base para investigar como escolhas de design específicas (como o alinhamento pós-treinamento) influenciam a emergência de pistas sociais humanas. Os autores postulam que esses comportamentos não são meramente estilísticos, mas têm implicações consequentes para a confiança, o bem-estar e a segurança do usuário. A capacidade de medir sistematicamente esses comportamentos permite o desenvolvimento de intervenções direcionadas e informa o debate ético sobre a implantação de IA conversacional em domínios sensíveis de alta empatia.