Resumo Técnico: Agentes de LLMs São Behavioramente Coerentes?

Declaração do Problema

O avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) impulsionou a "tese da substituição": a hipótese de que agentes sintéticos podem servir como substitutos válidos para participantes humanos reais em pesquisas sociais e comportamentais. Embora trabalhos anteriores tenham demonstrado que LLMs podem gerar respostas a pesquisas alinhadas com demografias humanas ou opiniões agregadas, uma questão mais fundamental permanece sem resposta: Agentes de LLMs mantêm consistência comportamental empírica através de diferentes configurações experimentais? Especificamente, se um agente recebe um perfil latente (por exemplo, preferências específicas e traços de personalidade), seu comportamento conversacional em interações multiagente reflete fielmente esse perfil de acordo com modelos comportamentais humanos estabelecidos? Este artigo argumenta que o alinhamento superficial é insuficiente; agentes devem demonstrar coerência comportamental — a capacidade de sustentar consistência impulsionada por traços através de dinâmicas sociais complexas e multi-turno — para serem substitutos viáveis.

Metodologia

Os autores propõem um novo quadro experimental projetado para investigar a coerência comportamental de agentes de LLMs, testando seus estados internos contra interações externas. O quadro consiste em cinco etapas sequenciais:

1. Seleção de Tópicos: Nove tópicos são selecionados, categorizados por níveis de contenciosidade ($C \in \{1, 2, 3\}$), variando de baixo (por exemplo, "Coca-Cola vs. Pepsi") a alto (por exemplo, "Imigração").
2. Construção de Agentes: Agentes são gerados com perfis demográficos controlados (idade, gênero, localização, educação, urbanidade) e instruções explícitas de viés ($B \in \{1, 2, 3\}$) relativas ao tópico.
3. Extração de Estado Latente: Antes da interação, a Preferência ($P$) e a Abertura ($O$) de cada agente são elicidas.
   • $P$: Uma pontuação (1–5) indicando concordância com uma declaração sobre o tópico.
   • $O$: Uma pontuação (1–9) derivada de perguntas Sim/Não sobre receptividade a novas ideias e influência social (baseada no traço Big Five de Abertura).
4. Emparelhamento de Agentes: Agentes são emparelhados mecanicamente para formar todas as combinações possíveis de tuplas $(P, O, B)$, garantindo interações diversas (por exemplo, preferências alinhadas versus divergentes, níveis variados de abertura).
5. Conversa e Avaliação: Pares engajam em diálogos multi-turno. Um LLM como juiz pontua o Acordo ($A$) em cada turno em uma escala de 1–5.

O estudo avalia o comportamento do agente contra seis hipóteses comportamentais humanas específicas derivadas da literatura de psicologia social. Essas hipóteses preveem como variáveis como lacunas de preferência, instruções de viés, sentimento compartilhado, contenciosidade do tópico e abertura devem influenciar os resultados de acordo. O quadro distingue entre testes de "nível superficial" (tendências agregadas) e testes "em profundidade" (consistência condicional granular).

Contribuições Principais

• Um Quadro de Coerência: O artigo introduz um método sistemático para avaliar agentes de LLMs não apenas no alinhamento de respostas estáticas, mas na consistência comportamental dinâmica através de estados internos variados e contextos externos.
• Evidência Empírica de Incoerência: O estudo fornece evidências robustas de que LLMs atuais falham em manter coerência comportamental quando submetidos a testes complexos e multivariados, mesmo quando passam em verificações agregadas mais simples.
• Modos de Falha Sistemáticos: Os autores identificam padrões específicos de falha, como a incapacidade de sustentar desacordo apesar de preferências opostas e a tradução inconsistente de sentimento compartilhado em acordo.

Resultados Experimentais

O estudo testou modelos das famílias Qwen3, Llama3 e Gemma3 através de vários tamanhos de parâmetros (de 0,6B a 32B). Os resultados revelam um padrão consistente: Testes de nível superficial passam, mas testes em profundidade falham.

1. Lacuna de Preferência Diminui o Acordo (Passa): Em nível agregado, pares com preferências alinhadas ($gap=0$) mostraram maior acordo do que aqueles com preferências divergentes, consistente com modelos comportamentais humanos.
2. Assimetria de Instrução de Viés (Falha): Embora instruções de viés tenham amplificado com sucesso o acordo entre agentes alinhados, elas falharam em amplificar o desacordo entre agentes com lacunas de preferência máximas. Em vez de polarizar, agentes enviesados frequentemente convergiram, revelando uma assimetria em como o viés afeta o comportamento.
3. Sentimento Compartilhado, Destinos Divergentes (Falha): Modelos humanos preveem que sentimento negativo compartilhado (por exemplo, ambos os agentes desagrando fortemente um tópico) deve produzir níveis de acordo comparáveis ao sentimento positivo compartilhado. Os resultados mostraram um viés direcional: agentes com preferências positivas compartilhadas concordaram significativamente mais do que aqueles com preferências negativas compartilhadas, mesmo quando as lacunas de preferência eram idênticas.
4. Contenciosidade em Preferência Compartilhada (Falha): Quando agentes compartilhavam preferências idênticas, a contenciosidade do tópico não deveria afetar os níveis de acordo. No entanto, as pontuações de acordo variaram significativamente com base na contenciosidade do tópico, indicando que os estados internos dos agentes não permanecem estáveis através de diferentes contextos de tópico.
5. Abertura Aumenta o Acordo (Passa): Em nível agregado, maior abertura combinada correlacionou-se com maior acordo, correspondendo às expectativas comportamentais humanas.
6. Baixa Abertura e Grande Lacuna de Preferência (Falha): A hipótese de que agentes "teimosos" (baixa abertura) com visões opostas deveriam produzir o menor acordo foi violada. Em muitos casos, pares de baixa abertura com grandes lacunas de preferência produziram maior acordo do que o esperado, falhando em exibir a intratabilidade prevista.

Essas falhas foram observadas em famílias e tamanhos de modelos, sugerindo que a incoerência comportamental é uma propriedade geral das arquiteturas atuais de LLMs, e não um artefato de um modelo ou escala específicos.

Significado e Alegações

O artigo conclui que, embora agentes de LLMs possam emular com sucesso respostas humanas em configurações isoladas e estáticas (por exemplo, pesquisas), eles falham em sustentar coerência impulsionada por traços em interações dinâmicas e multiagente. A "tese da substituição" é, portanto, criticamente limitada: agentes podem imitar a aparência do comportamento social humano no agregado, mas carecem da consistência empírica subjacente necessária para replicar fielmente modelos comportamentais humanos em cenários complexos.

Os autores afirmam que, à medida que os modelos comportamentais se tornam mais complexos ou granulares, os LLMs falham cada vez mais em replicar o comportamento humano. Isso representa uma lacuna crítica em sua capacidade de servir como substitutos para participantes reais em pesquisas com sujeitos humanos, particularmente para estudos que dependem da estabilidade de traços de personalidade e das dinâmicas de desacordo social. O artigo não propõe novas aplicações ou soluções arquitetônicas futuras, mas serve como uma avaliação cautelosa do estado atual de agentes sintéticos nas ciências sociais.