Resumo Técnico: Agente de Simulação de Usuário Consciente de Decisão para Avaliação de Sistemas de Recomendação Conversacionais

Declaração do Problema

Os Sistemas de Recomendação Conversacionais (CRS) dependem cada vez mais de simuladores de usuários baseados em Modelos de Linguagem de Grande Escala (LLM) para avaliação automatizada. No entanto, existe uma limitação crítica nos simuladores atuais: eles frequentemente exibem capacidades de processamento de informações irrealisticamente fortes, herdadas de seus LLMs subjacentes. Diferentemente de consumidores humanos reais, esses agentes raramente exibem hesitação ou adiamento de decisão quando confrontados com opções excessivas (sobrecarga de escolha). Consequentemente, os simuladores existentes produzem taxas de aceitação excessivamente otimistas, obscurecendo os "atritos entre intenção e comportamento" que reduzem as taxas de conversão no mundo real. As estruturas atuais falham em modelar as restrições cognitivas e os processos de adiamento de decisão documentados na economia comportamental.

Metodologia: A Estrutura Hesitator

Os autores propõem o Hesitator, uma estrutura de simulação de usuários fundamentada em teoria, projetada para modelar explicitamente a tomada de decisão humana sob sobrecarga de escolha. A estrutura é construída em torno de um Módulo de Decisão modular que separa a seleção de itens baseada em utilidade das decisões de comprometimento conscientes da sobrecarga.

1. Arquitetura Central

A estrutura opera como um diálogo baseado em turnos entre um Agente de Vendas e um Agente de Usuário, governado por um estado global $G = (P, S)$ representando a persona do usuário e o cenário de compras. O Módulo de Decisão consiste em dois componentes fundamentados cognitivamente:

• Módulo de Seleção (Avaliação de Utilidade):

  • Mecanismo: Implementa um processo heurístico-compensatório de duas etapas baseado em Bettman et al. (1998).
  • Etapa 1 (Filtragem Não Compensatória): Utiliza a Eliminação por Aspectos (EBA) para podar candidatos que violam restrições rígidas (por exemplo, orçamento).
  • Etapa 2 (Avaliação Compensatória): Aplica uma função Aditiva Ponderada (WADD) aos candidatos restantes para estimar a utilidade.
  • Limiarização: Compara a utilidade mais alta contra um limiar dependente da exigência. Se a utilidade for insuficiente, a recomendação é rejeitada imediatamente.

• Módulo de Hesitação (Decisão de Comprometimento):

  • Mecanismo: Modela a probabilidade de adiamento com base na carga cognitiva percebida, mesmo que exista uma opção satisfatória.
  • Vetor de Sobrecarga: Quantifica a sobrecarga de escolha por meio de um vetor de quatro dimensões ($v$) correspondendo a: Tamanho do Sortimento, Complexidade do Conjunto de Escolhas, Dificuldade da Tarefa e Incerteza de Preferência.
  • Calibração Meta-Analítica: Em vez de depender de priores de LLM, o módulo mapeia níveis discretos de sobrecarga percebida pelo LLM para tamanhos de efeito contínuos usando coeficientes de regressão de uma meta-análise de Chernev et al. (2015).
  • Saída Probabilística: Converte o tamanho de efeito agregado da sobrecarga ($d_{total}$) em uma probabilidade de aceitação ($P_{accept}$) usando uma transformação de proporção baseada em arco-seno. Uma compra é acionada apenas se uma amostra aleatória cair abaixo dessa probabilidade; caso contrário, o agente adia.

• Módulo de Resposta: Converte a decisão interna (aceitar, rejeitar ou adiar) em respostas em linguagem natural por meio de um LLM.

2. Configuração Experimental

• Domínios: Eletrônicos e Videogames (de Avaliações da Amazon 2023).
• Linhas de Base: Comparado contra três simuladores de última geração: PersonaLens, UserSimCRS e RecUserSim.
• Condições: Avaliado sob condições de sobrecarga cognitiva Baixa, Média e Severa.
• Métricas: Taxa de Sucesso (SR), Qualidade Subjetiva do Diálogo e Credibilidade (Taxa de Alucinação).

Resultados Principais

1. Mitigação de Comportamentos Irrealistas

Sob sobrecarga cognitiva crescente (de Baixa a Severa), os simuladores de linha de base exibiram taxas de sucesso planas ou até mesmo crescentes, contradizendo o comportamento humano.

• Correção: A integração do Módulo de Decisão (+DM) nessas linhas de base causou uma queda significativa nas taxas de sucesso sob sobrecarga severa, alinhando-se aos padrões cognitivos humanos.
• Exemplo: No domínio de Eletrônicos, o RecUserSim+DM caiu de 67,5% para 22,5% de taxa de sucesso sob sobrecarga severa, enquanto a versão padrão permaneceu alta.

2. Reprodução de Fenômenos da Economia Comportamental

O Hesitator reproduziu com sucesso padrões comportamentais estabelecidos:

• Curva em U Invertido: As taxas de sucesso aumentaram inicialmente com a carga de informações, mas declinaram assim que a carga cognitiva se tornou excessiva (Jacoby et al., 1974).
• Efeitos de Atributo vs. Sortimento: O aumento das informações sobre atributos melhorou o desempenho (fornecendo pistas diagnósticas), enquanto o aumento do tamanho do sortimento reduziu o desempenho (induzindo conflito de decisão), consistente com Tversky e Shafir (1992).
• Incerteza de Preferência: Agentes com menor incerteza de preferência (maior expertise) mostraram maior resiliência à sobrecarga de informações, exibindo inclinações pós-pico mais planas.

3. Qualidade Conversacional e Credibilidade

• Qualidade: O Hesitator superou as linhas de base em avaliações subjetivas em dimensões como naturalidade, clareza e realismo.
• Credibilidade: A adição do Módulo de Decisão não aumentou as taxas de alucinação; na verdade, reduziu-as ligeiramente para a maioria dos simuladores (por exemplo, o PersonaLens caiu de 0,1290 para 0,1088).

4. Estudo de Ablação

A remoção do Módulo de Seleção estruturado (substituindo-o por um prompt de avaliação padrão) levou a um desempenho instável à medida que a contagem de atributos aumentava, falhando em reproduzir o efeito positivo esperado de atributos adicionais. Isso confirma a necessidade da estratégia de decisão estruturada em duas etapas.

Significado e Contribuições

O artigo afirma as seguintes contribuições:

1. Identificação de uma Lacuna Crítica: Os autores identificam que os simuladores existentes baseados em LLM carecem de restrições cognitivas, levando a estimativas de desempenho infladas para CRS devido a taxas de aceitação irrealisticamente altas sob sobrecarga de escolha.
2. Módulo de Decisão Plug-and-Play: Eles propõem um componente modular que modela o atrito entre intenção e comportamento, permitindo que usuários simulados adaptem decisões de comprometimento com base na carga cognitiva ambiental.
3. Estrutura Hesitator: Uma estrutura completa de simulação que integra este módulo, reproduzindo com sucesso padrões comportamentais estabelecidos da pesquisa em tomada de decisão (por exemplo, sobrecarga de escolha, conflito de decisão).
4. Padrão de Avaliação Confiável: A estrutura fornece um padrão de avaliação mais realista e confiável para avaliar CRS, garantindo que o comportamento do usuário simulado reflita a hesitação e o adiamento observados na psicologia do consumidor do mundo real.

Os autores concluem que, ao fundamentar o comportamento de adiamento do agente em evidências empíricas de grande escala (meta-análise) em vez de priores do modelo, o Hesitator oferece uma representação mais fiel da dinâmica de decisão humana sob restrições cognitivas.