Resumo Técnico: Inferindo a Disposição a Pagar a partir de Escolhas Subjetivas em Grandes Modelos de Linguagem

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como agentes autônomos em domínios como assistência de viagens e suporte a compras, eles são frequentemente solicitados a tomar decisões subjetivas onde não existe uma resposta objetivamente correta. Uma lacuna crítica na pesquisa atual é entender se esses modelos possuem fronteiras de decisão robustas e interpretáveis e quão suscetíveis essas fronteiras são à manipulação via engenharia de prompt ou contexto do usuário. Especificamente, permanece incerto até que ponto os LLMs podem exibir preferências latentes consistentes que possam ser quantificadas e comparadas a benchmarks econômicos humanos, e se essas preferências podem ser sistematicamente deslocadas por variações simples de prompt.

Metodologia

O estudo adota um framework econômico baseado em modelagem de escolha discreta para inferir preferências latentes a partir do comportamento de LLMs. A metodologia procede através das seguintes etapas:

1. Geração de Dilemas: Os autores construíram 240 dilemas de escolha baseados em um estudo anterior de Masiero et al. (2015) sobre seleção de quartos de hotel. Cada dilema apresenta duas alternativas (A e B) definidas por sete atributos: Vista, Andar, Acesso ao Clube do Hotel, Frigobar Gratuito, Smartphone para Hóspedes, Política de Cancelamento e Preço por noite.
2. Design Experimental: O estudo avalia três LLMs de última geração: Llama 3.3 70B, GPT-4o e Gemini-3.1-Pro. Modelos menores foram excluídos devido ao baixo poder explicativo e vieses sistemáticos. Os experimentos foram conduzidos com uma temperatura de 0 para minimizar o ruído estocástico, embora verificações de robustez tenham sido realizadas a 0.7.
3. Estratégias de Prompting: Os autores testaram quatro configurações distintas de prompting para avaliar a Hipótese 2 (Deslocamentos impulsionados pelo contexto):
   • Baseline: Sem fornecimento de informações do usuário.
   • Aprendizado em Contexto (ICL): Fornecimento de exemplos de escolhas passadas do usuário (ex: escolher consistentemente opções mais baratas ou mais caras).
   • Prompt de Persona: Atribuição de um perfil de usuário específico (ex: um estudante com orçamento limitado vs. um viajante de negócios pago pela empresa).
   • Combinado: Uma combinação de persona e exemplos de ICL.
4. Modelagem de Dados: As escolhas simuladas foram analisadas usando modelos de logit multinomial. A função de utilidade foi definida como $U_c^{(i)} = \epsilon_c^{(i)} + \alpha_c + \beta_c \cdot x_c^{(i)}$. A partir dos coeficientes estimados ($\beta$), os autores derivaram valores de Disposição a Pagar (WTP - Willingness to Pay) para cada atributo usando a fórmula: $WTP_k = \frac{\beta_k \cdot \sigma_{price}}{\beta_{price} \cdot \sigma_k}$.
5. Análise de Robustez: O estudo incluiu extensas verificações de viés de ordem (troca das alternativas A e B), paráfrase de prompt, conversão de moeda (HKD vs. USD) e variações de temperatura.

Principais Contribuições

O artigo traz quatro contribuições primárias para a literatura sobre elicitação de preferências em IA:

• Quantificação de Preferências de LLM: Demonstra que estimativas de WTP economicamente interpretáveis e significativas podem ser derivadas para LLMs maiores, fornecendo uma visão estruturada das tendências de decisão do modelo que vai além das métricas de precisão padrão.
• Sensibilidade Contextual: Mostra empiricamente que o comportamento de decisão do LLM é altamente maleável. A inclusão de contexto específico do usuário (escolhas passadas ou personas) induz deslocamentos sistemáticos e direcionais nos valores de WTP, muitas vezes amplificando-os significativamente.
• Fragilidade de Prompt: O estudo destaca que os valores de WTP são sensíveis a mudanças de representação, incluindo comprimento do prompt, enquadramento de atributos (positivo vs. neutro), ordem de apresentação e moeda.
• Identificação de Casos de Falha: Os autores identificam cenários específicos onde a estimativa de WTP falha, como quando os modelos exibem viés de ordem extremo, aderem a fronteiras de decisão rígidas baseadas em regras (ignorando trocas/trade-offs) ou produzem valores de WTP negativos devido a coeficientes de preço positivos.

Principais Resultados

Emergência de Preferência Estrutural (Hipótese 1)

Modelos maiores (Llama 3.3 70B, GPT-4o, Gemini-3.1-Pro) geralmente exibem estimativas de WTP interpretáveis com altos valores de pseudo-$R^2$, indicando que suas escolhas podem ser racionalizadas por um modelo de escolha discreta padrão. No entanto, observaram-se desvios sistemáticos em relação aos benchmarks humanos (Masiero et al., 2015):

• Subvalorização: Os modelos geralmente atribuíram menor WTP aos atributos "Vista" e "Andar" em comparação com participantes humanos.
• Sobrevalorização: Os modelos consistentemente sobrevalorizaram o "Acesso ao Clube do Hotel", com estimativas variando de 2x a 4x superiores aos benchmarks humanos.
• Variância entre Modelos: GPT-4o e Gemini-3.1-Pro geralmente mostraram maior poder explicativo ($R^2$) do que o Llama 3.3 70B, embora todos os modelos tenham exibido algum grau de viés de ordem.

Deslocamentos de Valor Impulsionados pelo Contexto (Hipótese 2)

O fornecimento de contexto do usuário alterou significativamente as estimativas de WTP:

• Deslocamentos para Cima: Condicionar os modelos a preferências "caras" (via exemplos de ICL de escolhas de alto custo ou uma persona de "negócios") levou a aumentos dramáticos no WTP. Por exemplo, adicionar três exemplos caros aumentou o WTP para "Acesso ao Clube" por fatores de 6.4x (Llama), 8.5x (GPT-4o) e 10.07x (Gemini) em relação ao baseline.
• Deslocamentos para Baixo: Condicionar em preferências "baratas" (persona de estudante ou exemplos baratos) geralmente baixou o WTP. Em casos extremos (Gemini-3.1-Pro com persona de estudante), o modelo colapsou para uma regra de decisão de atributo único, selecionando o quarto de menor preço independentemente de outros recursos, tornando a estimativa de WTP impossível.
• Efeitos de Interação: Combinar personas com exemplos de ICL frequentemente ampliou esses efeitos, levando a avaliações mais extremas para a persona de negócios e avaliações mais realistas (embora ainda deslocadas) para a persona de estudante no Llama 3.3 70B.

Deslocamentos Dependentes de Prompt (Hipótese 3)

O estudo confirmou que os valores de WTP não são estáveis através de variações de prompt:

• Sensibilidade de Enquadramento: Encurtar a descrição de "Acesso ao Clube" reduziu seu WTP em aproximadamente 50%, enquanto expandir a descrição de "Vista" dobrou ou quadruplicou seu WTP dependendo do modelo.
• Viés de Ordem: Embora reduzido em modelos maiores em comparação com modelos menores, o viés de ordem persistiu, com constantes específicas de alternativa permanecendo estatisticamente significativas.
• Moeda e Temperatura: Os modelos mostraram relativa robustez a mudanças de moeda (USD vs. HKD) e variações de temperatura (0 vs. 0.7), embora o Llama 3.3 70B tenha exibido maior variância do que o Gemini-3.1-Pro.

Significância e Implicações Práticas

O artigo conclui que, embora LLMs maiores possam gerar valores de WTP interpretáveis, eles não são otimizadores de preferência autônomos e confiáveis para tomada de decisão subjetiva sem salvaguardas. A significância dessas descobertas reside nas seguintes implicações práticas:

1. Transparência e Auditoria: A metodologia proposta oferece uma ferramenta para auditar o comportamento de decisão do LLM, revelando se as recomendações são impulsionadas por preferências de atributos ou por heurísticas como o viés de ordem.
2. Seleção de Modelo: Profissionais devem evitar o uso de modelos menores para suporte de decisão subjetiva devido à sua suscetibilidade ao viés de ordem e baixo poder explicativo. Mesmo modelos maiores exigem monitoramento cuidadoso.
3. Gestão de Contexto: A adição de informações do usuário (personas ou histórico) deve ser tratada com extrema cautela, pois pode induzir comportamentos de avaliação extremos que divergem significamente das normas humanas.
4. Vulnerabilidade de Enquadramento: A sensibilidade ao enquadramento positivo sugere que assistentes baseados em LLM podem ser manipulados por fornecedores para supervalorizar características específicas. Sistemas devem ser "protegidos" contra tal enquadramento.
5. Humano no Circuito (Human-in-the-Loop): Dados os casos de falha identificados (ex: WTP negativo, seguimento de regras rígidas), os autores argumentam contra a autonomia total para agentes de viagem de LLM. Em vez disso, a implementação deve incluir salvaguardas, randomização de ordem e supervisão humana para detectar trocas incoerentes.

O estudo enfatiza que as preferências derivadas de LLM são dependentes do modelo e altamente sensíveis ao design do prompt, sugerindo que futuros implementos em ambientes de agentes devem priorizar verificações de robustez e mecanismos de humano no circuito em vez de delegação sem restrições.