Learning Consumer Preferences from Bundle Sales Data

Resumo Técnico: Aprendizado de Preferências de Clientes a partir de Dados de Vendas de Pacotes (Bundles)

Definição do Problema
Este artigo aborda o desafio de estimar as avaliações dos consumidores para produtos individuais utilizando dados históricos de transações, onde os produtos são vendidos tanto individualmente quanto em pacotes com desconto. Embora o agrupamento de produtos (bundling) seja uma estratégia de preços onipresente, aprender a distribuição subjacente das avaliações dos consumidores a partir de tais dados é difícil devido a três obstáculos principais:

1. Observabilidade Parcial: Os dados de transação registram decisões de compra, mas não a disposição específica para pagar (WTP - willingness-to-pay). Uma compra a um preço $p$ revela apenas que a avaliação é pelo menos $p$, criando dados com censura por intervalo.
2. Censura de Demanda: Conjuntos de dados de transações padrão normalmente omitem observações de "não compra", levando a um viés de seleção onde clientes com baixas avaliações não são observados.
3. Complexidade Estrutural: Quando pacotes são oferecidos, a utilidade de um pacote está vinculada às avaliações de seus componentes. Modelos de escolha discreta padrão (ex: Logit Multinomial) frequentemente tratam pacotes como produtos independentes, falhando em recuperar os parâmetros estruturais das avaliações dos produtos individuais.

A literatura existente frequentemente assume distribuições de demanda conhecidas ou depende de dados de pesquisas. Este artigo propõe um framework orientado por dados para aprender essas distribuições diretamente de transações de vendas de pacotes, uma lacuna destacada pelas práticas da indústria, onde a estimativa de demanda constitui a maior parte dos esforços de precificação.

Metodologia
Os autores propõem um framework de estimativa de máxima verossimilhança baseado no algoritmo de Esperança-Maximização (EM), aumentado com simulação de Monte Carlo.

• Formulação do Modelo: O modelo base assume que as avaliações dos consumidores para $I$ produtos seguem uma distribuição Gaussiana multivariada, $V \sim \mathcal{N}(\mu, \Sigma)$. A utilidade de um pacote é definida como a soma das avaliações de seus componentes (utilidade aditiva).
• Poliedros Censurados: O insight central é que uma decisão de compra observada $c_n = j$ não revela o vetor de avaliação $v_n$, mas identifica uma região poliédrica $R^j_n$ no espaço de avaliação onde $v_n$ deve residir, definida por restrições de incentivo compatível (IC - incentive-compatible; isto é, o pacote escolhido oferece maior utilidade do que todas as outras opções disponíveis e a opção externa).
• Algoritmo EM com Monte Carlo:
  • Passo E (E-step): Como a função de verossimilhança envolve integrais da distribuição normal multivariada sobre essas regiões poliédricas de alta dimensão (que carecem de soluções em forma fechada), os autores utilizam simulação de Monte Carlo para aproximar a esperança da log-verossimilhança de dados completos. Eles empregam um método de aceitação-rejeição para amostrar vetores de avaliação da distribuição normal truncada definida pelos poliedros IC.
  • Passo M (M-step): Dadas as amostras de Monte Carlo, os parâmetros $\mu$ e $\Sigma$ são atualizados usando estimadores de máxima verossimilhança padrão para a distribuição normal multivariada.
• Extensões:
  • Sinergia de Produtos: O framework é estendido para lidar com utilidades não aditivas onde os pacotes exibem complementaridade ou substituibilidade (efeitos de sinergia). Isso é modelado via uma matriz de interação pareada $A$. Para lidar com a não diferenciabilidade das restrições IC em relação a $A$, os autores introduzem um substituto diferenciável usando uma função sigmoide para suavizar as restrições rígidas, permitindo a otimização baseada em gradiente de $A$ dentro do passo M.
  • Demanda Censurada: O modelo é estendido para considerar decisões de não compra não observadas. O número total de clientes (incluindo não compradores) é tratado como uma variável latente, modelada via distribuição binomial negativa, e integrada ao passo E.
  • Modelos de Mistura Gaussiana (GMM): O framework acomoda segmentos de mercado agrupados ao permitir que a distribuição de avaliação seja uma mistura de Gaussianas.

Principais Contribuições

1. Reformulação como Dados Ausentes: O artigo reformula os dados de transação de pacotes como um problema de estimativa de dados ausentes sobre regiões poliédricas de alta dimensão (poliedros IC), generalizando o conceito de dados com censura por intervalo para múltiplas dimensões.
2. Algoritmo Escalável: O algoritmo EM proposto, combinado com simulação de Monte Carlo e técnicas de amostragem de importância, permite a estimação de distribuições de avaliação para até 6 produtos e 10.000 transações. Os autores observam que nenhum algoritmo conhecido consegue lidar com a estimação nesta escala para menus de preços de pacotes arbitrários.
3. Garantias Teóricas:
   • Identificabilidade: O artigo estabelece condições suficientes para que o modelo seja identificável. Especificamente, prova que se os itens forem vendidos separadamente a preços regulares e a pelo menos um preço promocional distinto, os parâmetros $(\mu, \Sigma)$ podem ser recuperados de forma única.
   • Convergência: Adaptando o framework de Balakrishnan et al. (2017), os autores fornecem condições sob as quais o operador EM populacional é localmente contrativo, garantindo a convergência para os parâmetros verdadeiros se inicializado dentro de uma bacia de atração específica.
4. Validação Empírica: A abordagem é validada usando conjuntos de dados sintéticos e um grande conjunto de dados do mundo real da JD.com.

Resultos

• Dados Sintéticos: Experimentos numéricos demonstram que o algoritmo converge de forma estável e que a precisão da estimativa (medida pelo erro $\ell_1$) melhora com o tamanho da amostra. O método supera um benchmark Bayesiano (baseado em Jedidi et al., 2003) na recuperação de parâmetros, particularmente em dimensões mais altas, apesar de atingir escores de log-verossimilhança semelhantes.
• Comparação com MNL: Quando comparado a um modelo de Logit Multinomial (MNL) mal especificado que trata pacotes como produtos independentes, o modelo Gaussiano proposto supera significativamente o MNL em termos de log-verossimilhança fora da amostra e Erro Quadrático Médio (RMSE), destacando a importância de modelar a dependência estrutural entre pacotes e componentes.
• Sinergia e Censura: Os modelos estendidos recuperam com sucesso os parâmetros de sinergia e lidam com a demanda censurada, mostrando que, embora a censura aumente o erro de parâmetro, o modelo mantém uma alta log-verossimilhança preditiva.
• Dados do Mundo Real (JD.com): Aplicado a um conjunto de dados de quase 500.000 transações, os modelos propostos (Base, Sinergia e GMM) superam consistentemente tanto o MNL quanto os benchmarks em termos de log-verossimilhança, RMSE e precisão top-$k$. O modelo Base sozinho proporcionou melhorias significativas sobre os benchmarks, com Sinergia e GMM oferecendo ganhos marginais, porém consistentes.

Significância e Alegações
O artigo afirma fornecer um framework prático e orientado por dados para varejistas aprenderem as preferências dos consumidores a partir de dados de vendas de pacotes, uma tarefa que é atualmente difícil devido às limitações dos modelos de escolha discreta padrão na presença de pacotes. Os autores enfatizam que sua abordagem preenche a lacuna entre os mecanismos teóricos de precificação (que frequentemente assumem avaliações conhecidas) e a implementação prática (que requer aprender as avaliações a partir de dados).

A significância reside em:

• Orientação Prática: Oferecer um algoritmo computacionalmente viável para varejistas estimarem distribuições de demanda em ambientes complexos de agrupamento (bundling).
• Rigor Teórico: Fornecer os primeiros resultados de identificabilidade e convergência local para problemas de estimativa de vendas de pacotes.
• Flexibilidade: Demonstrar que o framework pode ser estendido para capturar sinergias não aditivas e não compras não observadas sem sacrificar a tratabilidade computacional.

Os autores mantêm-se modestos quanto a direções futuras, observando que, embora seu método seja eficaz, permanecem desafios em lidar com a estimativa de preços competitivos com dados de concorrentes censurados, refinar os limites de erro de Monte Carlo e determinar automaticamente o número de componentes em modelos de mistura Gaussiana.