Optimal Exploration of New Products under Assortment Decisions

Título: Exploração Ótima de Novos Produtos sob Decisões de Assortimento (Seleção de Portfólio)

1. Problema Investigado

O artigo aborda o desafio de aprendizado online em plataformas de comércio eletrônico (como Amazon, Airbnb, Etsy) que precisam gerenciar a introdução de novos produtos (entrantes) em um portfólio limitado (capacidade $c$).

• Contexto: Novos produtos chegam sem histórico de transações. A qualidade do produto é desconhecida inicialmente para a plataforma e para os clientes.
• Mecanismo de Aprendizado: A informação sobre a qualidade se propaga através de aprendizado social. Quando um cliente compra um novo produto e deixa uma avaliação, o parâmetro de atração (qualidade) do produto é revelado.
• O Dilema (Trade-off):
  • Exploração: Para aprender sobre um novo produto, a plataforma deve incluí-lo no assortment (oferta). No entanto, os clientes preferem produtos estabelecidos (incumbentes) com qualidade conhecida. Incluir um novo produto reduz a probabilidade de compra imediata e a receita de curto prazo devido à substituição.
  • Exploração vs. Exploração (Exploration-Exploitation): Diferente dos problemas clássicos de bandits (onde a decisão é se explorar), aqui a decisão é como explorar estruturalmente. A plataforma deve decidir quais produtos incumbentes manter no assortment ao lado do novo produto para equilibrar a receita imediata com a velocidade de aprendizado.
• Objetivo: Minimizar o regret (arrependimento) de longo prazo, definido como a perda de receita em relação ao cenário ótimo onde todas as qualidades são conhecidas.

2. Metodologia e Modelo

• Modelo de Escolha: Utiliza-se o modelo Multinomial Logit (MNL). Cada produto $i$ possui um parâmetro de atração $w_i$.
  • Para incumbentes, $w_i$ é conhecido.
  • Para entrantes, $w_i$ é desconhecido, mas segue uma distribuição a priori $F$. Antes da compra, o cliente e a plataforma usam um valor nominal $h(F)$ (ex: média da distribuição).
• Restrição de Capacidade: A plataforma pode oferecer no máximo $c$ produtos por rodada.
• Horizonte Infinito: O estudo assume um horizonte infinito para garantir que a exploração seja sempre necessária, isolando a questão do desenho da política de exploração.
• Aprendizado Sem Ruído (Noiseless): Assum-se inicialmente que uma única compra revela o parâmetro de atração exato do produto.
• Estrutura de Regret: O regret total é decomposto em "épocas" (períodos entre a compra de um novo produto desconhecido). O objetivo é minimizar o regret acumulado durante essas épocas de exploração.

3. Contribuições Principais e Resultados

Os autores caracterizam a política de exploração ótima e demonstram falhas em algoritmos padrão de bandits.

A. Caso com um Único Entrante

• Pergunta: O novo produto deve ser oferecido sozinho ou junto com incumbentes?
• Resultado (Teorema 3.1): É sempre ótimo oferecer o novo produto junto com os $c-1$ incumbentes mais atraentes.
  • Intuição: Embora oferecer o novo produto sozinho maximize a probabilidade de sua compra (acelerando o aprendizado), isso sacrifica excessivamente a receita de curto prazo. O ganho marginal na velocidade de aprendizado não compensa a perda de receita ao remover os melhores produtos conhecidos. A estrutura ótima mantém os melhores incumbentes para maximizar a receita durante o período de exploração, sem atrasar significativamente a descoberta do novo produto.

B. Caso com Múltiplos Entrantes

• Pergunta: Deve-se explorar vários novos produtos simultaneamente ou um por vez?
• Resultado (Algoritmo EFA - Exploration with Fictitious Assortments): Existe uma estrutura de limiar simples para o número ótimo de entrantes ($\ell$) a serem explorados simultaneamente.
  • O algoritmo calcula o "ótimo ex-post esperado" ($OPT_t$) e compara com a receita de "assortments fictícios".
  • Um assortment fictício $S_t(\ell)$ consiste nos $c-\ell$ melhores incumbentes conhecidos mais $\ell$ cópias do $(c-\ell+1)$-ésimo melhor incumbente.
  • Regra de Decisão: Explora-se $\ell$ entrantes se o $OPT_t$ for maior ou igual à receita do assortment fictício correspondente.
  • Insight: O número de entrantes a explorar aumenta com o "potencial" dos novos produtos (probabilidade de serem de alta qualidade), mas não depende das probabilidades individuais de compra de cada entrante.

C. Falha de Algoritmos Canônicos de Bandits

O artigo demonstra que algoritmos padrão falham neste contexto específico por razões opostas:

1. UCB (Upper Confidence Bounds) e "ExploreAll": Tendem a superexplorar (incluem muitos entrantes). Eles são excessivamente otimistas, assumindo que muitos novos produtos são valiosos, o que dilui a receita e aumenta o regret.
2. Thompson Sampling (TS) e "ExploreOne": Tendem a subexplorar (incluem poucos entrantes). Eles são excessivamente cautelosos, explorando apenas um produto por vez, o que torna o processo de aprendizado muito lento e acumula regret desnecessário.

• Conclusão: Ferramentas clássicas de bandits não são adequadas para problemas de seleção de assortment com restrições de capacidade e aprendizado social.

D. Extensões

Os autores estendem os resultados para cenários mais complexos:

• Recompensas Heterogêneas: Quando produtos têm preços/recompensas diferentes, a política ótima (HEFA) seleciona incumbentes com base no "regret interim escalado", priorizando aqueles que causam menor perda de oportunidade.
• Priors Heterogêneos: Com dois entrantes de distribuições diferentes, a ordem de exploração depende de uma relação complexa entre os parâmetros das distribuições, não seguindo uma regra simples de "maior UCB primeiro".
• Observações Ruidosas: Mesmo quando uma única compra não revela a qualidade exata (apenas um sinal ruidoso), a estrutura de incluir os melhores incumbentes conhecidos permanece ótima.

4. Significado e Impacto

• Insights Estruturais: O trabalho fornece diretrizes prescritivas claras para plataformas. A estratégia ótima não é "testar" novos produtos isoladamente, mas sim integrá-los ao melhor portfólio existente possível.
• Limitações de Ferramentas Existentes: O estudo alerta que a aplicação direta de algoritmos de bandits (como UCB ou TS) em problemas de assortment pode levar a desempenho arbitrariamente ruim, exigindo o desenvolvimento de algoritmos específicos para a estrutura de substituição do MNL.
• Aplicabilidade Prática: As regras de limiar derivadas são computacionalmente eficientes e fáceis de implementar em sistemas de recomendação em tempo real, permitindo que plataformas equilibrem receita e aprendizado de forma matematicamente fundamentada.

Em resumo, o artigo redefine a abordagem de aprendizado em plataformas de e-commerce, mostrando que a estrutura do assortment (quem colocar ao lado do novo produto) é tão crítica quanto a decisão de se explorar, e que a solução ótima difere fundamentalmente das heurísticas padrão de aprendizado por reforço.