Optimal Exploration of New Products under Assortment Decisions

1. Planteamiento del Problema

El artículo aborda un problema fundamental en las plataformas de comercio electrónico (como Amazon o Airbnb): cómo gestionar la exploración de nuevos productos (entrantes) cuando la información sobre su calidad es inicialmente desconocida y se revela únicamente a través de aprendizaje social (compras y reseñas).

• Contexto: Las plataformas tienen una capacidad limitada para mostrar productos a un cliente (restricción de surtido, denotada por $c$). Los productos existentes ("incumbentes") tienen una calidad conocida, mientras que los nuevos ("entrantes") tienen una calidad desconocida, descrita por una distribución previa $F$.
• Mecanismo de Aprendizaje: La calidad de un entrante se revela solo cuando un cliente lo compra y deja una reseña. Antes de la compra, el cliente y la plataforma solo conocen un parámetro de atracción nominal $h(F)$ (por ejemplo, la media de la distribución previa).
• El Dilema (Trade-off):
  • Explotación: Ofrecer solo los mejores productos conocidos maximiza los ingresos a corto plazo.
  • Exploración: Incluir un entrante en el surtido es necesario para generar compras y reseñas, pero es costoso porque desplaza a productos conocidos de alta demanda, reduciendo los ingresos inmediatos y disminuyendo la probabilidad de compra del nuevo producto debido a la sustitución.
• Objetivo: Diseñar políticas de surtido que minimicen el arrepentimiento (regret) en un horizonte infinito. El arrepentimiento se define como la pérdida de ingresos acumulada en comparación con la política óptima si se conocieran todas las calidades de antemano.

2. Metodología y Modelo

Los autores utilizan un marco de Aprendizaje por Refuerzo y Optimización de Surto bajo el modelo Logit Multinomial (MNL).

• Modelo de Elección: Los clientes eligen entre los productos ofrecidos y una opción externa (no comprar) según un modelo MNL. La probabilidad de elegir el producto $i$ en un surtido $S$ es proporcional a su parámetro de atracción $w_i$.
• Estructura de la Política: La plataforma decide un surtido $S_t$ de tamaño máximo $c$ en cada paso de tiempo $t$.
• Horizonte Infinito: Se asume un horizonte infinito para aislar el problema de diseño de políticas de exploración, eliminando la necesidad de decidir si explorar o no basándose en el tiempo restante.
• Aprendizaje Ruido: En la configuración base, una sola compra revela el parámetro de atracción exacto del entrante (aprendizaje sin ruido).
• Descomposición por Épocas: El análisis divide el tiempo en "épocas", donde una época termina cuando se compra un entrante desconocido y se revela su calidad. El objetivo es minimizar el arrepentimiento dentro de cada época.

3. Contribuciones Clave y Resultados Principales

El artículo proporciona caracterizaciones estructurales de las políticas óptimas y demuestra la falla de algoritmos estándar.

A. Política Óptima para un Solo Entrante

• Resultado: Cuando hay un solo entrante desconocido y múltiples incumbentes, la política óptima es ofrecer el entrante junto con los $c-1$ incumbentes más atractivos.
• Intuición: Aunque ofrecer el entrante solo maximizaría su probabilidad de compra (reduciendo el tiempo hasta obtener una reseña), esto sacrifica demasiados ingresos por ronda. La política óptima sacrifica un poco más de tiempo para obtener la reseña, pero maximiza los ingresos durante ese periodo de exploración. Se demuestra que es siempre óptimo emparejar el nuevo producto con los mejores existentes.

B. Política Óptima para Múltiples Entrantes (Algoritmo EFA)

• Algoritmo Propuesto: Los autores proponen el algoritmo EFA (Exploration with Fictitious Assortments).
• Mecanismo:
  1. Calcula el óptimo ex-post esperado ($OPT_t$) basado en las creencias actuales.
  2. Construye "surtidos ficticios" de productos conocidos. Un surtido ficticio $S_t(\ell)$ contiene los $c-\ell$ mejores conocidos y $\ell$ réplicas del $(c-\ell+1)$-ésimo mejor conocido.
  3. Calcula el ingreso esperado de estos surtidos ficticios, denotado $\alpha_t(\ell)$.
  4. Regla de Decisión: Si $OPT_t > \text{Ingreso del surtido miope}$, la plataforma debe explorar. El número óptimo de entrantes a explorar simultáneamente, $\ell^*$, es el mayor entero tal que $OPT_t \geq \alpha_t(\ell^*)$.
• Estructura Umbral: El número óptimo de entrantes a explorar aumenta con el "potencial" de los nuevos productos (probabilidad de que sean de alta calidad), pero no depende de sus probabilidades individuales de compra. Es una estructura de umbral simple y escalable.

C. Fallo de Algoritmos Canónicos (UCB y Thompson Sampling)

El paper demuestra que los algoritmos estándar de Multi-Armed Bandits (MAB) fallan catastróficamente en este contexto, pero por razones opuestas:

• UCB (Upper Confidence Bound): Tiende a sobre-explorar. En ciertos casos, UCB incluye demasiados entrantes en el surtido, reduciendo drásticamente la probabilidad de que cualquiera de ellos sea comprado, lo que aumenta el tiempo de aprendizaje y el arrepentimiento.
• Thompson Sampling (TS): Tiende a sub-explorar. TS a menudo no incluye suficientes entrantes porque, al muestrear parámetros, es probable que subestime el potencial de los nuevos productos, priorizando la explotación de incumbentes y retrasando la obtención de información crítica.
• Conclusión: Las herramientas canónicas no son adecuadas porque no capturan la dinámica específica de la sustitución dentro de un surtido con capacidad limitada.

D. Extensiones

Los autores extienden sus resultados a escenarios más complejos:

1. Recompensas Heterogéneas: Cuando los productos tienen diferentes precios/ingresos, la política óptima (HEFA) selecciona incumbentes basándose en un "arrepentimiento interino escalado" negativo, no solo en su atractivo.
2. Priors Heterogéneos: Para dos entrantes con distribuciones previas diferentes, la decisión de cuál explorar primero es compleja y depende de la interacción entre la media y la varianza de las distribuciones, no solo de la media.
3. Observaciones Ruidosas: Incluso cuando una compra no revela la calidad exacta inmediatamente (se necesita un número $k$ de compras), la estructura de la política óptima (explorar con los mejores incumbentes) se mantiene.

4. Significado e Impacto

• Insights Prescriptivos: El trabajo ofrece directrices claras para las plataformas: no deben aislar los nuevos productos para probarlos (como a veces se hace en marketing), sino integrarlos junto con los productos más populares para equilibrar la velocidad de aprendizaje con la rentabilidad.
• Teoría de Bandits: Desafía la aplicabilidad directa de algoritmos como UCB y TS en entornos de optimización de surtidos con restricciones de capacidad, sugiriendo la necesidad de nuevos marcos teóricos específicos para la "exploración estructurada".
• Aprendizaje Social: Formaliza matemáticamente cómo la dinámica de las reseñas y la visibilidad en la primera página de búsqueda afectan la velocidad de adopción de productos nuevos, proporcionando una base para diseñar algoritmos de recomendación más eficientes.

En resumen, el artículo establece que la exploración óptima en plataformas de comercio electrónico no se trata solo de "cuándo" explorar, sino fundamentalmente de "cómo" estructurar el surtido durante la exploración, requiriendo una combinación inteligente de productos nuevos y existentes que maximice la eficiencia del aprendizaje sin sacrificar excesivamente los ingresos actuales.