A Tale of Two Cities: Pessimism and Opportunism in Offline Dynamic Pricing

Resumen Técnico: Un Cuento de Dos Ciudades: Pesimismo y Oportunismo en la Fijación de Precios Dinámica Offline

Enunciado del Problema
Este artículo aborda el desafío de la fijación de precios dinámica en entornos offline donde los datos históricos proporcionan una cobertura incompleta del espacio de precios. En muchas aplicaciones prácticas, las empresas no pueden asumir los costos o riesgos de una experimentación extensa, lo que da lugar a conjuntos de datos donde ciertos precios candidatos, incluidos potencialmente los óptimos, no se observan en absoluto. Los métodos estándar de aprendizaje por refuerzo (RL) offline, incluidos aquellos que dependen de supuestos de cobertura completa o cobertura parcial (donde las acciones de la política óptima deben estar representadas en los datos), fallan en estos entornos de "sin cobertura". Cuando falta el precio óptimo, la demanda y las funciones Q ya no están identificadas puntualmente, lo que convierte a los estimadores estándar en subóptimos o inaplicables. Los autores buscan desarrollar un marco estadísticamente sólido para la fijación de precios dinámica offline que opere sin ningún supuesto de cobertura de datos, aprovechando la regularidad económica fundamental de que la demanda es no creciente con respecto al precio.

Metodología
Los autores proponen un marco de identificación no paramétrica que explota la monotonía de la demanda con respecto al precio para acotar el valor de los precios no observados.

1. Marco de Identificación Parcial:
   En lugar de extrapolar mediante modelos paramétricos, el método construye límites de intervalo para la función de distribución de la demanda $F_t(d|a)$ en precios no observados $a$. Estos límites se derivan de las distribuciones de demanda observadas en los precios observados más cercanos inferiores ($a^L_t$) y superiores ($a^U_t$). Específicamente, para un precio no observado $a$, la función de distribución acumulada (CDF) condicional está acotada por $F_t(d|a^L_t) \le F_t(d|a) \le F_t(d|a^U_t)$. Para tener en cuenta los errores de muestreo, los autores refinan estos límites utilizando intervalos de confianza derivados de la desigualdad de Dvoretzky–Kiefer–Wolfowitz, asegurando que la verdadera CDF se encuentre dentro del intervalo construido con alta probabilidad.

2. Reglas de Decisión:
   Dentro de este marco, los autores formulan dos reglas de decisión dinámica distintas adaptadas a entornos secuenciales de sin cobertura:

   • Política Pesimista: Esta política maximiza los ingresos en el peor de los casos. Selecciona el precio que maximiza el límite inferior de la función Q, construido minimizando la función Q sobre el conjunto de confianza de las posibles distribuciones de demanda. Este enfoque ofrece protección contra el riesgo a la baja cuando la incertidumbre sobre los precios no observados es sustancial.
   • Política Oportunista: Esta política minimiza el arrepentimiento en el peor de los casos en relación con la mejor alternativa factible. A diferencia del enfoque pesimista, que se centra en el límite inferior de los ingresos, el enfoque oportunista considera el arrepentimiento máximo que podría incurrir una acción en comparación con la mejor acción alternativa bajo la realización en el peor de los casos de la demanda desconocida. Esto permite a las empresas perseguir la posible ventaja de precios poco explorados.

3. Algoritmos:
   Los autores desarrollan algoritmos eficientes para ambas políticas utilizando inducción hacia atrás (programación dinámica). El paso computacional central implica resolver un programa lineal para encontrar el valor Q en el peor de los casos (para la política pesimista) o el arrepentimiento en el peor de los casos (para la política oportunista) dentro de los conjuntos de confianza construidos.

Contribuciones Clave

1. Marco de Sin Cobertura: El artículo presenta la primera técnica de fijación de precios dinámica offline que permanece válida sin ningún supuesto de cobertura de datos. Introduce un marco de identificación parcial para el aprendizaje de políticas cuando los precios óptimos faltan en los datos offline, sin imponer restricciones paramétricas a la demanda, la clase de políticas o la clase de funciones Q.
2. Garantías Teóricas: Los autores establecen límites de arrepentimiento de muestra finita para ambas políticas, pesimista y oportunista. Los límites se descomponen en dos términos: uno que captura el error de estimación para los precios observados y otro que cuantifica el costo adicional inducido por los precios óptimos no observados.
   • Cuando el precio óptimo está cubierto, el arrepentimiento recupera la tasa estándar de $O_p(\sqrt{\log N / N})$.
   • Cuando falla la cobertura, los resultados cuantifican el costo preciso del aprendizaje bajo identificación parcial, mostrando que el límite es ajustado (alcanzable).
3. Mapeo Gerencial: El marco proporciona un mapeo práctico desde la postura de riesgo de una empresa hacia su política de fijación de precios. Distingue entre empresas que buscan estabilidad de ingresos (política pesimista) y aquellas dispuestas a asumir un riesgo medido por posibles ganancias (política oportunista).

Resultados
Los autores evalúan sus métodos mediante simulaciones y una aplicación con datos reales que involucra la fijación de precios de boletos de avión.

• Simulaciones: Utilizando modelos de demanda Poisson y Binomial Negativa con diversos mecanismos de datos faltantes, los métodos propuestos se comparan con líneas base estándar de RL offline (Greedy, Pesimista Vanilla, Aprendizaje Conservador de Q y Aprendizaje de Q con Restricciones por Lotes). Los resultados muestran que el método oportunista propuesto a menudo supera a las líneas base, particularmente en escenarios donde la política de comportamiento es subóptima o la cobertura de datos es escasa. El método oportunista frecuentemente logra un rendimiento comparable a una política óptima oráculo incluso con precios faltantes. El método pesimista refinado también supera al enfoque pesimista vanilla en varios casos. Cabe destacar que el método oportunista es el único capaz de seleccionar precios no observados que son óptimos, mientras que las líneas base pesimistas (incluida la versión refinada en la mayoría de los casos) tienden a excluirlas.
• Aplicación con Datos Reales: En un análisis de datos de boletos de avión de Expedia (de JFK a CLT), donde ciertos puntos de precios estaban subrepresentados, el método oportunista logró el mayor ingreso total empírico en simulaciones de Monte Carlo. El método pesimista refinado ocupó el tercer lugar, desempeñándose ligeramente peor que CQL, mientras que el enfoque pesimista vanilla arrojó los ingresos más bajos. El enfoque oportunista seleccionó con éxito el punto de precio no observado en estados específicos, mientras que CQL no lo hizo.

Significado y Afirmaciones
El artículo afirma cerrar la brecha entre la fijación de precios dinámica offline y la identificación parcial en un entorno secuencial de sin cobertura. Argumenta que los métodos existentes de RL offline son inadecuados para problemas de fijación de precios donde el precio óptimo puede estar completamente ausente de los datos históricos. Al aprovechar la monotonía de la demanda, el marco propuesto permite el aprendizaje de políticas más allá del soporte de los datos observados sin depender de supuestos paramétricos. Los autores enfatizan que sus límites de arrepentimiento son ajustados y óptimos en cuanto a tasa. A nivel gerencial, la obra ofrece una herramienta matizada para los tomadores de decisiones, permitiéndoles elegir entre una estrategia conservadora (pesimismo) para la protección contra la baja y una estrategia agresiva (oportunismo) para posibles ganancias, dependiendo de su tolerancia al riesgo y disponibilidad de recursos. El artículo concluye que, si bien ninguna estrategia supera uniformemente a la otra, la elección depende del contexto específico y de los objetivos estratégicos de la empresa en relación con el riesgo y la incertidumbre.