Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand

Este artículo propone dos algoritmos basados en datos para estimar políticas óptimas de precios e inventario en un entorno secuencial con demanda censurada y dependiente, abordando los desafíos de la pérdida de información y la no estacionariedad mediante aproximaciones de procesos de decisión de Markov de alto orden y análisis de supervivencia.

Lo esencial

Imagina que eres el dueño de una tienda de zapatos muy popular, pero tienes un problema gigante: no sabes exactamente cuántos zapatos quiere la gente, porque a veces se agotan antes de que puedas contar a todos los que quisieron comprarlos.

Este artículo de investigación es como un manual de instrucciones para un "superinteligente" que aprende de tu historial para tomar las mejores decisiones en el futuro, incluso cuando la información está incompleta.

Aquí te lo explico con una analogía sencilla:

1. El Problema: La "Nube de Humo" y el Efecto Dominó

Imagina que tu tienda tiene dos reglas extrañas:

• La Nube de Humo (Demanda Censurada): Si tienes 10 zapatos y llegan 50 clientes, solo vendes 10. Pero, ¿sabes que los otros 40 querían comprar? No. Para ti, parece que solo hubo 10 clientes. Es como si los otros 40 se hubieran desvanecido en una nube de humo. Tienes datos "censurados" (ocultos).
• El Efecto Dominó (Demanda Dependiente): La gente no compra de forma aleatoria. Si ayer se agotaron los zapatos, hoy la gente estará más emocionada (o más frustrada) y querrá más. Si ayer sobró mucha mercancía, hoy quizás nadie quiera nada. Las decisiones de hoy dependen de lo que pasó ayer.

El reto es que, usualmente, los ordenadores para tomar decisiones (como un GPS) asumen que el futuro es independiente del pasado y que ven todo claramente. Pero aquí, el "GPS" está ciego (por la nube de humo) y el camino cambia según cómo condujiste antes (efecto dominó).

2. La Solución: Un Mapa con "Memoria"

Los autores dicen: "¡No podemos usar el mapa normal! Necesitamos uno nuevo".

En lugar de mirar solo el momento actual, proponen crear un mapa que recuerde cuántas veces seguidas se ha agotado el producto.

• Analogía: Imagina que en lugar de mirar solo el semáforo actual, el conductor mira: "¿Cuántos semáforos rojos seguidos he pasado?". Si ha pasado 3 rojos seguidos, sabe que la gente está impaciente y debe actuar diferente que si solo pasó uno.

Esto convierte el problema en una ecuación mágica (llamada ecuación de Bellman en el mundo de los matemáticos) que calcula la mejor estrategia de precio y stock basándose en esa "memoria" de agotamientos.

3. Los Dos Nuevos Algoritmos: El Detective y El Médico

Para resolver esa ecuación mágica usando solo los datos viejos de tu tienda (sin probar cosas nuevas que podrían costarte dinero), proponen dos métodos inspirados en otras áreas:

• El Detective (Aprendizaje por Refuerzo Offline): Imagina un detective que revisa miles de casos antiguos (tus registros de ventas) para deducir qué hubiera pasado si hubieras puesto un precio diferente. No necesita ir al crimen (la tienda) en vivo; solo analiza las pistas del pasado para predecir el futuro.
• El Médico (Análisis de Supervivencia): Imagina un médico que estudia cuánto tiempo sobrevive un paciente antes de que algo ocurra. Aquí, el "paciente" es el producto en el estante. El algoritmo analiza: "¿Cuánto tiempo tardó en venderse este zapato antes de que se agotara el stock?". Esto ayuda a entender la "vida" del producto incluso cuando no se vendió todo.

4. ¿Por qué es importante?

Hasta ahora, nadie había creado un sistema que pudiera aprender de datos "sucios" (donde faltan ventas porque se agotó el producto) y "pegajosos" (donde lo de ayer afecta a hoy) para fijar precios y pedir stock automáticamente.

En resumen:
Este papel nos da las herramientas para que una tienda (o cualquier negocio) aprenda de sus errores pasados, incluso cuando no tenía todos los datos, para decidir cuánto cobrar y cuánto pedir de forma que gane la mayor cantidad de dinero posible a largo plazo.

Es como darle a tu tienda un "cerebro" que entiende que a veces el silencio (no vender) no significa que no haya interés, sino que simplemente se acabó el producto, y que la emoción de los clientes es una cadena que no se puede romper.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Estrategia de Inventario y Fijación de Precios Dinámica Offline: Abordando la Demanda Censurada y Dependiente", basado en el resumen proporcionado.

1. Definición del Problema

El artículo aborda un problema de control secuencial offline que combina la fijación de precios basada en características (feature-based pricing) y el control de inventarios. Las características críticas del entorno planteado son:

• Demanda Dependiente: La demanda actual no es independiente; depende de los niveles de demanda pasados, introduciendo una dinámica temporal compleja.
• Censura de la Demanda: Cuando la demanda supera el inventario disponible, el exceso se pierde (lost sales). Esto significa que los datos observados de ventas están "censurados" (solo se observa el mínimo entre la demanda real y el inventario), lo que oculta la verdadera magnitud de la demanda no satisfecha.
• Entorno Offline: El objetivo es aprender una política óptima utilizando únicamente un conjunto de datos históricos (precios pasados, cantidades de pedido, niveles de inventario, covariables y niveles de ventas censurados), sin interacción en tiempo real con el entorno.
• Objetivo: Maximizar la ganancia a largo plazo estimando la política de fijación de precios y control de inventario óptima a partir de estos datos limitados.

2. Desafíos Principales

Los autores identifican tres obstáculos fundamentales que dificultan la aplicación de métodos estándar de Aprendizaje por Refuerzo (RL) o procesos de decisión de Markov (MDP):

1. Pérdida de Información: La censura de la demanda resulta en información de ganancias incompleta o faltante.
2. Fallo de la Propiedad de Markov: Debido a la dependencia de la demanda con su historia y la censura, el proceso observado no cumple estrictamente con la propiedad de Markov (el estado actual no contiene toda la información necesaria para predecir el futuro sin conocer la historia de censura).
3. No Estacionariedad: La política óptima resultante no es estacionaria en el espacio de estados tradicional, complicando la convergencia de algoritmos estándar.

3. Metodología Propuesta

Para superar estos desafíos, el enfoque metodológico se estructura en los siguientes pasos:

• Aproximación mediante MDP de Alto Orden:
  Los autores proponen aproximar la política óptima resolviendo un MDP de alto orden. La clave de esta reformulación es definir el estado no solo por las variables tradicionales, sino incorporando el número de instancias consecutivas de censura. Esto permite restaurar la propiedad de Markov en el espacio de estados ampliado.
• Ecuación de Bellman Especializada:
  El problema se reduce a resolver una ecuación de Bellman específica diseñada para manejar la estructura de censura y dependencia temporal. Esta ecuación captura la dinámica de pérdida de información y la dependencia histórica.
• Algoritmos de Aprendizaje Offline:
  Inspirándose en el Aprendizaje por Refuerzo Offline y el Análisis de Supervivencia (técnicas estadísticas para manejar datos censurados), se proponen dos nuevos algoritmos impulsados por datos:
  1. Estos algoritmos están diseñados para resolver las ecuaciones de Bellman derivadas.
  2. Utilizan el conjunto de datos histórico para estimar directamente la política óptima sin necesidad de un modelo de dinámica de transición explícito (model-free) o mediante estimación robusta del modelo.

4. Resultados y Validación

• Límites de Regret (Arrepentimiento): Los autores establecen límites de regret de muestra finita (finite-sample regret bounds). Esto proporciona una garantía teórica sobre la eficacia de los algoritmos, demostrando que la diferencia entre la ganancia de la política aprendida y la óptima disminuye a medida que aumenta el tamaño de la muestra.
• Experimentos Numéricos: Se realizaron simulaciones para validar la propuesta. Los resultados demuestran que los algoritmos propuestos son eficaces para estimar la política óptima y superar a las estrategias de referencia en entornos con demanda censurada y dependiente.
• Reproducibilidad: El código de implementación de los algoritmos está disponible públicamente en GitHub, facilitando la verificación y adopción de la metodología.

5. Significado y Contribuciones Clave

Este trabajo representa un avance significativo en la intersección de la investigación de operaciones y el aprendizaje automático:

• Primera Aproximación Data-Driven: Es, según los autores, el primer enfoque puramente basado en datos para aprender políticas óptimas de precios e inventario en un entorno secuencial con demanda censurada y dependiente.
• Resolución del Problema de Censura: Ofrece un marco teórico y práctico para manejar la pérdida de información en datos de ventas, un problema común en la industria que a menudo se ignora o se simplifica excesivamente.
• Generalización de MDP: La técnica de elevar el orden del MDP para incluir la historia de censura como parte del estado es una contribución metodológica importante que podría aplicarse a otros problemas de control estocástico con observaciones parciales.
• Impacto Práctico: Proporciona herramientas para que las empresas optimicen sus estrategias de inventario y precios utilizando datos históricos reales, incluso cuando esos datos están incompletos debido a roturas de stock (stockouts).

En resumen, el artículo presenta un marco robusto que combina teoría de control estocástico, análisis de supervivencia y aprendizaje por refuerzo offline para resolver un problema de optimización complejo y realista en la gestión de la cadena de suministro.