Resumen Técnico: Aprendizaje en Contexto para el Control de Inventarios Censurados Basado en Datos

Enunciado del Problema

El artículo aborda el problema del Vendedor de Periódicos Repetido (R-NV), un escenario canónico de toma de decisiones operativas caracterizado por incertidumbre dependiente de la decisión y censura por la derecha. En este entorno, un tomador de decisiones selecciona una cantidad de pedido $X_t$ en cada período. La demanda latente $D_t$ se observa solo parcialmente: si $D_t \le X_t$, se observa la demanda exacta; si $D_t > X_t$ (rotura de stock), solo se observa la cifra de ventas $X_t$ y un indicador de rotura de stock. Esta censura crea una tensión fundamental entre exploración y explotación: un pedido conservador minimiza los costos de mantenimiento inmediatos pero aumenta la censura, lo que dificulta el aprendizaje futuro sobre la distribución de la demanda.

Los enfoques existentes enfrentan limitaciones significativas:

1. Muestreo de Thompson (TS) Paramétrico: Aunque teóricamente potente, el TS depende de una especificación previa correcta. En la práctica, una discrepancia en la distribución previa puede conducir a una degradación severa del rendimiento.
2. Imputación Offline: Los métodos que intentan descensurar la demanda (por ejemplo, mediante estimadores de Kaplan-Meier) suelen estar confinados a entornos offline y carecen de garantías teóricas para la toma de decisiones secuenciales online.

Los autores buscan cerrar esta brecha desarrollando un algoritmo de aprendizaje online que proporcione garantías de rendimiento en espacios de acción continuos sin requerir una distribución previa paramétrica conocida, mientras maneja eficazmente la estructura de datos faltantes inducida por la censura.

Metodología: Muestreo de Posterior Generativo en Contexto (ICGPS)

La solución propuesta, el Muestreo de Posterior Generativo en Contexto (ICGPS), replantea el problema de aprendizaje desde una perspectiva de "datos faltantes". En lugar de estimar parámetros, el algoritmo trata los componentes de demanda no observados como resultados faltantes que pueden "completarse" de manera consistente con el mecanismo de retroalimentación observado.

Marco Central

1. Entrenamiento Meta Offline: Se entrena un modelo generativo condicional con datos históricos (episodios offline) para aprender un kernel de completado. Este modelo aprende a muestrear trayectorias de demanda plenas $D_{1:T}$ condicionadas al historial observado $H_{t-1}$ (que incluye acciones, ventas e indicadores de censura).
   • Función de Pérdida: El modelo se entrena utilizando una verosimilitud negativa consciente de la censura. Las observaciones no censuradas contribuyen con un término de densidad, mientras que las observaciones censuradas contribuyen con un término de supervivencia (análogo al análisis de supervivencia).
2. Adaptación Online en Contexto: Durante la implementación, el modelo se mantiene congelado. En cada paso de tiempo $t$, el algoritmo:
   • Muestra una trayectoria de demanda completa $\tilde{D}^{(t)}_{1:T}$ desde la distribución condicional aprendida $p_\theta(\cdot | H_{t-1})$.
   • Aplicación de Restricciones: Crucialmente, el proceso de muestreo impone restricciones de consistencia estrictas. Si un período pasado $s < t$ fue censurado (rotura de stock), la demanda muestreada $\tilde{D}_s$ debe satisfacer $\tilde{D}_s > X_s$. Esto se logra mediante condicionamiento de cola (muestreo desde la cola condicional de la distribución).
   • Acción del Oráculo: El algoritmo calcula la acción "oráculo" para la trayectoria muestreada. Para el problema R-NV, esta es la cuantil empírico $\gamma$ (donde $\gamma = b/(b+h)$ es el fractil crítico) de la secuencia de demanda completada.
   • El tomador de decisiones ejecuta esta acción, observa nueva retroalimentación censurada y actualiza el historial de contexto sin actualizar los parámetros del modelo.

Arquitectura: ChronosFlow

Para implementar ICGPS de manera práctica, los autores proponen ChronosFlow, una arquitectura modular:

• Esqueleto: Un transformador de series temporales Chronos-2 congelado (preentrenado en conjuntos de datos masivos) que extrae características de cuantiles en contexto desde el historial.
• Cabeza: Un Flujo Normalizante Condicional (CNF) ligero que mapea el vector de contexto a una distribución condicional sobre la demanda. El CNF permite un muestreo exacto por transformación inversa, facilitando la imposición de restricciones de censura (condicionamiento de cola) durante la generación online.

Contribuciones Teóricas

El artículo proporciona un análisis riguroso de arrepentimiento bayesiano que descompone el rendimiento de la política ICGPS desplegada en dos términos:

1. Arrepentimiento del Referente Ideal (Término I): El arrepentimiento de una política ideal de Muestreo de Thompson que utiliza el kernel de completado verdadero.

   • Los autores demuestran que, para el problema R-NV, la estructura de retroalimentación censurada puede reducirse a Optimización Convexa de Bandidos (BCO) con acciones escalares.
   • Al aprovechar resultados recientes sobre TS para BCO (Bakhtiari et al., 2025), establecen que el referente ideal logra un arrepentimiento bayesiano sublineal de $\tilde{O}(\sqrt{T})$. Esto se presenta como el primer análisis de arrepentimiento bayesiano para TS en el entorno R-NV utilizando el marco de la relación de información.

2. Penalización de Despliegue (Término II): El arrepentimiento adicional incurrido al utilizar un modelo de completado aprendido en lugar del verdadero.

   • Los autores derivan un límite que muestra que esta penalización escala como $\sqrt{T} \times \sqrt{\Delta_{\text{comp}}}$, donde $\Delta_{\text{comp}}$ es la discrepancia de completado en la política (divergencia KL entre las completaciones de trayectorias verdaderas y aprendidas).
   • Crucialmente, demuestran que bajo cobertura de orden máximo (la política ordena ocasionalmente la capacidad máxima para revelar la demanda de la cola) y autocontracción (los errores en la generación autorregresiva decaen con el tiempo), la discrepancia de completado está controlada por la discrepancia predictiva observable (la pérdida de entrenamiento offline).
   • Esto establece un vínculo teórico: un ajuste predictivo offline de alta calidad se traduce en un bajo arrepentimiento online.

Resultados Experimentales

Los autores evalúan ChronosFlow-ICGPS en conjuntos de datos sintéticos y del mundo real:

• Verificación de Integridad (Especificación Correcta): En entornos de demanda i.i.d. Weibull, ChronosFlow-ICGPS iguala el rendimiento de una línea base paramétrica de Muestreo de Thompson correctamente especificada en diversos niveles de servicio ($\gamma$), validando que el enfoque generativo recupera el comportamiento clásico cuando el modelo está bien especificado.
• Vínculo Offline-Online: Los experimentos demuestran una relación monótona entre la pérdida de validación offline consciente de la censura y el arrepentimiento acumulado online. Una mejor calidad predictiva offline conduce a un menor arrepentimiento online, confirmando el límite teórico de penalización de despliegue.
• Robustez ante Discrepancias:
  • Cambio de Distribución: Cuando se prueba en un entorno Weibull después de haber sido preentrenado en una mezcla de cuatro familias de demanda diferentes, ChronosFlow-ICFPS supera significativamente a un TS paramétrico mal especificado, mostrando robustez ante cambios de familia.
  • Discrepancia de Prior: En escenarios donde los parámetros de prueba online se encuentran fuera del régimen de entrenamiento offline, ChronosFlow-ICGPS permanece estable, mientras que el TS paramétrico con una distribución previa no coincidente sufre un alto arrepentimiento.
• Referente del Mundo Real (Conjunto de Datos SuperStore): Utilizando el conjunto de datos de ventas SuperStore (Hssaine & Sinclair, 2024), el método se evalúa bajo diversos grados de severidad de censura ($\lambda$).
  • Censura Pesada: La variante "Meta" (preentrenada en otros conjuntos de datos) logra las mayores ganancias en regímenes fuertemente censurados (por ejemplo, $\lambda=1$), superando a líneas base como la Aproximación del Promedio de Muestra (SAA), Kaplan-Meier y RCN por un margen significativo.
  • Censura Ligera: A medida que la censura se relaja, la brecha de rendimiento se estrecha, pero el método sigue siendo competitivo.

Significado y Afirmaciones

El artículo afirma ofrecer una plantilla novedosa para resolver problemas de decisión secuencial con incertidumbre dependiente de la decisión y espacios de acción continuos. Su significado principal radica en:

1. Marco Unificador: Combina exitosamente las fortalezas de los métodos bayesianos paramétricos (exploración mediante muestreo de posterior) y el aprendizaje offline basado en datos (robustez mediante entrenamiento meta) sin requerir actualizaciones de gradiente online.
2. Novel Teórica: Proporciona el primer límite de arrepentimiento bayesiano sublineal para el Muestreo de Thompson en el problema del vendedor de periódicos censurado, reduciéndolo a la optimización convexa de bandidos.
3. Viabilidad Práctica: La arquitectura ChronosFlow demuestra que los modelos generativos modernos (Transformers + Flujos Normalizantes) pueden adaptarse para respetar restricciones estrictas (censura) y realizar un aprendizaje en contexto efectivo para problemas operativos.
4. Transferencia Offline-Online: El trabajo proporciona condiciones teóricas bajo las cuales la calidad predictiva offline garantiza el rendimiento de la decisión online, abordando una brecha crítica en la investigación operativa basada en datos.

Los autores posicionan este trabajo como un paso hacia la toma de decisiones "centrada en la predicción", donde el enfoque cambia de estimar parámetros a generar completaciones consistentes de trayectorias latentes para impulsar acciones óptimas.