Hard Constraints, Smooth Gradients: Learning Feasible Inventory Policies via Differentiable Projection

Resumen Técnico: Aprendizaje de Políticas de Inventario Factibles mediante Proyección Diferenciable

Definición del Problema
El artículo aborda procesos de decisión secuencial restringidos caracterizados por espacios de acción combinatorios grandes y restricciones de factibilidad interdependientes. Aunque los Programas Lineales de Enteros Mixtos (MILP) pueden manejar tales restricciones de manera flexible, escalan mal en entornos estocásticos. Por el contrario, el Aprendizaje por Refuerzo Profundo (DRL) ofrece reglas de decisión escalables pero, típicamente, tiene dificultades con las restricciones estrictas (hard constraints). Los enfoques de DRL existentes ya sea penalizan las violaciones de las restricciones (relajación Lagrangiana), fallando en garantizar la factibilidad estricta, o dependen de mecanismos de factibilidad (por ejemplo, escalamiento diferenciable) que colapsan cuando las restricciones son interdependientes en lugar de simples. El desafío central es aprender una política que imponga restricciones estrictas, dependientes del estado e interdependientes (como límites de recursos compartidos y balances de materiales) manteniendo la diferenciabilidad para el entrenamiento de extremo a extremo mediante gradientes de trayectoria (pathwise gradients).

Metodología
Los autores proponen una arquitectura de política diferenciable que incorpora un módulo de optimización convexa directamente en la red de la política. La política consta de tres módulos secuenciales:

1. Regla de Decisión Diferenciable: Una red neuronal mapea el estado del sistema a objetivos de acción continuos ($z_t$).
2. Proyección Diferenciable (QP): Un Programa Cuadrático (QP) proyecta los objetivos continuos sobre el conjunto factible relajado de la relajación continua ($A_{rel}$). El QP minimiza la distancia euclidiana al cuadrado ponderada entre el objetivo y el conjunto factible. Crucialmente, los autores utilizan la diferenciación implícita de las condiciones de optimalidad del QP (condiciones KKT) para computar sensibilidades analíticas (matrices Jacobianas) con respecto a las entradas. Esto asegura que los gradientes fluyan a través del paso de proyección sin romper la diferenciabilidad requerida para la Optimización de Política de Historial Diferenciable (HDPO). El uso de un QP (en lugar de un LP) garantiza la fuerte convexidad, produciendo un optimizador único y suave que evita la degeneración y los saltos discontinuos asociados con las soluciones de LP.
3. Mapeo de Enteros Informado por Duales: Dado que las decisiones operativas (por ejemplo, cantidades de producción) deben ser enteras, la acción continua proyectada ($x^*_t$) se mapea a una acción discreta factible ($x_t$). Este mapeo utiliza una búsqueda local codiciosa (greedy) guiada por las variables duales (precios sombra) del QP. Comienza con el piso componente a componente de la acción proyectada (garantizado como factible debido a la naturaleza de cierre hacia abajo de las restricciones) e itera añadiendo unidades a las coordenadas con las puntuaciones de prioridad más altas (derivadas de la mejora del objetivo y los precios duales) siempre que se mantenga la factibilidad. Para permitir el flujo de gradiente a través de este paso de enteros no diferenciable, los autores emplean un Estimador de Paso Directo (STE), tratando el mapeo como una función identidad durante la retropropagación.

Contribuciones Claves
El artículo proporciona tres contribuciones teóricas y prácticas principales:

• Arquitectura: Una novedosa política diferenciable de extremo a extremo que combina una regla de decisión neuronal, una capa de proyección convexa y un mapeo de enteros informado por duales. Esto permite que la política maneje restricciones estrictas e interdependientes con la flexibilidad de los MILP, reteniendo la escalabilidad del DRL.
• Garantías Teóricas:
  • Error Acotado: El mapeo de dos pasos (proyección + mapeo de enteros) introduce un error acotado en relación con la proyección entera exacta, justificando la evitación de la programación entera por estado.
  • Completitud: A diferencia del simple redondeo hacia abajo (flooring), que falla al no alcanzar ciertas acciones factibles en la "frontera activa" (donde las restricciones son ajustadas) desde un conjunto de medida positiva de objetivos, el mapeo de enteros propuesto es completo. Cada acción entera factible es alcanzable desde una región no despreciable del espacio de objetivos continuos.
  • Selección de Frontera: El mapeo asegura que, cuando los objetivos son ambiciosos, la acción resultante se encuentre en la frontera de enteros (utilizando plenamente los recursos), evitando el desperdicio de capacidad.
• Validación Empírica: El método se aplica a la planificación de inventario-producción multietapa bajo restricciones de recursos compartidos y de materiales, un dominio donde los métodos de DRL existentes tienen dificultades.

Resultos
Los autores evalúan la política a través de tres configuraciones experimentales:

1. Instancias Pequeñas (3 artículos): Comparado contra la política óptima derivada mediante iteración de valor relativo, el método propuesto logra una brecha de optimalidad promedio del 0.91%, superando a la mejor política de stock de base (SBS*) en 22 de 24 instancias.
2. Instancias Más Grandes (10 artículos, benchmarks de Tempelmeier & Derstroff): El método supera a las políticas de stock de base de escalón de última generación hasta en un 9.75% y a un programa estocástico multi-etapa de horizonte rodante (MSP) por al menos un 7.7%. Las ganancias son más significativas en redes con capacidad ajustada, alta variabilidad de la demanda e interdependencia de recursos.
3. Caso de Estudio a Escala Industrial (ASML 2025 Research Challenge): En un benchmark realista de 14 artículos, la política reduce los costos promedio en un 3.22% y un 2.54% (a través de dos configuraciones de demanda) en relación con el mejor benchmark conocido (una política de stock de base de escalón basada en pronósticos con asignación de faltantes). Además, la distribución de costos de la política domina estocásticamente en primer orden al baseline, indicando una mayor probabilidad de alcanzar costos más bajos.

Significancia y Reivindicaciones
El artículo sostiene que las políticas de inventario tradicionales (como las de stock de base) tienen dificultades en sistemas con capacidad ajustada y alta variabilidad de la demanda porque separan las decisiones de stock y de racionamiento. En contraste, el enfoque de aprendizaje propuesto optimiza estas decisiones de forma conjunta, entregando ahorros económicamente significativos precisamente donde la planificación es más difícil.

Los autores enfatizan que su enfoque cierra la breancia entre el flujo de trabajo impulsado por la formulación de los MILP (donde las restricciones se añaden al modelo) y la escalabilidad del DRL. Al incrustar el manejo de restricciones dentro de la política mediante una proyección diferenciable, el método permanece robusto ante cambios en las estructuras de recursos sin necesidad de reentrenar la arquitectura neuronal. Los resultados sugieren que el DRL puede entregar un valor económico sustancial en problemas de decisión secuencial con restricciones estrictas interdependientes, una clase de problemas muy extendida en la investigación operativa pero previamente difícil de resolver con métodos basados en el aprendizaje. Este trabajo cuenta con el apoyo de la Deutsche Forschungsgemeinschaft (DFG).