Resumen Técnico: Aprendizaje de Políticas Óptimas a partir de Registros de Eventos mediante Aprendizaje por Refuerzo

Definición del Problema

El artículo aborda el desafío del Monitoreo de Procesos Prescriptivo (PPM), centráéndose específicamente en el aprendizaje de políticas de comportamiento óptimas directamente a partir de registros de eventos históricos. A diferencia de los enfoques de PPM existentes que recomiendan intervenciones predefinidas o actividades siguientes específicas basadas en reglas de expertos, este trabajo tiene como objetivo descubrir estrategias generales que determinen la mejor secuencia de acciones para maximizar un Indicador Clave de Desempeño (KPI) específico.

Una restricción crítica del problema es el entorno de múltiples actores. En muchos procesos del mundo real (por ejemplo, solicitudes de préstamos), el propietario del proceso (el agente) controla solo un subconjunto de actividades, mientras que otras son impulsadas por actores externos (por ejemplo, clientes) o factores exógenos. El objetivo es aprender una política para el agente que optimice el KPI a pesar de tener un control parcial sobre la ejecución del proceso.

Los autores identifican dos desafíos primarios al aplicar el Aprendizaje por Refuerzo (RL) en este dominio:

1. Aprendizaje Basado en Datos: Evitar la dependencia de un conocimiento de dominio extensivo para definir manualmente los espacios de estados o los conjuntos de intervención.
2. Seguridad de la Evaluación: La impracticabilidad de probar políticas en sistemas en vivo debido al riesgo de disrupción. Por lo tanto, se requiere un mecanismo de evaluación robusto antes del despliegue.

Metodología

El artículo propone y compara dos enfoques distintos basados en IA para aprender políticas óptimas a partir de datos de eventos, ambos operando dentro de un entorno de múltiples actores donde el agente controla actividades específicas.

1. Enfoque Basado en Modelos (RL basado en MDP)

Este enfoque construye un Proceso de Decisión de Markov (MDP) explícito a partir del registro de eventos y lo resuelve utilizando Programación Dinámica (DP).

• Construcción del MDP:
  • Acciones: Definidas como las actividades controladas por el agente.
  • Estados: Construidos codificando el historial de la traza. Los autores utilizan clustering de k-means sobre prefijos codificados (frecuencias de actividad, posiciones y recompensas de prefijo normalizadas) para gestionar la dimensionalidad del espacio de estados y evitar su explosión. Un estado se define como el par de la última actividad realizada y el clúster asignado.
  • Transiciones y Recompensas: Construidas mediante la reproducción de trazas para estimar las probabilidades de transición y las recompensas promedio.
• Aprendizaje de la Política: La política óptima se deriva utilizando Iteración de Valor.
• Gestión de la Escasez de Datos: Para evitar que el agente explote transiciones raras de alta recompensa (sobreajuste), los autores introducen una función de escala $h(s, a)$ aplicada al valor Q. Evalúan funciones escalón y funciones sigmoides parametrizadas por la frecuencia de los pares estado-acción (utilizando cuartiles de conteos de ocurrencia) para penalizar las transiciones de baja frecuencia.

2. Enfoque Libre de Modelo (Deep RL Offline)

Este enfoque emplea Conservative Q-Learning (CQL), una técnica de vanguardia de Deep RL Offline, que aprende directamente de datos históricos sin interactuar con el entorno.

• Arquitectura: Se utiliza una Red Neuronal Recurrente (RNN) con celdas Long Short-Term Memory (LSTM) para aproximar la función de valor estado-acción, manejando la naturaleza secuencial de los registros de eventos.
• Preparación de Datos: Las transiciones se extraen de las trazas. Crucialmente, se eliminan las transiciones que involucran acciones controladas por el entorno, y sus recompensas se transfieren a la transición válida precedente del agente para alinear el conjunto de datos con la perspectiva del agente.
• Entrenamiento: El modelo se entrena de forma offline utilizando el algoritmo CQL para minimizar el sesgo de sobreestimación común en el RL offline.

Marco de Evaluación

Para evaluar las políticas aprendidas sin arriesgar el rendimiento de los sistemas en vivo, los autores utilizan la Simulación de Procesos de Negocio (BPS).

• Registros Sintéticos: Generados a partir de un modelo BPMN para probar la robustez ante variaciones en el tamaño de los registros y las tasas de éxito.
  las de los registros reales: BPIC2012 y BPIC2017.
• Modelos de Simulación: Se emplean dos tipos de modelos de simulación:
  1. Probabilidad Fija ($M_\pi$): Utiliza probabilidades estándar para los puntos de decisión.
  2. Árbol de Decisión ($M^\pi_{DT}$): Utiliza árboles de decisión entrenados con datos históricos para modelar las respuestas del entorno de manera más sensible al historial del proceso.
• Líneas Base (Baselines): Se realizan comparaciones contra la política consuetudinaria (el comportamiento inherente en los registros originales) y una heurística informada (una línea base fuerte que utiliza conocimiento privilegiado de la lógica de simulación, disponible solo para los registros sintéticos).

Contribuciones Clave

1. Aprendizaje Directo de Políticas: El artículo demuestra un método para aprender políticas de comportamiento generales directamente de los registros de eventos con un conocimiento de dominio mínimo, distinguiendo entre actividades controlables y no controlables.
2. Construcción de MDP desde Registros: Propone un pipeline específico para construir un MDP a partir de registros de eventos utilizando clustering para manejar la abstracción de estados, superando la dificultad de definir manualmente los estados de un MDP para la minería de procesos.
3. Función de Escala para Robustez: La introducción de funciones de escala basadas en la frecuencia ($h$) para el valor Q en el enfoque de MDP mitiga eficazmente el sobreajuste a transiciones raras, mejorando significamente la estabilidad de la política.
   4.Comparación Exhaustiva: Proporciona una comparación sistemática entre un enfoque clásico de DP basado en modelos y el moderno Deep RL Offline (CQL) en el contexto de la minería de procesos.
4. Evaluación Basada en Simulación: El trabajo adapta la BPS para evaluar políticas de selección de la siguiente actividad en entornos de múltiples actores, ofreciando un entorno controlado para pruebas A/B de estrategias aprendidas.

Resultados

La evaluación se llevó a cabo a través de ocho registros sintéticos (variando en tamaño y tasas de éxito) y dos registros del mundo real (BPIC2012 y BPIC2017).

• Desempeño: Ambos métodos aprendieron con éxito políticas que mejoraron consistentemente el KPI objetivo (beneficio) en comparación con la política consuetudinaria.
  • En los registros sintéticos, el enfoque basado en MDP (específicamente con funciones de escala como $h_{sig}^{Q1}$ y $h_{step}^{Q1}$) generalmente superó al enfoque de Offline Deep RL, logrando KPIs comparables a la heurística informada en la mayoría de los casos.
  • En los registros del mundo real, ambos métodos mostraron un desempeño sólido, con el enfoque basado en MDP mostrando una ligera ventaja o un desempeño comparable a CQL.
• Robustez: El enfoque basado en MDP demostró una mayor estabilidad a través de diferentes características de los registros. El enfoque MDP ingenuo (sin escalado) fue inestable, mientras que el enfoque CQL nunca apareció entre las políticas de mejor desempeño en la evaluación sintética.
• Eficiencia Computacional: El enfoque basado en MDP fue significativamente más eficiente. Los tiempos de entrenamiento para los métodos basados en MDP variaron de segundos a pocos minutos, mientras que el Offline Deep RL requirió aproximadamente 30 minutos por época (sumando horas para obtener políticas efectivas). El tiempo del enfoque MDP escaló con el tamaño del registro debido al clustering, mientras que el tiempo por época del Deep RL se mantuvo constante pero alto.

Significado y Reivindicaciones

El artículo afirma que aprender políticas de comportamiento óptimas directamente de los datos de eventos es factible y efectivo, incluso en escenarios complejos de múltiples actores donde el agente tiene un control parcial.

• Practicidad: Los resultados sugieren que el enfoque basado en MDP ofrece un equilibrio favorable entre simplicidad, interpretabilidad, eficiencia computacional y desempeño. Los autores argumentan que para escenarios de minería de procesos, donde los datos están estructurados y los puntos de decisión están bien definidos, los modelos complejos de deep learning pueden no ser estrictamente necesarios para lograr políticas de alta calidad.
• Descubrimiento Basado en Datos: El trabajo valida que es posible descubrir intervenciones y estrategias efectivas únicamente a partir de datos históricos, sin predefinir el conjunto de acciones posibles ni depender de un conocimiento experto extensivo de la dinámica del dominio.
• Potencial Futuro: Los autores posicionan estas políticas aprendidas como inicializaciones sólidas para marcos de optimización más amplios que podrían incorporar posteriormente interacción en línea o retroalimentación. Reconocen limitaciones respecto a la dependencia de la información de flujo de control y la necesidad de representaciones de estado más ricas (por ejemplo, atributos de datos) en trabajos futuros.

El artículo concluye que, si bien ambos paradigmas son viables, el enfoque clásico basado en modelos, cuando se aumenta con una adecuada abstracción de estado y regularización basadas en datos, proporciona actualmente una solución más eficiente y robusta para el monitoreo de procesos prescriptivo en los contextos estudiados.