🤖 machine learning

Feature Attribution-Based Explainability Analysis of Deep Learning Models in Predictive Process Monitoring

Este artículo propone un método de explicabilidad post-hoc local para modelos de aprendizaje profundo en el monitoreo predictivo de procesos que utiliza un algoritmo de segmentación consciente del flujo de control para generar explicaciones SHAP a nivel de segmento, equilibrando eficazmente la eficiencia computacional con la capacidad de capturar la dinámica subyacente del flujo de control e identificar puntos de cambio críticos en los registros de eventos.

Autores originales: Kseniya Sahatova, Rafael Seidi Oyamada, Xuefei Lu, Johannes De Smedt

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kseniya Sahatova, Rafael Seidi Oyamada, Xuefei Lu, Johannes De Smedt

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero en lugar de una escena del crimen, tu escena es un rastro digital de actividades comerciales. Este campo se llama Monitoreo Predictivo de Procesos. Piensa en ello como un GPS para el flujo de trabajo de una empresa: observa un caso (como una solicitud de préstamo o una petición de permiso) a medida que se mueve de paso en paso, tratando de adivinar dónde terminará. ¿Se aprobará el préstamo? ¿Se terminará el proyecto a tiempo? Para hacer esto, las empresas utilizan cerebros informáticos potentes llamados modelos de Aprendizaje Profundo (Deep Learning). Estos modelos son como estudiantes superinteligentes que han leído millones de historias pasadas y pueden detectar patrones que los humanos pasan por alto. Pero aquí está el truco: estos modelos son "cajas negras". Te dan la respuesta, pero no te dicen por qué creen eso. Es como un profesor que te da una nota en un examen pero se niega a mostrarte qué respuestas fueron correctas o incorrectas. Debido a esto, la gente suele tener miedo de confiarles decisiones importantes. Para solucionar esto, los científicos utilizan herramientas de Explicabilidad. Estas son como linternas que iluminan el pensamiento del modelo, resaltando qué partes específicas de la historia fueron las más importantes. Sin embargo, las linternas antiguas eran demasiado enfocadas (mostrando cada paso diminuto, lo cual es abrumador y confuso) o demasiado amplias (desenfocando toda la historia en una gran mancha, lo que hace que se pierdan los detalles).

Este artículo presenta una nueva forma de apuntar esa linterna, específicamente para procesos de negocio. Los autores, Kseniya Sahatova y su equipo, se dieron cuenta de que las historias de negocios no son solo listas aleatorias de eventos; tienen un ritmo y un flujo, como capítulos en un libro. Proponen un método que divide un registro de proceso largo y desordenado en "capítulos" o segmentos significativos basados en cómo las actividades se siguen unas a otras de forma natural. En lugar de preguntar, "¿Importó este correo electrónico individual?", o "¿Importó todo el archivo?", preguntan, "¿Importó esta fase específica del proceso?".

Para probar su idea, construyeron un proceso de negocio "ficticio" donde sabían exactamente dónde ocurrían los giros de la trama (la "verdad fundamental" o ground truth). Descubrieron que su nuevo método podía detectar estos giros de la trama con más del 90% de precisión, mucho mejor que simplemente mirar pasos individuales. Cuando lo probaron con datos del mundo real de las solicitudes de préstamos de un banco holandés y de las tareas administrativas de un municipio, los resultados fueron aún más interesantes. Para las solicitudes de préstamos, su método mostró claramente que un camino fluido y estructurado conducía a la aprobación, mientras que un patrón específico de "crear ofertas repetidamente" era una gran señal de alerta que conducía al rechazo. Era como encontrar un recurso narrativo específico en una película que siempre señala una tragedia.

El artículo sugiere que este enfoque de "nivel de segmento" es el punto ideal. No es tan matemáticamente perfecto como mirar cada evento individual (que es lo más fiel a la matemática pura del modelo), pero es mucho más fácil de entender para los humanos. Agrupa eventos relacionados, de modo que puedes ver la historia detrás de la predicción. Sin embargo, los autores advierten cuidadosamente que esto funciona mejor cuando el proceso de negocio tiene una estructura clara. Si un proceso es súper caótico y cada caso es totalmente diferente, el método podría confundirse y dividir la historia en demasiadas piezas diminutas y sin sentido. Pero para procesos que tienen un flujo lógico, esta nueva explicación basada en "capítulos" nos ayuda a confiar en la IA al mostrarnos exactamente qué partes del viaje dirigieron el resultado.

Resumen Técnico: Análisis de Explicabilidad Basado en la Atribución de Características en el Monitoreo de Procesos Predictivo

1. Planteamiento del Problema

El Monitoreo de Procesos Predictivo (PPM, por sus siglas en inglés) utiliza modelos de aprendizaje profundo, como las Redes Neuronales Recurrentes (RNN) y los Transformers, para pronosticar los resultados, el tiempo restante o las secuencias de actividades futuras de procesos de negocio en curso. Si bien estos modelos logran un alto rendimiento predictivo al capturar dependencias secuenciales en los registros de eventos, su naturaleza de "caja negra" dificulta la confianza y la adopción en entornos operativos de alto riesgo.

Los métodos de explicabilidad existentes, particularmente las técnicas de atribución de características como SHAP (Explicaciones Aditivas de Shapley) y LIME, enfrentan un dilema cuando se aplican al PPM:

Explicaciones a nivel de evento: Asignar importancia a eventos individuales a menudo resulta en perspectivas fragmentadas que no logran revelar el comportamiento significativo del proceso o el contexto más amplio de la ejecución.
Explicaciones a nivel de traza: Agregar toda la traza en una sola unidad introduce pérdida de información y oscurece qué partes específicas de la ejecución impulsan la predicción.
Limitaciones de series temporales: Aunque la literatura de series temporales ofrece métodos de segmentación para agrupar observaciones adyacentes, estos enfoques genéricos a menudo no respetan las restricciones específicas de flujo de control, la semántica de las actividades y la temporalidad irregular inherente a los registros de eventos de procesos de negocio. Pueden dividir etapas coherentes del proceso o fusionar comportamientos no relacionados.

En consecuencia, existe la necesidad de un enfoque de explicabilidad que equilibre la eficiencia computacional con la preservación del contexto de flujo de control local, permitiendo a las partes interesadas comprender qué fases del proceso influyen en una predicación.

2. Metodología

Los autores proponen un método de explicabilidad post-hoc local que integra un algoritmo de segmentación consciente del flujo de control con el cálculo de valores SHAP a nivel de segmento.

2.1 Segmentación de Trazas Consciente del Flujo de Control

El núcleo de la metodología es un algoritmo que particiona una traza en subsecuencias coherentes (segmentos) basadas en cambios en las probabilidades de transición.

Relación de Seguimiento Directo (DFR): El algoritmo primero construye un Grafo de Seguimiento Directo (DFG) a partir del registro de eventos para derivar probabilidades de transición empíricas entre actividades.
Función de Costo: Para una traza dada, el algoritmo asigna un costo a los posibles segmentos. Las transiciones que son frecuentes en el registro contribuyen con un costo bajo, mientras que las transiciones raras o no vistas incurren en una penalización ( $\gamma$ ). El costo de un segmento $s$ se define como la suma de los logaritmos negativos de sus transiciones:
$C(s) = \sum_{i=1}^{m-1} c(a_i, a_{i+1})$
donde $c(a_i, a_{i+1}) = -\log T[a_i, a_{i+1}]$ si la transición existe, y $\gamma$ en caso contrario.
Detección de Puntos de Cambio: El algoritmo emplea el método PELT (Tiempo Lineal Exacto Podado) para detectar puntos de cambio que minimicen una función de objetivo penalizada. Esta función equilibra el costo total de segmentación frente a un término de penalización ( $\beta k$ ), evitando la sobre-segmentación. El hiperparámetro $\beta$ se selecciona mediante búsqueda de cuadrícula para minimizar el Criterio de Información de Akaike (AIC).
Resultado: La traza se particiona en segmentos donde cada segmento representa una fase de comportamiento de flujo de control local consistente.

2.2 Cálculo de SHAP a Nivel de Segmento

Una vez segmentadas las trazas, el método trata cada segmento como una unidad interpretable única para el cálculo de SHAP, en lugar de eventos individuales.

Definición de Coalición: Se define un vector de coalición $z \in \{0, 1\}^k$ para $k$ segmentos. $z_l=1$ indica que el segmento conserva sus valores originales, mientras que $z_l=0$ indica que es reemplazado por un valor base (derivado de la moda de los atributos categóricos y la media de los atributos numéricos en los datos de entrenamiento).
Perturbación: El modelo se evalúa en trazas perturbadas donde segmentos específicos son enmascarados y reemplazados por el valor base.
Valores SHAP: Se aplica KernelSHAP para calcular los valores de Shapley, satisfaciendo la propiedad de eficiencia donde la suma de las atribuciones de los segmentos es igual a la diferencia entre la predicción del modelo y la predicción base.

3. Configuración Experimental

El estudio evalúa el método propuesto utilizando:

Conjuntos de Datos:
- Un conjunto de datos sintético generado por el simulador SimBank, que presenta puntos de cambio de verdad fundamental (ground-truth) conocidos (cancelación vs. aceptación de resultados) para validar la precisión de la segmentación.
- Dos benchmarks del mundo real: BPIC15 (procesos administrativos de municipios holandeses) y BPIC17 (solicitudes de préstamos de instituciones financieras).
Modelo Predictivo: Clasificadores de secuencia basados en LSTM entrenados en prefijos de longitud fija (30 eventos) para predecir resultados binarios (por ejemplo, aceptado vs. cancelado).
Líneas Base (Baselines):
- Atribución por evento: SHAP estándar a nivel de evento.
- Segmentación basada en distribución: Un método que agrupa eventos basándose en ventanas de tiempo y definiciones de sesión (adaptado de sistemas de recomendación).
Métricas de Evaluación:
- Calidad de la Segmentación: RandIndex, Precisión, Recall y F1-score (sintéticos); Relevancia Entrópica (ER) y cobertura de patrones (mundo real).
- Fidelidad de la Explicación: Cambio de Predicción Relativo (RPC) mediante perturbación. Esto mide cuánto cambia la predicción cuando se perturban los segmentos importantes (SHAP alto) frente a los segmentos no importantes (SHAP bajo).

4. Resultados Clave

4.1 Calidad de la Segmentación

Datos Sintéticos: El algoritmo propuesto logró una alta concordancia con los puntos de cambio de verdad fundamental, con puntuaciones de RandIndex superiores a 0.9 y F1-scores del 89% (casos cancelados) y 87.4% (casos aceptados).
Datos del Mundo Real (BPIC17): El método identificó fases de proceso coherentes. Para los casos aceptados, los 10 patrones de segmentación superiores cubrieron el 81.4% de las trazas, lo que indica estructuras de flujo de control estables. La Relevancia Entrópica (ER) disminuyó significativamente de 37.81 (registro completo) a 6.68 (segmentado), indicando que los segmentos capturan patrones deterministas y compresibles altamente efectivos.
Datos del Mundo Real (BPIC15): Debido a la alta variabilidad y las bajas probabilidades de transición entre muchos pares de actividades, el algoritmo produjo segmentos finos (promedio de 2 eventos por segmento). Esto sugiere que los registros con alta variabilidad de flujo de control limitan la capacidad de formar patrones segmentados generalizables.

4.2 Fidelidad de la Explicación

Análisis de Perturbación: Los valores SHAP a nivel de segmento demostraron una alta fidelidad. Perturbar los segmentos más importantes (top-k), que cubren aproximadamente el 40% de la traza, resultó en cambios significativos en la predicción (alto RPCI), mientras que perturbar segmentos no importantes tuvo un efecto mínimo (bajo RPCU).
Comparación: Aunque la atribución por evento mostró una granularidad ligeramente mayor, los métodos a nivel de segmento (tanto los basados en distribución como los conscientes del flujo de control) proporcionaron una separación más limpia entre las partes importantes e irrelevantes de la traza. Los métodos por evento a veces interrumpieron las dependencias locales al perturbar eventos aislados, lo que provocó cambios de predicción inesperados.

4.3 Perspectivas Cualitativas

Casos Aceptados (BPIC17): Los segmentos que contienen transiciones suaves (por ejemplo, Concept $\to$ Complete application) empujaron consistentemente las predicciones hacia la aceptación (valores SHAP negativos).
Casos Cancelados (BPIC17): Los segmentos que involucran la creación repetida de ofertas recibieron altos valores SHA positivos, impulsando fuertemente las predicciones hacia la cancelación. Esto identificó un cuello de botella específico (generación repetida de ofertas) asociado con el fallo.
Interpretabilidad: El método vinculó con éxito las predicciones del modelo con fases de proceso concretas (por ejemplo, "completitud de la solicitud" vs. "creación de oferta") en lugar de eventos aislados.

5. Significado y Reivindicaciones

El artículo afirma que el método propuesto ofrece un punto medio útil entre las explicaciones detalladas a nivel de evento y las explicaciones generales a nivel de traza.

Preservación del Contexto: Al agrupar actividades basadas en la dinámica del flujo de control, el método preserva el contexto local necesario para interpretar por qué una actividad influye en un resultado.
Comprensibilidad: Mitiga el "entrelazamiento" de eventos importantes y no importantes, haciendo que las explicaciones sean más comprensibles para los interesados en el proceso.
Dependencia de la Estructura del Registro: Los autores señalan modestamente que la efectividad del método depende de la estructura del registro de eventos. Los registros con variabilidad de flujo de control moderada (como BPIC17) producen segmentos comparables y significativos, mientras que los registros con alta variabilidad (como BPIC15) resultan en una segmentación de caso específico que limita la generalización.
Utilidad Práctica: El enfoque permite la identificación de fases de proceso específicas (puntos de cambio) que dirigen los casos hacia los resultados predichos, apoyando la toma de decisiones dirigida y la detección de cuellos de botella sin requerir la transparencia total del modelo.

El estudio concluye que, si bien las atribuciones a nivel de evento siguen siendo ligeramente más fieles debido a su granularidad, las explicaciones a nivel de segmento mejoran significativamente la interpretabilidad de los modelos de aprendizaje profundo en el PPM al alinearse con las restricciones estructurales de los procesos de negocio.