Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches
Este artículo presenta un análisis comparativo de referencia de los enfoques basados en secuencias, tabulares y en modelos de lenguaje de gran tamaño (LLM) para el monitoreo predictivo de procesos, revelando que mientras los modelos de secuencia sobresalen en la predicción de la siguiente actividad y los modelos fundacionales tabulares son competitivos para tareas temporales, los LLM generalmente rinden por debajo de lo esperado a pesar de sus mayores costos computacionales.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás observando una cocina con mucho movimiento. Entran pedidos, los chefs pican, fríen y emplatan, y a veces un plato se queda esperando por una salsa o un ingrediente que falta. Si pudieras echar un vistazo al futuro y saber exactamente cuál será el siguiente paso, cuánto tardará la comida o si el pedido llegará tarde, podrías solucionar los problemas antes de que ocurran. Este es el corazón del Monitoreo Predictivo de Procesos (PPM). Es una rama de la informática que observa los "recibos" digitales de cómo suceden las cosas —como una fábrica que construye coches o un banco que aprueba préstamos— para adivinar qué vendrá después. Durante años, la mejor forma de hacer esto era entrenar un cerebro informático especializado desde cero, enseñándole las reglas específicas de esa cocina en particular. Pero recientemente, ha llegado una nueva ola de computadoras superinteligentes y de propósito general llamadas Modelos de Lenguaje Extensos (LLM). Estos son los modelos que pueden escribir poemas, programar y charlar contigo, y la gente se preguntó: "¿Podemos simplemente pedirle a estos genios generales que predigan el futuro de nuestra cocina?". Al mismo tiempo, apareció una tercera opción: los Modelos Fundacionales Tabulares, que son como estadísticos expertos que observan los datos en filas y columnas ordenadas en lugar de historias. La gran pregunta es: ¿Seguimos necesitando a los expertos especializados en cocina, o los genios generales y los estadísticos de filas y columnas han tomado el control?
Este artículo es una enorme prueba de sabor para ver qué uno de estos tres "chefs" cocina realmente la mejor comida. Los investigadores organizaron una competencia controlada utilizando cinco "cocinas" diferentes del mundo real (conjuntos de datos de procesos de negocio) y pidieron a los modelos que predijeran tres cosas: cuál es la siguiente actividad, cuánto tiempo tomará el siguiente paso y cuánto tiempo queda para que termine todo el trabajo. Enfrentaron a los Modelos de Secuencia de la vieja escuela (entrenados desde cero solo para este trabajo) contra los LLM (adaptados mediante una técnica llamada LoRA para aprender el proceso) y los Modelos Tabulares (que utilizan el aprendizaje en contexto, lo que significa que aprenden mirando los ejemplos que tienen justo delante sin necesidad de reentrenamiento).
Los resultados fueron un poco sorprendentes y un poco un alivio para los de la vieja escuela. Cuando se trataba de adivinar la siguiente actividad (como predecir que el chef picará cebollas a continuación), los Modelos de Secuencia especializados fueron los claros ganadores. Obtuvieron consistentemente la mayor precisión, superando a los LLM y a los modelos tabulares. El artículo sugiere que esto se debe a que estos modelos son excelentes comprendiendo el orden específico y el flujo de los eventos, especialmente cuando el proceso se vuelve complicado con muchos posibles caminos (ramificaciones). Los modelos tabulares fueron en realidad bastante buenos en las tareas relacionadas con el tiempo, a menudo rindiendo tan bien como los especialistas al predecir cuánto tardarían las cosas. Sin embargo, los LLM, a pesar de ser los más famosos y costosos de ejecutar, generalmente se quedaron atrás. Tardaron mucho más en computar (a veces tomando más de 200 minutos para un solo conjunto de datos en comparación con menos de un minuto para los otros) y no siempre acertaron las respuestas. De hecho, en un conjunto de datos, los LLM predijeron con frecuencia que el proceso había terminado cuando aún no lo había hecho, cometiendo muchos errores prematuros.
Por lo tanto, el artículo concluye que, si bien los llamativos LLM de propósito general son interesantes, no han logrado destronar a los modelos especializados para predecir qué sucede después en un proceso. Los modelos especializados siguen siendo los chefs más fiables para el trabajo, mientras que los modelos tabulares son una alternativa fuerte y rápida para las preguntas de tiempo. Los autores sugieren que los LLM podrían necesitar ser aún más grandes o entrenados de manera diferente para alcanzar el nivel, y que por ahora, si quieres saber qué sucede después en un proceso complejo, el enfoque especializado de la vieja escuela sigue siendo la apuesta más precisa.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.