David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

Resumen Técnico: David contra Goliat en la Predicción de la Siguiente Actividad

Planteamiento del Problema
La Predicción de la Siguiente Actividad (NAP, por sus siglas en inglés) es una tarea fundamental en el Monitoreo de Procesos Predictivo (PPM), que busca predecir la actividad subsiguiente en un trazo de proceso de negocio dado su prefijo. El campo ha evolucionado desde el aprendizaje automático clásico hasta arquitecturas de aprendizaje profundo como LSTMs, Transformers y, recientemente, Modelos de Lenguaje de Gran Escala (LLMs). Aunque la literatura reciente sugiere que los LLMs adaptados al vocabulario y ajustados (fine-tuned) ofrecen un rendimiento superior, existe una falta de comparativas sistemáticas que comparen directamente estos modelos complejos contra baselines más simples y arquitecturas entrenadas desde cero. Específicamente, no está claro si el enorme costo computacional y la complejidad del preentrenamiento y el escalado de los LLMs generan mejoras de rendimiento consistentes sobre modelos más pequeños y específicos para la tarea o sobre baselines estadísticos simples en el contexto del modelado directo de secuencias para NAP.

Metodología
Los autores realizaron una comparativa sistemática a través de siete registros de eventos de la vida real del BPI Challenge (BPI12, BPI15, BPI17, BPI19, BPI20_PTC, BPI20_TPD, BPI20_RFP). El estudio empleó un enfoque de "modelado de secuencia directa", donde los atributos de los eventos se representan como embeddings aprendidos sin convertir los datos en texto de lenguaje natural.

La configuración experimental comparó cuatro categorías de modelos:

1. LLMs Preentrenados: Versiones de GPT-2 (Small, Medium, Large) y Qwen-3 (0.6B, 1.7B, 4B) adaptadas al vocabulario. Esto implicó reemplazar las capas de entrada/salida para que coincidieran con el vocabulario del conjunto de datos, manteniendo el cuerpo (backbone) fijo o mínimamente adaptado mediante el Ajuste Fino Eficiente en Parámetros (PEFT).
2. Transformers Entrenados desde Cero: Modelos "nanoGPT" personalizados de diversos tamaños (que oscilan entre ~0.1M y ~85M de parámetros) entrenados directamente en los conjuntos de datos de NAP.
3. Modelos Destilados: Modelos "estudiantes" más pequeños entrenados mediante destilación de conocimiento basada únicamente en logits a partir de los modelos "maestros" preentrenados y ajustados.
4. Baselines:
   • LSTMs: Cuatro modelos LSTM de diversos tamaños.
   • Baseline Argmax: Un modelo de transición empírica de primer orden simple que predice la siguiente actividad basándose únicamente en las frecuencias de transición relativas de la actividad actual ($a_{k+1} = \arg\max_a P(a | a_k)$).

La evaluación utilizó dos métricas: Exactitud (Accuracy) y Macro-F1, computadas a nivel de prefijo. El estudio controló los hiperparámetros, la fuga de datos (data leakage) y el preprocesamiento (incluyendo la aumentación de ciclo de vida y el manejo de prefijos únicos).

Contribuciones Clave

• Comparativa Sistemática: El artículo proporciona la primera comparación conjunta de LLMs adaptados al vocabulario, Transformers entrenados desde cero, modelos destilados, LستMs y un baseline de conteo basado en argmax (ausente en muchos artículos recientes de DL enfocados en NAP), proporcionando un control de realidad crítico sobre las mejoras de rendimiento reportadas.
• Metodología de Destilación: Introduce un método para comprimir LLMs ajustados en arquitecturas más pequeñas para las cuales no existen versiones preentrenadas, permitiendo un estudio controlado de la transferencia de conocimiento.
• Inclusión de Baselines: Al reintroducir un simple baseline de argmax basado en conteo (ausente en muchos artículos recientes de DL para NAP), los autores proporcionan un control de realidad crítico sobre las mejoras de rendimiento reportadas.
• Preguntas de Investigación: El estudio aborda explícitamente cinco preguntas relacionadas con el valor del preentrenamiento, la destilación, el escalado de modelos, la modernidad arquitectónica y la necesidad de modelos complejos sobre los baselines.

Resultados
Los resultados experimentales presentan una narrativa de "David contra Goliat", desafiando la suposición de que los modelos más grandes y preentrenados son inherentemente superiores:

• Preentrenamiento (RQ1): No hay un valor añadido consistente del preentrenamiento de LLMs genéricos. Los modelos GPT-2 y Qwen-3 ajustados no superaron sistemáticamente a sus contrapartes entrenadas desde cero (nanoGPT) de tamaño similar. En algunos casos, los modelos entrenados desde cero funcionaron mejor.
• Destilación (RQ2): La destilación de solo logits de los maestros ajustados no mejoró el rendimiento de las arquitecturas de estudiantes más pequeñas en comparación con entrenarlas directamente desde cero. De hecho, los modelos destilados a menudo tuvieron un rendimiento inferior.
• Capacidad y Modernidad del Modelo (RQ3 y RQ4): El aumento del tamaño del modelo (de millones a miles de millones de parámetros) no produjo un beneficio de rendimiento consistente. Del mismo modo, las arquitecturas más nuevas (Qwen-3) no superaron consistentemente a las más antiguas (GPT-2).
• Complejidad vs. Baseline (RQ5):
  • LSTMs vs. LLMs: Las LSTMs funcionaron de manera comparable a los LLMs, particularmente en Macro-F1, donde los LLMs solo mostraron ganancias significativas en el conjunto de datos BPI12.
  • LLMs vs. Argmax: En la mayoría de los conjuntos de datos (BPI15, BPI19, variantes de BPI20), el simple baseline de argmax igualó o se acercó al rendimiento de los LLMs de miles de millones de parámetros. Las mejoras significativas sobre el baseline de argmax se observaron solo en BPI12 y BPI17.
  • Estrategia Óptima: Para conjuntos de datos con alta varianza de prefijos, pocos ejemplos de entrenamiento o alto desequilibrio de clases, el baseline de argmax fue a menudo la opción más efectiva. Sin embargo, los modelos Transformer comparativamente pequeños entrenados desde cero frecuentemente lograron el mejor rendimiento predictivo general, superando tanto al baseline como a los LLMs ajustados.

Significancia y Reivindicaciones
El artículo afirma que es un "baño de realidad" para la comunidad de PPM. Los autores argumentan que la tendencia del campo a comparar modelos avanzados contra otros modelos de aprendizaje profundo, en lugar de contra baselines simples, ha sobreestimado la relevancia práctica de los avances recientes.

• El preentrenamiento no es una solución mágica: Los sesgos (priors) de lenguaje genéricos aprendidos durante el preentrenamiento no se transfieren eficazmente a NAP a través del modelado de secuencia directa adaptado al vocabulario. Los "sesgos discordantes" de los modelos grandes pueden incluso dificultar el rendimiento en distribuciones de procesos específicas.
• La simplicidad es competitiva: Un modelo simple basado en frecuencias es una opción altamente competitiva para muchos registros de procesos.
• Entrenar desde cero es preferible: Cuando los modelos complejos son necesarios, entrenar modelos Transformer pequeños desde cero es más beneficioso que aumentar el tamaño del modelo o depender de arquitecturas preentrenadas o destiladas.
• Dirección Futura: Los hallazgos sugieren que la investigación futura debe ir más allá del escalado arquitectónico y centrarse en representaciones más ricas conscientes del proceso, transferencia de aprendizaje y objetivos multitarea, utilizando los benchmarks establecidos y los baselines simples como un punto de partida claro para medir el progreso genuino.

Los autores concluyen que los profesionales deben "no llevar un gigante a una pelea donde una honda es suficiente", enfatizando que la complejidad de los modelos de miles de millones de parámetros es a menudo injustificada para las tareas estándar de NAP.