David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

기술 요약: 차기 활동 예측에서의 다윗과 골리앗

문제 정의
차기 활동 예측(Next Activity Prediction, NAP)은 비즈니스 프로세스 트레이스의 접두사(prefix)가 주어졌을 때 다음에 올 활동을 예측하는 것을 목표로 하는 예측적 프로세스 모니터링(Predictive Process Monitoring, PPM)의 핵심 과제이다. 이 분야는 고전적인 머신러닝에서 LSTM, 트랜스포머(Transformer), 그리고 최근의 거대 언어 모델(LLM)과 같은 딥러닝 아키텍처로 진화해 왔다. 최근 문헌들은 어휘가 조정된 미세 조정(fine-tuned) LLM이 우수한 성능을 제공한다고 제안하지만, 이러한 복잡한 모델들을 처음부터 학습된 더 단순한 베이스라인 및 아키텍처와 직접 비교하는 체계적인 벤치마크는 부족한 실정이다. 특히, 직접적인 시퀀스 모델링 맥락에서 LLM의 방대한 계산 비용과 복 complexity(복잡성), 즉 사전 학습(pretraining) 및 스케일링의 비용이 더 작은 태스크 특화형 모델이나 단순 통계적 베이스라인에 비해 일관된 성능 향상을 가져오는지 여부는 여전히 불분명하다.

방법론
저자들은 BPI 챌린지(BPI12, BPI15, BPI17, BPI19, BPI20_PTC, BPI20_TPD, BPI20_RFP)의 7개 실제 이벤트 로그를 대상으로 체계적인 벤치마크를 수행하였다. 본 연구는 이벤트 속성을 자연어 텍스트로 변환하지 않고 학습된 임베딩으로 표현하는 "직접 시퀀스 모델링(direct sequence modeling)" 접근 방식을 채택하였다.

실험 설정은 네 가지 범주의 모델을 비교하였다:

1. 사전 학습된 LLM: GPT-2(Small, Medium, Large) 및 Qwen-3(0.6B, 1.7B, 4B) 모델의 어휘 적응 버전. 이는 백본(backbone)은 고정하거나 PEFT를 통해 최소한으로 적응시키면서, 데이터셋의 어휘에 맞게 입출력 레이어를 교체하는 과정을 포함한다.
2. 처음부터 학습된 트랜스포머: NAP 데이터셋에서 직접 학습된 다양한 크기(약 0.1M에서 85M 파라미터 범위)의 커스텀 "nanoGPT" 모델.
3. 증류된 모델(Distilled Models): 미세 조정된 사전 학습된 "교사(teacher)" 모델로부터 로짓 전용 지식 증류(logits-only knowledge distillation)를 통해 학습된 더 작은 "학생(student)" 모델.
4. 베이스라인:
   • LSTM: 다양한 크기의 네 가지 LSTM 모델.
   • Argmax 베이스라인: 현재 활동의 상대적 전이 빈도만을 기반으로 다음 활동을 예측하는 단순 1차 경험적 전이 모델($a_{k+1} = \arg\max_a P(a | a_k)$).

평가는 접두사 수준에서 계산된 정확도(Accuracy)와 Macro-F1을 활용하여 평가되었다. 연구는 하이퍼파라미터, 데이터 누수(data leakage), 전처리(라이프사이클 증강 및 고유 접두사 처리 포함)를 엄격히 통제하였다.

주요 기여

• 체계적인 벤치마킹: 본 논문은 어휘가 적응된 LLM, 처음부터 학습된 트랜스포머, 증류된 모델, LSTM, 그리고 카운팅 기반의 argmax 베이스라인을 여러 데이터셋에 걸쳐 공동 비교한 최초의 연구를 제공한다.
• 증류 방법론: 사전 학습된 버전이 존재하지 않는 더 작은 아키텍처로 미세 조정된 LLM을 압축하는 방법을 도입하여, 지식 전이에 대한 통제된 연구를 가능하게 하였다.
• 베이스라인 포함: 최근의 딥러닝 중심 NAP 논문들에서 빠져 있는 단순 카운트 기반 argmax 베이스라인을 재도입함으로써, 보고된 성능 향상에 대한 비판적인 검증(reality check)을 제공한다.
• 연구 질문: 본 연구는 사전 학습의 가치, 증류, 모델 스케일링, 아키텍처의 현대성, 그리고 복잡한 모델이 베이스라인보다 반드시 필요한지에 관한 다섯 가지 질문을 명시적으로 다룬다.

결과
실험 결과는 더 큰 사전 학습 모델이 본질적으로 우월하다는 가설에 도전하는 "다윗 대 골리앗"의 서사를 보여준다:

• 사전 학습 (RQ1): 일반적인 LLM 사전 학습으로부터 얻는 추가적인 가치는 일관되게 나타나지 않았다. 미세 조정된 GPT-2 및 Qwen-3 모델은 유사한 크기의 처음부터 학습된 모델(nanoGPT)보다 체계적으로 우수한 성능을 보이지 않았다. 어떤 경우에는 처음부터 학습된 모델이 더 나은 성능을 보였다.
• 증류 (RQ2): 미세 조정된 교사 모델로부터의 로짓 전용 증류는 더 작은 학생 아키텍처의 성능을 처음부터 직접 학습시킨 것보다 개선하지 못했다. 실제로 증류된 모델들이 종종 더 낮은 성능을 보였다.
• 모델 용량 및 현대성 (RQ3 & RQ4): 모델 크기를 키우는 것(백만 단위에서 수십억 단위 파라미터로)은 일관된 성능 이득을 주지 못했다. 마찬가지로, 더 새로운 아키텍처(Qwen-3)가 기존의 아키텍처(GPT-2)를 일관되게 능가하지도 않았다.
• 복잡성 vs 베이스라인 (RQ5):
  • LSTM vs LLM: LSTM은 LLM과 대등한 성능을 보였으며, 특히 Macro-F1에서 LLM은 BPI12 데이터셋에서만 유의미한 이점을 보였다.
  • LLM vs Argmax: 대부분의 데이터셋(BPI15, BPI19, BPI20 변형)에서 단순 argmax 베이스라인은 수십억 개의 파라미터를 가진 LLM의 성능과 비슷하거나 근접했다. Argmax 베이스라인 대비 유의미한 개선은 BPI12와 BPI17에서만 관찰되었다.
  • 최적의 전략: 접두사 분산이 높거나, 학습 샘플이 적거나, 클래스 불균형이 심한 데이터셋의 경우, argmax 베이스라인이 종종 가장 효과적인 옵션이었다. 그러나 처음부터 학습된 비교적 작은 트랜스포머 모델들이 베이스라인과 미세 조정된 LLM을 모두 능가하며 종종 가장 좋은 전체 예측 성능을 달성했다.

의의 및 주장
본 논문은 PPM 커뮤니티에 "냉혹한 현실 점검(sobering reality check)"을 제안한다. 저자들은 단순한 베이스라인이 아닌 다른 딥러닝 모델들과 비교하여 고급 모델을 벤치마킹하려는 학계의 경향이 최근의 발전이 가진 실질적 관련성을 과장해 왔다고 주장한다.

• 사전 학습은 만능 해결책이 아니다: 사전 학습 중에 학습된 일반적인 언어적 사전 지식(language priors)은 어휘가 적응된 직접 시퀀스 모델링을 통해 NAP로 효과적으로 전이되지 않는다. 거대 모델의 "불일치하는 사전 지식(mismatched priors)"은 특정 프로세스 분포에서 오히려 성능을 저해할 수 있다.
• 단순함도 경쟁력이 있다: 단순한 빈도 기반 모델은 많은 프로세스 로그에서 매우 경쟁력 있는 옵션이다.
• 처음부터 학습하는 것이 선호된다: 복잡한 모델이 필요한 경우, 사전 학습되거나 증류된 아키텍처에 의존하기보다 작은 트랜스포머 모델을 처음부터 학습시키는 것이 더 유익하다.
• 향후 방향: 본 연구의 결과는 향후 연구가 아키텍처 스케일링을 넘어, 더 풍부한 프로세스 인지 표현, 전이 학습, 그리고 멀티 태스크 목적 함수에 집중해야 함을 시사하며, 진정한 발전을 측정하기 위한 명확한 출발점으로서 확립된 벤치마크와 단순 베이스라인을 사용할 것을 권고한다.

저자들은 "물매(sling)면 충분한 싸움에 거인을 데려오지 마라"고 결론지으며, 표준적인 NAP 과업에 있어 수십억 개의 파라미터를 가진 모델의 복잡성은 종종 정당화될 수 없음을 강조한다.