Promoting Simple Agents: Ensemble Methods for Event-Log Prediction

논문 개요

이 논문은 스트리밍 이벤트 로그 (streaming event logs) 에서 다음 활동 (next-activity) 예측을 수행할 때, 경량 자동자 기반 모델 (n-gram) 의 앙상블 방법이 대규모 신경망 모델 (LSTM, Transformer) 과 비교하여 어떤 성능과 효율성을 보이는지 분석합니다. 연구진은 복잡한 신경망 모델 대신 단순한 에이전트 (n-gram) 들의 앙상블을 활용하여 높은 정확도와 낮은 계산 비용을 동시에 달성하는 새로운 방법론인 **'Promotion Algorithm(승진 알고리즘)'**을 제안합니다.

1. 문제 정의 (Problem Statement)

• 배경: 현대 정보 시스템은 환자 치료, 서비스 티켓 발급, 서버 운영 등 다양한 프로세스에서 연속적인 이벤트 로그를 생성합니다. 프로세스 마이닝 (Process Mining) 은 이러한 로그를 분석하여 프로세스 행동을 설명하고 예측하는 것을 목표로 합니다.
• 과제: 오프라인 데이터 분석을 넘어, 로그가 생성되는 실시간 (스트리밍) 환경에서 다음 활동을 예측하는 것이 핵심 과제입니다.
• 현재의 한계:
  • 신경망 모델 (LSTM, Transformer): 높은 정확도를 보이지만, 계산 비용이 크고 지연 시간 (latency) 이 길어 실시간 처리에 부적합할 수 있습니다. 특히 Transformer 는 스트리밍 환경에서 전체 시퀀스를 재처리해야 하거나 고정된 윈도우 크기를 사용해야 하는 등 복잡도가 증가합니다.
  • 단순 모델 (n-gram): 계산 효율이 뛰어나지만, 컨텍스트 윈도우 (window size) 크기를 어떻게 설정하느냐에 따라 성능이 크게 좌우됩니다. 너무 작은 윈도우는 중요한 과거 정보를 놓치고, 너무 큰 윈도우는 데이터 희소성 (sparsity) 으로 인해 성능이 저하됩니다.
  • 기존 앙상블 방법: 여러 모델을 병렬로 실행하여 투표 (voting) 하는 방식은 성능을 높일 수 있지만, 많은 에이전트를 동시에 실행해야 하므로 메모리 사용량과 지연 시간이 급증하는 문제가 있습니다.

2. 방법론 (Methodology)

가. 기본 모델 비교

연구진은 다음 세 가지 모델을 스트리밍 환경에서 비교 분석했습니다:

1. n-gram: 최근 $n-1$개의 활동에 기반하여 확률을 계산하는 확률적 유한 자동자 (PDFA) 기반 모델.
2. LSTM (Long Short-Term Memory): 장기 의존성을 학습할 수 있는 순환 신경망.
3. Transformer: 자기 주의 (self-attention) 메커니즘을 사용하는 모델.

나. 윈도우 크기 (Window Size) 의 영향 분석

• 합성 데이터 (주기적 패턴, 무작위 패턴) 와 실제 데이터셋을 사용하여 다양한 윈도우 크기가 모델 정확도에 미치는 영향을 실험했습니다.
• 결과:
  • n-gram: 적절한 윈도우 크기 범위 (plateau) 내에서는 매우 안정적이고 높은 정확도를 보였으나, 윈도우가 너무 커지면 데이터 희소성으로 인해 성능이 급격히 떨어졌습니다.
  • LSTM/Transformer: 일반적으로 높은 정확도를 보였으나, 특정 윈도우 크기에서 성능이 불안정하게 떨어지는 경향을 보였습니다 (특히 Transformer 는 윈도우가 커질수록 주의 집중이 어려워 성능 저하가 발생).

다. 제안된 앙상블 방법: Promotion Algorithm

기존의 Soft Voting이나 Adaptive Voting 은 모든 에이전트를 병렬로 실행해야 하는 과부하 문제가 있었습니다. 이를 해결하기 위해 Promotion Algorithm을 제안했습니다.

• 핵심 아이디어: 두 개의 활성 에이전트 (현재 모델 $M_i$와 다음 모델 $M_{i+1}$) 만을 동시에 실행합니다.
• 동작 원리:
  1. 작은 윈도우 크기의 모델 ($M_i$) 로 예측을 수행합니다.
  2. 동시에 더 큰 윈도우 크기의 모델 ($M_{i+1}$) 의 예측 정확도를 모니터링합니다.
  3. $M_{i+1}$이 $M_i$보다 $\tau$ (임계값, 실험에서는 20) 번 연속으로 더 높은 정확도를 보이면, $M_{i+1}$로 **승진 (Promotion)**시켜 활성 모델로 교체합니다.
  4. 이 과정은 모델이 더 큰 윈도우로 전환될지 결정하는 동적 메커니즘으로 작동하며, 불필요한 병렬 실행을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 단순 모델의 효용성 입증: 복잡한 신경망 모델과 비교했을 때, 적절한 윈도우 크기를 가진 n-gram 은 합성 및 실제 데이터셋에서 동등하거나 더 나은 안정성을 보임을 증명했습니다.
2. Promotion Algorithm 제안: 기존의 다중 에이전트 앙상블이 가진 높은 계산 오버헤드를 해결하기 위해, 최소 2 개의 에이전트만 병렬로 실행하여 동적으로 모델을 전환하는 효율적인 알고리즘을 개발했습니다.
3. 실시간 처리 최적화: 이 방법은 윈도우 크기 하이퍼파라미터를 수동으로 튜닝할 필요 없이, 데이터의 특성에 따라 자동으로 적응하며 낮은 지연 시간과 높은 처리량 (throughput) 을 제공합니다.

4. 실험 결과 (Results)

가. 데이터셋

• 합성 데이터: 결정론적 주기 패턴 (AAABBB 등), 무작위 주기 패턴 (xx$\bar{x}$ 등) 을 포함한 다양한 시나리오.
• 실제 데이터: Sepsis, BPI 2012/2013/2017/2018 등 5 개의 실제 프로세스 마이닝 데이터셋 (약 1 만 건에서 250 만 건 이상의 이벤트 포함).

나. 성능 비교

• 정확도 (Accuracy):
  • 합성 데이터셋에서는 n-gram 기반 앙상블 (특히 Promotion 알고리즘) 이 LSTM 및 Transformer 보다 안정적이거나 동급의 정확도를 보였습니다.
  • 실제 데이터셋에서는 LSTM 이 가장 높은 정확도를 보였으나, Promotion 알고리즘은 LSTM 과 유사한 정확도를 유지하면서도 훨씬 낮은 계산 비용을 달성했습니다.
• 계산 효율성 (Latency & Throughput):
  • 예측 시간: n-gram 은 신경망 모델보다 훨씬 빠른 예측 시간 (마이크로초 단위) 을 보였습니다.
  • 앙상블 오버헤드: Soft Voting이나 Adaptive Voting 은 많은 에이전트를 병렬로 실행하여 지연 시간이 증가했으나, Promotion 알고리즘은 2 개의 모델만 실행하므로 지연 시간이 거의 증가하지 않았습니다.
  • 학습 시간: n-gram 기반 모델은 학습 시간이 매우 짧아 실시간 학습 (online learning) 에 적합합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실시간 프로세스 모니터링의 새로운 패러다임: 고비용의 대규모 언어 모델 (LLM) 이나 복잡한 신경망 없이도, 단순한 에이전트들의 지능적인 조합 (앙상블) 으로 실시간 이벤트 로그 예측의 높은 정확도와 효율성을 달성할 수 있음을 보여줍니다.
• 자원 제약 환경에서의 적용 가능성: 메모리와 계산 자원이 제한된 엣지 디바이스나 실시간 시스템에서 프로세스 마이닝을 적용할 수 있는 실용적인 솔루션을 제공합니다.
• 향후 연구 방향:
  • 승진 임계값 ($\tau$) 과 n-gram 집합의 자동 보정 (Automatic calibration).
  • 개념 변화 (Concept Drift) 에 대응하기 위한 강등 (Demotion) 메커니즘 추가.
  • 하위 n-gram 의 학습 구조를 상위 모델에 재사용하는 방법 연구.

결론적으로, 이 논문은 "복잡한 것이 항상 좋은 것은 아니다"는 원칙을 증명하며, **단순한 n-gram 모델들의 동적 앙상블 (Promotion Algorithm)**이 스트리밍 이벤트 로그 예측 분야에서 신경망 모델 대비 뛰어난 효율성과 경쟁력 있는 성능을 제공함을 입증했습니다.