기술 요약: 강화 학습을 통한 이벤트 로그 기반 최적 정책 학습

문제 정의

본 논문은 **처방적 프로세스 모니터링(Prescriptive Process Monitoring, PPM)**의 과제를 다루며, 특히 과거 이벤트 로그로부터 직접 **최적의 행동 정책(optimal behavioral policies)**을 학습하는 데 초점을 맞춥니다. 기존의 PPM 접근 방식이 사전 정의된 개입이나 특정 다음 활동을 추천하는 것과 달리, 본 연구는 특정 핵심 성과 지표(KPI)를 극대화하기 위한 최적의 행동 시퀀스를 결정하는 일반적인 전략을 발견하는 것을 목표로 합니다.

이 문제의 핵심 제약 조건은 **다중 행위자 환경(multi-actor environment)**입니다. 많은 실제 프로세스(예: 대출 신청)에서 프로세스 소유자(에이전트)는 일부 활동만을 제어하며, 나머지 활동은 외부 행위자(예: 고객)나 외생적 요인에 의해 구동됩니다. 목표는 에이전트가 프로세스 실행에 대해 부분적인 제어권만을 가진 상태에서도 KPI를 최적화할 수 있는 정책을 학습하는 것입니다.

저자들은 이 도메인에 강화 학습(RL)을 적용할 때 발생하는 두 가지 주요 과제를 식별했습니다:

1. 데이터 기반 학습(Data-Driven Learning): 상태 공간이나 개입 세트를 수동으로 정의하기 위해 광범위한 도메인 지식에 의존하는 것을 피해야 합니다.
2. 평가의 안전성(Evaluation Safety): 중단 위험 때문에 실제 시스템에서 정책을 테스트하는 것은 불가능합니다. 따라서 배포 전 견고한 평가 메커니즘이 필요합니다.

방법론

본 논문은 에이전트가 특정 활동을 제어하는 다중 행위자 설정 내에서 이벤트 데이터로부터 최적의 정책을 학습하기 위해 두 가지 구별된 AI 기반 접근 방식을 제안하고 비교합니다.

1. 모델 기반 접근 방식 (MDP 기반 RL)

이 방식은 이벤트 로그로부터 명시적인 **마르코프 결정 과정(MDP)**을 구축하고 **동적 계획법(Dynamic Programming, DP)**을 사용하여 문제를 해결합니다.

• MDP 구축:
  • 행동(Actions): 에이전트에 의해 제어되는 활동으로 정의됩니다.
  • 상태(States): 트레이스 이력을 인코딩하여 구축됩니다. 저자들은 상태 공간의 차원 폭발을 관리하기 위해 인코딩된 프리픽스(활동 빈도, 위치 및 정규화된 프리픽스 보상)에 대한 **k-평균 클러스터링(k-means clustering)**을 사용하여 상태를 구성합니다. 상태는 마지막 수행된 활동과 할당된 클러스터의 쌍으로 정의됩니다.
  • 전이 및 보상(Transitions & Rewards): 전이 확률과 평균 보상을 추정하기 위해 트레이스를 재현(replay)함으로써 구축됩니다.
• 정책 학습: 최적의 정책은 **가치 반복(Value Iteration)**을 사용하여 도출됩니다.
• 데이터 희소성 처리: 에이전트가 드물지만 높은 보상을 주는 전이를 악용하는 것(과적합)을 방기하기 위해, Q-값에 적용되는 스케일링 함수 $h(s, a)$를 도입합니다. 저자들은 상태-행동 쌍의 발생 빈도(발생 횟수의 사분위수 사용)에 따라 매개변수화된 계단 함수와 시그모이드 함수를 테스트하여 저빈도 전이에 페널티를 부여합니다.

2. 모델 프리 접근 방식 (Offline Deep RL)

이 방식은 환경과의 상호작용 없이 과거 데이터로부터 직접 학습하는 최첨단 오프라인 딥 RL 기법인 **보수적 Q-학습(Conservative Q-Learning, CQL)**을 채택합니다.

• 아키텍처: 순차적인 이벤트 로그 특성을 처리하기 위해 LSTM(Long Short-Term Memory) 셀을 포함한 **순환 신경망(RNN)**을 사용하여 상태-행동 가치 함수를 근사합니다.
• 데이터 준비: 트레이스에서 전이를 추출합니다. 결정적으로, 환경 제어 활동이 포함된 전이는 제거되며, 해당 보상은 에이전트의 관점과 일치시키기 위해 직전의 유효한 에이전트 전이로 전달됩니다.
• 학습: 오프라인 RL에서 흔히 발생하는 과대평가 편향을 최소화하기 위해 CQL 알고리즘을 사용하여 오프라인으로 모델을 학습시킵니다.

평가 프레임워크

실제 시스템 성능에 대한 위험 없이 학습된 정책을 평가하기 위해, 저자들은 **비즈니스 프로세스 시뮬레이션(Business Process Simulation, BPS)**을 활용합니다.

• 합성 로그(Synthetic Logs): 다양한 로그 크기와 성공률에 대한 견고성을 테스트하기 위해 BPMN 모델로부터 생성되었습니다.
• 실제 로그: BPIC2012 및 BPIC2017 데이터셋이 사용되었습니다.
• 시뮬레이션 모델: 두 가지 유형의 시뮬레이션 모델이 사용됩니다:
  1. 고정 확률 모델 ($M_\pi$): 결정 지점에 표준 확률을 사용합니다.
  2. 의사결정 나무 모델 ($M^\pi_{DT}$): 프로세스 이력에 더 민감하게 반응하도록 역사적 데이터로 학습된 의사결정 나무를 사용하여 환경의 응답을 모델링합니다.
• 베이스라인: 관습적 정책(customary policy)(원본 로그에 내재된 행동) 및 정보 기반 휴리스틱(informed heuristic)(시뮬레이션 로직에 대한 특권 지식을 사용하는 강력한 베이스라인, 합성 로그에서만 사용 가능)과 비교됩니다.

주요 기여

1. 직접적인 정책 학습: 본 논문은 도메인 지식을 최소화하면서 이벤트 로그로부터 일반적인 행동 정책을 학습하는 방법이 가능함을 입증하며, 제어 가능한 활동과 제어 불가능한 활동을 구분합니다.
2. 로그로부터의 MDP 구축: 상태 추상화를 위해 클러스터링을 사용하여 로그로부터 MDP를 구축하는 구체적인 파이프라인을 제안하며, 이는 프로세스 마이닝에서 MDP 상태를 수동으로 정의하는 어려움을 극복합니다.
3. 강건성을 위한 스케일링 함수: Q-값에 대한 빈도 기반 스케일링 함수($h$)의 도입은 저빈도 전이에 대한 과적합을 효과적으로 완화하여 정책 안정성을 크게 향 향상시킵니다.
4. 포괄적인 비교: 프로세스 마이닝 맥락에서 고전적인 모델 기반 DP 방식과 현대적인 모델 프리 Offline Deep RL(CQL) 간의 체계적인 비교를 제공합니다.
5. 시뮬레이션 기반 평가: 다중 행위자 설정에서 다음 활동 선택 정책을 평가하기 위해 BPS를 적응시켜, 학습된 전략의 A/B 테스트를 위한 통제된 환경을 제공합니다.

결과

평가는 8개의 합성 로그(크기 및 성공률 다양화)와 2개의 실제 로그(BPIC2012 및 BPIC2017)를 대상으로 수행되었습니다.

• 성능: 두 방법 모두 관습적 정책보다 타겟 KPI(이익)를 지속적으로 개선하는 정책을 성공적으로 학습했습니다.
  • 합성 로그에서, MDP 기반 접근 방식(특히 $h_{sig}^{Q1}$ 및 $h_{step}^{Q1}$와 같은 스케일링 함수를 사용한 경우)이 일반적으로 Offline Deep RL 접근 방식을 능가하였으며, 대부분의 경우 정보 기반 휴리스틱에 필적하는 KPI를 달성했습니다.
  • 실제 로그에서 두 방법 모두 견고한 성능을 보였으며, MDP 기반 접근 방식이 CQL에 비해 약간 우세하거나 대등한 우위를 보였습니다.
• 강건성: MDP 기반 접근 방식이 더 높은 안정성을 보여주었습니다. 스케일링이 없는 나이브(naive) MDP 방식은 불안정했던 반면, CQL 방식은 합성 로그 평가에서 상위 성능 정책에 포함되지 못했습니다.
• 계산 효율성: MDP 기반 접근 방식이 현저히 더 효율적이었습니다. MDP 기반 방법의 학습 시간은 몇 초에서 몇 분 사이였던 반-면, Offline Deep RL은 에포크당 약 30분이 소요되었으며(효과적인 정책을 얻기 위해 총 몇 시간 소요), MDP 방식의 시간은 클러스터링으로 인해 로그 크기에 따라 증가한 반면 Deep RL의 에포크당 시간은 일정하지만 매우 높았습니다.

의의 및 주장

본 논문은 복잡한 다중 행위자 시나리오에서도 에이전트가 부분적인 제어권을 가질 때, 이벤트 데이터로부터 직접 최적의 행동 정책을 학습하는 것이 가능하다는 점을 주장합니다.

• 실용성: 결과는 MDP 기반 접근 방식이 단순성, 해석 가능성, 계산 효율성 및 성능 사이에서 유리한 균형을 제공한다는 것을 시사합니다. 저자들은 데이터가 구조화되어 있고 결정 지점이 잘 정의된 프로세스 마이닝 시나리오에서는 고품질의 정책을 달 수 있는 복잡한 딥러닝 모델이 반드시 필요하지 않을 수 있다고 주장합니다.
• 데이터 기반 발견: 본 연구는 광범위한 전문가 지식에 의존하거나 가능한 행동 집합을 미리 정의하지 않고도, 오직 역사적 데이터로부터 효과적인 개입과 전략을 발견하는 것이 가능하다는 것을 검증합니다.
• 미래 잠재력: 저자들은 이러한 학습된 정책을 향후 온라인 상호작용이나 피드백을 통합할 수 있는 더 넓은 최적화 프레임워크를 위한 강력한 초기화 도구로 포지셔닝합니다. 또한 제어 흐름 정보에 대한 의존성과 향-후 연구를 위한 더 풍부한 상태 표현(예: 데이터 속성)의 필요성을 인정합니다.

결론적으로, 두 패러다임 모두 실행 가능하지만, 적절한 데이터 기반 상태 추상화와 정규화로 보강된 고전적인 모델 기반 접근 방식이 연구된 맥락에서 현재 더 효율적이고 견고한 솔루션을 제공합니다.