🤖 machine learning

Feature Attribution-Based Explainability Analysis of Deep Learning Models in Predictive Process Monitoring

본 논문은 예측적 프로세스 모니터링을 위한 딥러닝 모델에 대하여, 제어 흐름을 인식하는 세그먼트 분할 알고리즘을 활용해 세그먼트 수준의 SHAP 설명을 생성함으로써 계산 효율성과 기저의 제어 흐름 역학 및 이벤트 로그 내 결정적 변화 지점 식별 능력 사이의 균형을 효과적으로 맞추는 국소적 사후 설명 가능성 방법을 제안한다.

원저자: Kseniya Sahatova, Rafael Seidi Oyamada, Xuefei Lu, Johannes De Smedt

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kseniya Sahatova, Rafael Seidi Oyamada, Xuefei Lu, Johannes De Smedt

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 탐정이라고 상상해 보십시오. 하지만 당신의 범죄 현장은 실제 범죄 현장이 아니라 비즈니스 활동의 디지털 흔적입니다. 이 분야를 **예측 프로세스 모니터링(Predictive Process Monitoring)**이라고 부릅니다. 이것은 기업의 워크플로우를 위한 GPS와 같습니다. 하나의 케이스(대출 신청이나 허가 요청 등)가 한 단계에서 다음 단계로 이동하는 과정을 지켜보며, 그것이 결국 어디에 도달할지 예측하려고 노력합니다. 대출이 승인될까요? 프로젝트가 제시간에 끝날까요? 이를 위해 기업들은 **딥러닝 모델(Deep Learning models)**이라는 강력한 컴퓨터 두뇌를 사용합니다. 이 모델들은 수백만 개의 과거 이야기를 읽은 아주 똑똑한 학생과 같아서, 인간이 놓치는 패턴을 찾아낼 수 있습니다. 하지만 여기 함정이 있습니다. 이 모델들은 '블랙박스'라는 점입니다. 모델은 답을 제시하지만, 왜 그런 결론을 내렸는지는 말해주지 않습니다. 마치 선생님이 시험 점수를 주면서도 어떤 답이 맞고 틀렸는지는 보여주지 않는 것과 같습니다. 이 때문에 사람들은 중요한 결정에 이 모델들을 신뢰하는 것을 두려워하곤 합니다. 이를 해결하기 위해 과학자들은 설명 가능성(Explainability) 도구를 사용합니다. 이 도구들은 모델의 사고 과정에 빛을 비추는 손전등과 같아서, 이야기의 어떤 특정 부분이 가장 중요했는지를 강조해 보여줍니다. 하지만 기존의 손전등들은 너무 확대되어 있거나(모든 아주 작은 단계를 보여주어 압도적이고 혼란스러움), 너무 축소되어 있었습니다(전체 이야기를 하나의 커다란 덩어리로 뭉뚱그려 세부 사항을 놓침).

이 논문은 비즈니스 프로세스를 위해 그 손전등을 비추는 새로운 방법을 소개합니다. 저자인 크세니야 사하토바(Kseniya Sahatova)와 그녀의 팀은 비즈니스 이야기가 단순히 무작위적인 이벤트 목록이 아니라, 책의 장(chapter)처럼 리듬과 흐름을 가지고 있다는 점을 깨달았습니다. 그들은 활동들이 자연스럽게 서로를 따르는 방식에 기반하여, 길고 복잡한 프로세스 로그를 의미 있는 '장' 또는 **세그먼트(segments)**로 나누는 방법을 제안합니다. "이 이메일 하나가 중요했는가?" 혹은 "파일 전체가 중요했는가?"라고 묻는 대신, "이 특정 **단계(phase)**가 중요했는가?"라고 묻는 것입니다.

이 아이디어를 테스트하기 위해, 그들은 어디서 반전이 일어나는지 정확히 알고 있는 '가짜' 비즈니스 프로세스(즉, '그라운드 트루스')를 구축했습니다. 그 결과, 그들의 새로운 방법은 개별 단계를 보는 것보다 훨씬 더 나은 성능으로 이러한 반전 지점들을 90% 이상의 정확도로 찾아낼 수 있었습니다. 네덜란드 은행의 대출 신청과 한 지방 자치 단체의 행정 업무라는 실제 데이터를 적용했을 때, 결과는 더욱 흥ens팅적이었습니다. 대출 신청의 경우, 그들의 방법은 매끄럽고 구조화된 경로가 승인으로 이어진다는 점을 명확히 보여준 반면, '반복적으로 제안서를 생성하는' 특정 패턴이 거절로 이어지는 큰 위험 신호라는 점을 보여주었습니다. 이는 마치 영화에서 비극을 암시하는 특정한 복선을 찾아내는 것과 같았습니다.

이 논문은 이러한 '세그먼트 수준'의 접근 방식이 최적의 지점(sweet spot)이라고 제-안합니다. 이는 모든 이벤트를 하나하나 살펴보는 것(모델의 가공되지 않은 수학적 원형에 가장 충실한 방식임)만큼 수학적으로 완벽하지는 않지만, 인간이 이해하기에는 훨씬 쉽습니다. 관련 이벤트들을 함께 묶어줌으로써, 예측 뒤에 숨겨진 '이야기'를 볼 수 있게 해줍니다. 그러나 저자들은 이 방법이 비즈니스 프로세스가 명확한 구조를 가지고 있을 때 가장 잘 작동한다는 점을 주의 깊게 언급합니다. 만약 프로세스가 매우 혼란스럽고 모든 케이스가 완전히 제각각이라면, 이 방법은 혼란을 느껴 이야기를 너무 작고 의미 없는 조각들로 나눌 수도 있습니다. 하지만 논리적인 흐름을 가진 프로세스의 경우, 이 새로운 '장 기반(chapter-based)' 설명 방식은 여정의 어느 부분이 결과를 결정지었는지 보여줌으로써 우리가 AI를 신뢰할 수 있도록 도와줍니다.

기술 요약: 예측 프로세스 모니터링에서의 특징 기여도 기반 설명 가능성 분석

1. 문제 정의

예측 프로세스 모니터링(Predictive Process Monitoring, PPM)은 순환 신경망(RNN) 및 트랜스포머(Transformer)와 같은 딥러닝 모델을 활용하여 진행 중인 비즈니스 프로세스의 결과, 잔여 시간 또는 미래 활동 시퀀스를 예측한다. 이러한 모델들은 이벤트 로그의 순차적 의존성을 포착함으로써 높은 예측 성능을 달al하지만, 그 "블랙박스" 특성은 고위험 운영 환경에서의 신뢰와 채택을 저해한다.

SHAP(Shapley Additive Explanations) 및 LIME과 같은 특징 기여도(feature attribution) 기법을 포함한 기존의 설명 가능성 방법론은 PPM에 적용될 때 다음과 같은 딜레마에 직면한다:

이벤트 수준의 설명: 개별 이벤트에 중요도를 할당하는 방식은 파편화된 통찰을 제공하여, 의미 있는 프로세스 동작이나 실행의 광범적인 맥락을 드러내는 데 실패하는 경우가 많다.
트레이스 수준의 설명: 전체 트레이스를 단일 단위로 집계하면 정보 손실이 발생하며, 어떤 특정 실행 부분이 예측을 주도하는지를 불분명하게 만든다.
시계열의 한계: 시계열 문헌에서 제공하는 세그멘테이션(segmentation) 방법들은 인접한 관측치를 그룹화하지만, 이러한 일반적인 접근 방식은 비즈니스 프로세스 이벤트 로그 특유의 제어 흐름 제약, 활동 의미론(semantics), 또는 불규칙한 타이밍을 준수하지 못하는 경우가 많다. 이들은 일관된 프로세스 단계(stage)를 분할하거나 서로 관련 없는 동작을 병합할 수 있다.

결과적으로, 계산 효율성과 로컬 제어 흐름 맥락(local control-flow context)의 보존 사이에서 균형을 맞추어, 이해관계자들이 어떤 프로세스 단계가 예측에 영향을 미치는지 이해할 수 있게 하는 설명 가능성 접근 방식이 필요하다.

2. 방법론

저자들은 **제어 흐름 인식 세그멘테이션 알고리즘(control-flow-aware segmentation algorithm)**과 세그먼트 수준의 SHAP 값 계산을 통합한 로컬 사후 설명(local post-hoc explainability) 방법을 제안한다.

2.1 제어 흐름 인식 트레이스 세그멘테이션

본 방법론의 핵심은 전이 확률(transition probabilities)의 변화를 기준으로 트레이스를 일관된 부분 시퀀스(세그먼트)로 분할하는 알고리즘이다.

직접 따름 관계 (Directly-Follows Relation, DFR): 알고리즘은 먼저 이벤트 로그로부터 직접 따름 그래프(Directly-Follows Graph, DFG)를 구축하여 활동 간의 경험적 전이 확률을 도출한다.
비용 함수 (Cost Function): 주어진 트레이스에 대해, 알고리즘은 잠재적 세그먼트에 비용을 할당한다. 로그에서 빈번하게 발생하는 전이는 낮은 비용을 부여하는 반면, 드물거나 존재하지 않는 전이는 패널티( $\gamma$ )를 부과한다. 세그먼트 $s$ 의 비용은 다음과 같이 음의 로그 확률의 합으로 정의된다:
$C(s) = \sum_{i=1}^{m-1} c(a_i, a_{i+1})$
여기서 $c(a_i, a_{i+1}) = -\log T[a_i, a_{i+1}]$ (전이가 존재하는 경우), 그 외의 경우 $\gamma$ 이다.
변화 지점 탐지 (Change Point Detection): 알고리즘은 패널티가 부여된 목적 함수를 최소화하는 PELT (Pruned Exact Linear Time) 알고리즘을 사용하여 변화 지점을 탐지한다. 이 함수는 과도한 세그멘테이션을 방지하기 위해 총 세그멘테이션 비용과 세그먼트 개수에 대한 패널티 항( $\beta k$ ) 사이의 균형을 맞춘다. 하이퍼파라미터 $\beta$ 는 Akaike Information Criterion (AIC)을 최소화하도록 그리드 서치(grid search)를 통해 선택된다.
결과: 트레이스는 일관된 로컬 제어 흐름 동작을 나타내는 세그먼트로 분할된다.

2.2 세그먼트 수준 SHAP 계산

트레이스가 세그먼트화되면, 이 방법은 개별 이벤트가 아닌 각 세그먼트를 SHAP 값 계산을 위한 하나의 해석 가능한 단위로 취급한다.

코알리션(Coalition) 정의: $k$ 개의 세그먼트에 대해 코알리션 벡터 $z \in \{0, 1\}^k$ 가 정의된다. $z_l=1$ 은 해당 세그먼트가 원래 값을 유지함을 나타내고, $z_l=0$ 은 해당 세그먼트가 베이스라인 값(훈련 데이터의 범주형 속성의 최빈값 및 수치형 속성의 평균으로부터 유도됨)으로 대체되었음을 나타낸다.
섭동 (Perturbation): 모델은 특정 세그먼트가 마스킹되고 베이스라인으로 대체된 섭동된 트레이스에 대해 평가된다.
SHAP 값: KernelSHAP을 적용하여 각 세그먼트에 대한 Shapley 값을 계산하며, 이는 세그먼트 기여도의 합이 모델의 예측값과 베이스라인 예측값의 차이와 같다는 효율성(efficiency) 속성을 만족한다.

3. 실험 설정

본 연구는 다음을 사용하여 제안된 방법을 평가한다:

데이터셋:
- 세그멘테이션 정확도를 검증하기 위해 알려진 정답(ground-truth) 변화 지점(취소 vs 승인 결과)을 포함하는 SimBank 시뮬레이터로 생성된 합성 데이터셋.
- 두 개의 실제 벤치마크 데이터: BPIC15 (네덜란드 지방 자치 단체 행정 프로세스) 및 BPIC17 (금융 기관 대출 신청).
예측 모델: 이진 결과(예: 승인 vs 취소)를 예측하기 위해 고정 길이 프리픽스(30개 이벤트)로 학습된 LSTM 기반 시퀀스 분류기.
베이스라인:
- 이벤트별 기여도 (Per-event attribution): 표준 이벤트 수준 SHAP.
- 분포 기반 세그멘테이션 (Distribution-based segmentation): 추천 시스템에서 채택된 방식(시간 창 및 세션 정의를 기준으로 이벤트를 그룹화하는 방식)을 변형한 방법.
평가 지표:
- 세그멘테이션 품질: 합성 데이터의 경우 RandIndex, Precision, Recall, F1-score; 실제 데이터의 경우 엔트로피 관련성(Entropic Relevance, ER) 및 패턴 커버리지(pattern coverage).
- 설명 충실도 (Explanation Faithfulness): 섭동을 통한 상대적 예측 변화(Relative Prediction Change, RPC). 이는 중요한 세그먼트(높은 SHAP)를 섭동했을 때와 중요하지 않은 세그먼트를 섭동했을 때 예측이 얼마나 변하는지를 측정한다.

4. 주요 결과

4.1 세그멘테이션 품질

합성 데이터: 제안된 알고리즘은 정답 변화 지점과 높은 일치도를 보였으며, RandIndex 점수는 0.9를 초과했고, F1-score는 취소 케이스의 경우 89%, 승인 케이스의 경우 87.4%를 기록했다.
실제 데이터 (BPIC17): 본 방법은 일관된 프로세스 단계를 식별했다. 승인된 케이스의 경우, 상위 10개 세그멘테이션 패턴이 트레이스의 81.4%를 커버하여 안정적인 제어 흐름 구조를 나타냈다. 엔트로피 관련성(ER)은 전체 로그의 37.81에서 세그먼트화된 경우 6.68로 크게 감소하였는데, 이는 세그먼트가 매우 결정론적이고 압축 가능한 패턴을 포착하고 있음을 나타낸다.
실제 데이터 (BPIC15): 많은 활동 쌍 사이의 높은 가변성과 낮은 전이 확률로 인해, 알고리즘은 미세한 세그먼트(평균 세그먼트당 2개 이벤트)를 생성했다. 이는 제어 흐름 가변성이 높은 로그가 일반화 가능한 세그먼트 패턴을 형성하는 능력을 제한함을 시사한다.

4.2 설명 충실도

섭동 분석: 세그먼트 수준의 SHAP 값은 높은 충실도를 입증했다. 가장 중요한 상위- $k$ 세그먼트(트레이스의 약 40%를 커버)를 섭동했을 때 상당한 예측 변화(높은 RPCI)가 발생한 반면, 중요하지 않은 세그먼트를 섭동했을 때는 영향이 미미했다(낮은 RPCU).
비교: 이벤트 수준의 기여도가 약간 더 높은 세밀함을 보여주기는 했으나, 세그먼트 수준의 방법(분포 기반 및 제어 흐름 인식 모두)이 더 깔적인(cleaner) 분리를 제공했다. 이벤트 수준 방법은 고립된 이벤트를 섭동함으로써 로컬 의존성을 방해하여 예상치 못한 예측 변화를 일으키는 경우가 있었다.

4.3 질적 통찰

승인 케이스 (BPIC17): 매끄러운 전이(예: Concept $\to$ Complete application)를 포함하는 세그먼트는 일관되게 예측을 승인 방향으로 밀어붙였다(음의 SHAP 값).
취소 케이스 (BPIC17): 반복적인 오퍼 생성을 포함하는 세그먼트는 높은 양의 SHAP 값을 받았으며, 이는 예측을 취소 방향으로 강력하게 밀어붙였다. 이를 통해 실패와 관련된 특정 병목 현상(반복적인 오퍼 생성)을 식별할 수 있었다.
해석 가능성: 본 방법은 모델의 예측을 고립된 이벤트가 아닌 구체적인 프로세스 단계(예: "신청 완료" vs "오퍼 생성")와 성공적으로 연결했다.

5. 의의 및 주장

본 논문은 제안된 방법이 미세한 이벤트 수준 설명과 거친 트레이스 수준 설명 사이의 유용한 중간 지점을 제공한다고 주장한다.

맥락 보존: 활동을 제어 흐름 역학에 따라 그룹화함으로써, 특정 활동이 결과에 왜 영향을 미치는지 해석하는 데 필요한 로컬 맥락을 보존한다.
이해 용이성: 중요 이벤트와 중요하지 않은 이벤트가 뒤섞이는 현상을 완화하여 프로세스 이해관계자들이 더 쉽게 이해할 수 있도록 한다.
로그 구조에 대한 의존성: 저자들은 본 방법의 효과가 이벤트 로그의 구조에 따라 달라질 수 있음을 겸허히 언급한다. 제어 흐름 가변성이 중간 정도인 로그(BPIC17과 같은)는 의미 있고 비교 가능한 세그먼트를 생성하지만, 가변성이 매우 높은 로그(BPIC15와 같은)는 일반화를 제한하는 케이스별 미세 세그멘테이션을 생성한다.
실무적 유용성: 이 접근 방식은 모델의 완전한 투명성을 요구하지 않고도, 특정 사례를 예측된 결과로 유도하는 구체적인 프로세스 단계(변화 지점)를 식별할 수 있게 하여 타겟팅된 의사결정과 병목 현상 탐지를 지원한다.

연구는 결론적으로, 이벤트 수준의 기여도가 그 세밀함 덕분에 약간 더 높은 충실도를 보일 수는 있으나, 세그ment 수준의 설명이 비즈니스 프로세스의 구조적 제약에 부합함으로써 딥러닝 모델의 해석 가능성을 크게 향상시킨다고 결론짓는다.