Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches
이 논문은 예측적 프로세스 모니터링을 위한 시퀀스, 테이블형, 그리고 LLM 기반 접근 방식에 대한 비교 벤치마크를 제시하며, 시퀀스 모델은 다음 활동 예측에 탁월하고 테이블형 파운데이션 모델은 시계열 작업에서 경쟁력이 있는 반면, LLM은 더 높은 계산 비용에도 불구하고 일반적으로 성능이 저하된다는 점을 밝히고 있다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
분주한 주방을 지켜보고 있다고 상상해 보세요. 주문이 들어오고, 요리사들은 재료를 다지고, 튀기고, 접시에 담습니다. 때로는 소스가 준비되지 않았거나 재료가 부족해서 요리가 대기 상태에 머물기도 합니다. 만약 당신이 미래를 엿보고 다음 단계가 무엇인지, 식사가 완료되기까지 얼마나 걸릴지, 혹은 주문이 늦어질지 여부를 정확히 알 수 있다면, 문제가 발생하기 전에 미리 해결할 수 있을 것입니다. 이것이 바로 **예측 프로세스 모니터링(Predictive Process Monitoring, PPM)**의 핵심입니다. 이는 자동차를 만드는 공장이나 은행의 대출 승인 과정처럼, 일이 어떻게 진행되는지에 대한 디지털 "영수증"을 살펴보고 다음에 올 일을 추측하는 컴퓨터 과학의 한 분야입니다. 오랫동안 이를 수행하는 가장 좋은 방법은 그 특정 주방의 규칙을 처음부터 학습시키는 특화된 컴퓨터 두뇌를 훈련시키는 것이었습니다. 하지만 최근, 시를 쓰고 코딩을 하며 대화를 나눌 수 있는 **대규모 언어 모델(Large Language Models, LLMs)**이라는 초강력하고 범용적인 컴퓨터들이 등장했습니다. 사람들은 궁금해했습니다. "이 일반적인 천재들에게 우리 주방의 미래를 예측해 달라고 요청할 수 있을까?" 동시에, 세 번째 옵션인 **테이블 파운데이션 모델(Tabular Foundation Models)**이 나타났습니다. 이들은 이야기 형태가 아닌 깔고 정돈된 행과 열의 데이터 형태를 살펴보는 전문 통계학자와 같습니다. 큰 질문은 이것입니다. 여전히 특화된 주방 전문가가 필요한가, 아니면 일반적인 천재들과 행-열 통계학자들이 자리를 차지하게 될 것인가?
이 논문은 이 세 명의 "요리사" 중 누가 실제로 최고의 요리를 만들어내는지 확인하기 위한 거대한 맛 테스트입니다. 연구진은 다섯 가지 서로 다른 실제 "주방"(비즈니스 프로세스 데이터셋)을 사용하여 통제된 경합을 설정하였고, 모델들에게 세 가지를 예측하도록 요청했습니다. 즉, 다음 활동이 무엇인지, 다음 단계가 얼마나 걸릴지, 그리고 전체 작업이 완료될 때까지 시간이 얼마나 남았는지입니다. 연구진은 전통적인 시퀀스 모델(Sequence Models)(이 업무만을 위해 처음부터 훈련된 모델)을 LLM(프로세스를 학습하기 위해 LoRA라는 기법을 사용해 적응시킨 모델) 및 테이블 모델(모델이 재학습 없이 눈앞의 예시를 보고 학습하는 인컨텍스트 러닝을 사용하는 모델)과 맞붙였습니다.
결과는 약간 놀랍기도 하고, 기존 방식의 지지자들에게는 안도감을 주기도 했습니다. 다음 활동(예: 요리사가 다음에 양파를 다질 것이라고 예측하는 것)을 추측하는 데 있어서는 특화된 시퀀스 모델이 명확한 승자였습니다. 이 모델들은 LLM과 테이블 모델을 제치고 일관되게 가장 높은 정확도를 기록했습니다. 논문은 이 모델들이 사건의 특정 순서와 흐름, 특히 많은 가능한 경로(분기)로 인해 프로세스가 복잡해질 때 이를 이해하는 데 탁월하기 때문이라고 설명합니다. 테이블 모델은 시간 관련 과업에서 꽤 우수한 성능을 보였으며, 무언가가 얼마나 걸릴지 예측할 때 특화된 모델들과 대등한 성능을 보이기도 했습니다. 반면, 가장 유명하고 운영 비용이 많이 드는 LLM은 대개 뒤처졌습니다. LLM은 계산 시간이 훨씬 오래 걸렸으며(단일 데이터셋에 대해 다른 모델들이 1분 미만이 걸린 것에 비해 때때로 200분 이상 소요됨), 정답을 맞히는 데에도 어려움을 겪었습니다. 실제로 한 데이터셋에서 LLM은 프로세스가 아직 끝나지 않았음에도 불구하고 프로세스가 종료되었다고 빈번하게 예측하여, 많은 조기 오류를 범했습니다.
따라서 이 논문은 화려하고 범용적인 LLM이 흥미롭기는 하지만, 프로세스에서 다음에 어떤 일이 일어날지 예측하는 데 있어 아직 기존의 특화된 모델들을 몰아내지 못했다고 결론짓습니다. 특화된 모델들이 여전히 이 업무에 가장 신뢰할 수 있는 요리사이며, 테이블 모델은 시간 관련 질문에 대한 강력하고 빠른 대안입니다. 저자들은 LLM이 따라잡기 위해서는 더 커지거나 다르게 훈련되어야 할 수도 있으며, 현재로서는 복잡한 프로세스에서 다음에 무슨 일이 일어날지 알고 싶다면 기존의 특화된 접근 방식이 여전히 가장 정확한 선택이라고 제언합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.