Combining Abstract Argumentation and Machine Learning for Efficiently Analyzing Low-Level Process Event Streams

본 논문은 저수준 프로세스 이벤트 스트림을 정확하게 해석하고 사전 지식을 활용하여 후보 해석을 정제함으로써 데이터 부족 및 계산 복잡성의 한계를 극복하기 위해 기계 학습 시퀀스 태깅과 추상적 논증 프레임워크를 결합한 데이터 효율적 신경-상징적 접근법을 제안한다.

핵심

이야기의 맥락을 이해하려 하지만 실제 줄거리 대신 원시적이고 저수준의 행동 목록만 가지고 있다고 상상해 보세요.

문제: "번역" 격차
병원 환자의 여정을 생각해 보세요. 컴퓨터 로그는 "환자가 만짐", "혈액 채취", "혈압 측정", "바늘 삽입"과 같은 작고 구체적인 행동들의 순서를 기록할 수 있습니다. 이러한 것들이 저수준 사건입니다.

하지만 의사나 관리자는 작은 행동들의 나열을 보고 싶어 하지 않습니다. 그들은 고수준의 이야기, 즉 "준비", "입원", "수술 전"과 같은 것을 알고 싶어 합니다.

문제는 "혈액 채취"와 같은 하나의 작은 행동이 그 세 가지 큰 단계 중 어느 단계에서도 발생할 수 있다는 점입니다. 마치 영화 속 인물이 컵을 들어 올리는 장면을 보는 것과 같습니다. 회의 전 커피를 마시는 것일까요? 손님을 위해 차를 따르는 것일까요? 아니면 단순히 치우는 것일까요? 맥락이 없으면 추측 게임일 뿐입니다. 만약 추측을 잘못하면 환자 치료에 대한 전체 이야기가 엉망이 됩니다.

이를 해결하던 기존 방법들
이 논문은 두 가지 이전의 해결 방법을 설명하며, 둘 다 결함이 있었습니다:

1. 엄격한 규칙책 접근법 (추상적 논증):
   병원 규칙을 모두 아는 매우 엄격하고 논리적인 형사를 상상해 보세요.

   • 규칙: "수술 전 단계는 입원 후에만 발생해야 합니다."
   • 규칙: "준비를 완료하지 않았다면 수술 전을 시작할 수 없습니다."
     이 형사는 모든 가능한 이야기를 규칙과 대조하여 검토합니다. 만약 어떤 이야기가 규칙을 위반하면 그 이야기는 폐기됩니다.
   • 결함: 때로는 규칙이 너무 느슨할 수 있습니다. 형사는 "기술적으로, 이것은 입원일 수도 있고, 수술 전일 수도 있으며, 준비일 수도 있습니다"라고 말할 수 있습니다. 형사는 50 가지나 되는 방대한 가능성 목록을 제시합니다. 이는 정확하지만 압도적이며 계산 속도가 느립니다.

2. 패턴 인식자 접근법 (머신러닝):
   수천 편의 과거 환자 이야기를 읽은 학생을 상상해 보세요.

   • 작동 방식: 이 학생은 "혈액 채취"를 보고 "아, 내가 읽은 이야기의 80% 에서 이 행동은 입원 중에 발생했습니다"라고 기억합니다.
   • 결함: 이 학생은 학습을 위해 방대한 양의 과거 이야기 도서관이 필요합니다. 만약 학생이 충분한 예시를 보지 못했다면 잘못 추측할 수 있습니다. 또한, 그들은 엄격한 규칙을 알지 못합니다. 규칙상 수술 전 단계가 아직 불가능함에도 불구하고 "혈액 채취" 사건에 대해 "수술 전"이라고 추측할 수 있습니다.

새로운 해결책: "뉴로-심볼릭" 팀업
저자들은 엄격한 형사(추론기) 와 패턴 인식자(머신러닝) 간의 팀업을 제안합니다. 이를 "뉴로-심볼릭" 접근법이라고 부릅니다.

실시간으로 그들이 어떻게 협력하는지 살펴보세요:

1. 첫 번째 추측: 패턴 인식자 (머신러닝) 는 현재 사건과 이전에 일어난 일들의 역사를 살펴봅니다. 그리고 "이것은 입원일 가능성이 80%, 준비일 가능성이 15%, 수술 전일 가능성이 5% 입니다"라고 말합니다. 가장 가능성 높은 이야기들의 순위가 매겨진 목록을 제시합니다.
2. 현실 검증: 엄격한 형사 (추론기) 는 이 짧은 목록을 받아 엄격한 규칙과 대조하여 검토합니다.
   • "잠깐," 형사가 말합니다. "규칙상 수술 전 단계는 아직 발생할 수 없습니다. 따라서 그 5% 추측은 불가능합니다. 이를 제외하겠습니다."
   • "또한," 형사가 덧붙입니다. "규칙상 지금 당장은 입원이 연속으로 두 번 발생할 수 없습니다. 따라서 그 15% 추측도 무효입니다."
3. 최종 답변: 시스템은 사용자에게 오직 유효한 옵션들만 제시하며, 이는 패턴 인식자가 얼마나 가능성 있다고 생각했는지에 따라 순위가 매겨집니다.

왜 이것이 중요한가
이 논문은 이 팀업이 기존 방법들의 약점을 해결한다고 주장합니다:

• 더 빠르고 명확함: 형사가 50 가지의 혼란스러운 가능성을 제시하는 대신, 패턴 인식자가 상위 3 가지로 범위를 좁히고, 형사는 그 3 가지 중 어떤 것이 합법적인지 확인하기만 하면 됩니다. 사용자는 최선의 답변에 대한 짧고 순위가 매겨진 목록을 얻습니다.
• 더 적은 데이터로 작동함: 패턴 인식자는 일반적으로 잘 학습하기 위해 수천 개의 예시가 필요합니다. 하지만 엄격한 형사가 실수를 수정해 주기 때문에 패턴 인식자가 완벽할 필요는 없습니다. 학생이 많은 책을 읽지 않았더라도 형사는 여전히 어리석은 실수를 막을 수 있습니다. 이 논문의 실험 결과에 따르면, 매우 적은 학습 예시만으로도 이 팀은 학생 단독으로 작동할 때보다 훨씬 더 잘 수행됩니다.
• "왜"를 설명함: 시스템이 어떤 아이디어를 거부하면, 형사는 왜 거부했는지 설명할 수 있습니다 (예: "준비가 먼저 발생해야 한다는 규칙 때문에 '수술 전'을 거부했습니다").

한 마디로 요약하자면
이 논문은 패턴을 기반으로 추측하는 머신러닝 모델의 직관과 사실에 비추어 확인하는 규칙 기반 시스템의 논리를 결합한 시스템을 제시합니다. 이는 올바른 이야기를 추측할 만큼 똑똑하고, 실시간으로 수행할 만큼 빠르며, 규칙에 따라 이야기가 논리적으로 타당하도록 보장할 만큼 엄격한 도구를 만들어냅니다. 이는 과거의 예시들이 충분하지 않아 컴퓨터가 스스로 모든 것을 가르치기 어려운 경우에 특히 유용합니다.

기술 요약

기술 요약: 추상적 논증과 머신러닝을 결합한 저수준 프로세스 이벤트 스트림 효율적 분석

1. 문제 정의

본 논문은 프로세스 마이닝에서의 로그 추상화 문제, 특히 저수준 이벤트 스트림을 고수준 비즈니스 활동으로 해석하는 과제를 다룹니다. 스마트 공장, 의료와 같은 많은 현대 시나리오에서 프로세스 추적 (trace) 은 고수준 프로세스 활동과 직접적인 1 대 1 매핑이 없는 원시적인 저수준 행동 (이벤트) 으로 구성됩니다. 대신 이벤트 유형과 활동 유형 간에는 종종 다대다 관계가 존재하여 "추상화 간극"을 초래합니다.

이 간극은 해석 문제를 야기합니다. 즉, 특정 저수준 이벤트를 생성한 고수준 활동 인스턴스를 결정하는 문제입니다. 기존 솔루션은 두 가지 주요 한계를 안고 있습니다:

1. 지식 기반 접근법(예: 추상적 논증 프레임워크 또는 AAF) 은 복잡한 제약을 처리하고 설명을 제공할 수 있지만, 제약이 느슨할 때 너무 많은 타당한 해석을 산출하여 정보 과부하와 높은 계산 비용을 초래할 수 있습니다.
2. 예시 기반 접근법(예: 지도 학습 머신러닝 시퀀스 태거) 은 확률적 해석을 순위 매길 수 있지만, 훈련 데이터가 부족하거나 노이즈가 있거나 복잡한 프로세스 행동을 포착하기에 불충분할 경우 종종 실패하며, 엄격한 도메인 제약을 강제하거나 거부된 해석에 대한 논리적 설명을 제공하는 메커니즘이 부족합니다.

본 논문은 두 패러다임의 강점을 결합한 뉴로-심볼릭 접근법을 제안합니다. 즉, 머신러닝 (ML) 을 사용하여 문맥 인식 확률적 후보 해석을 제공하고, 추상적 논증을 사용하여 공식 도메인 지식을 기반으로 이러한 후보를 정제하여 유효성을 보장하고 설명을 제공하는 방식입니다.

2. 방법론

제안된 프레임워크는 **Trace Tagger(ML)**와 **AAF 기반 추론기 (Symbolic)**라는 두 가지 구별된 AI 구성 요소를 통합합니다.

2.1 구성 요소

• Trace Tagger(M): 주석 달린 로그 추적에 훈련된 하위 심볼릭 머신러닝 모델 (구체적으로 시퀀스 태깅 모델) 입니다. 이는 추적 내 선행 이벤트의 문맥을 고려하여 현재 이벤트 $e_{curr}$에 대한 가능한 활동들의 확률 분포를 예측합니다. 두 가지 아키텍처가 테스트되었습니다:
  • $M_A$: 순차적 의존성을 포착하는 LSTM 기반 아키텍처.
  • $M_B$: 고정 길이 이벤트 임베딩 윈도우를 사용하는 심층 신경망 (DNN) 아키텍처.
• AAF 기반 추론기 (R): 추상적 논증 프레임워크에 기반한 지식 기반 모듈입니다. 이는 다음을 인코딩합니다:
  • 유형 수준 매핑: 이벤트 유형과 활동 유형 간의 관계 (첫 번째, 중간, 마지막과 같은 생명주기 단계 포함).
  • 선언적 프로세스 모델: 활동 인스턴스 위에 정의된 시간적 제약 (예: 필수, 금지, 선행).
    추론기는 후보 해석을 나타내는 논증과 도메인 지식과의 충돌을 나타내는 공격을 포함하는 AAF 를 구성합니다. 유효한 해석은 AAF 의 *선호 확장 (preferred extensions)*에 해당합니다.

2.2 하이브리드 워크플로우 (온라인 분석)

핵심 기여는 실행 중인 추적을 점진적으로 처리하는 대화형 온라인 알고리즘 (알고리즘 1) 입니다:

1. 초기 업데이트: 추론기는 글로벌 유형 수준 매핑에서 파생된 모든 후보 해석으로 내부 AAF 를 업데이트합니다.
2. ML 예측: Trace Tagger $M$은 추적 문맥을 기반으로 현재 이벤트 $e_{curr}$에 대한 확률 분포 $p_d$를 예측합니다.
3. 지식 기반 수정: 추론기 $R$은 ML 예측을 필터링합니다. 도메인 지식에 의해 유효하지하다고 간주된 활동 (즉, AAF 의 유효한 해석에 포함되지 않은 활동) 의 확률은 0 으로 설정됩니다.
4. 스무딩 및 정규화: ML 모델이 모든 유효한 후보에 대해 0 확률을 할당하는 상황을 방지하기 위해, 나머지 확률에 라플라스와 같은 스무딩 절차가 적용된 후 정규화됩니다.
5. AAF 정제: 추론기는 확률이 0 이 아닌 활동 (상위-k 후보) 만을 사용하여 AAF 를 재구성합니다. 이는 논증 솔버의 검색 공간을 크게 줄입니다.
6. 출력: 시스템은 사용자에게 가장 확률이 높은 유효 해석의 순위 목록을 제시하며, "이 이벤트는 활동 A 의 시작입니까?"와 같은 대화형 쿼리와 다른 해석이 거부된 이유에 대한 설명을 허용합니다.

3. 주요 기여

본 논문은 두 가지 주요 기여를 주장합니다:

1. 순위 매기를 통한 향상된 해석: 데이터 기반 지식을 활용함으로써, 이 접근법은 제약이 느슨할 때 순수 추론 접근법에서 내재된 정보 과부하 문제를 해결하기 위해 이벤트 해석을 순위 매겨 부분적으로 (상위-k) 제시합니다.
2. 향상된 데이터 효율성: 프로세스 모델 지식 (제약) 을 활용함으로써, 주석 달린 훈련 데이터가 부족하거나 프로세스의 엄격한 특성을 학습하기에 불충분한 시나리오에서 예시 기반 추상화 방법의 성능을 향상시킵니다.

저자들은 이를 뉴로-심볼릭 전략으로 위치지으며, ML 모델은 탐색을 가속화하는 "추론을 위한 학습" 메커니즘으로 작용하고, 추론기는 ML 예측을 수정하고 검증하는 "학습을 위한 추론" 메커니즘으로 작용한다고 설명합니다.

4. 실험 결과

실험은 실제 이탈리아 지역 기관 프로세스에서 영감을 받은 합성 데이터셋으로 수행되었으며, 다양한 추적 길이와 매핑 불확실성 (다대다 관계) 수준을 포함했습니다.

• 정확도 및 견고성: 하이브리드 접근법 (태거 + 추론기) 은 정확도, 정밀도, 재현율, F1 점수 전반에 걸쳐 태거 단독 및 추론기 단독보다 일관되게 우수한 성능을 보였습니다. 특히 태거가 성능이 저하된 경우 (예: $M_A$와 같은 복잡한 아키텍처 또는 제한된 데이터로 인해) 추론기가 성능을 크게 향상시켰습니다.
• 데이터 효율성: 훈련 세트 크기가 100% 에서 20% 로 감소된 실험에서, 하이브리드 접근법은 태거 단독보다 훨씬 높은 정확도를 유지했습니다. 하이브리드 방법의 성능 곡선은 훨씬 더 평탄하여 데이터 부족에 대한 견고성을 입증했습니다.
• 정보 과부하 감소: 이 접근법은 분석가가 고려해야 하는 후보 해석의 수를 크게 줄였습니다. 길이가 60 인 추적의 경우, 추론기 단독 사용 대비 올바른 활동의 순위 위치 차이로 측정된 정보 과부하 감소는 20 개 이상의 대안에 달했습니다.
• 계산 시간: 하이브리드 접근법은 추론 단계로 인해 태거 단독보다 느리지만, 평균 예측 시간은 약 1 초로 유지되어 비즈니스 프로세스 분석 컨텍스트에서 실행 가능하다고 간주됩니다. 태거 자체의 계산 오버헤드는 추론 과정에 비해 무시할 수준이었습니다.

5. 중요성 및 신규성

본 논문은 이 작업이 저수준 추적의 대화형 탐색적 분석을 위한 프로세스 마이닝 설정에서 뉴로-심볼릭 접근법을 활용한 최초의 시도라고 주장합니다.

기존 뉴로-심볼릭 솔루션과의 주요 차별점은 다음과 같습니다:

• 제약 범위: 행동 제약은 입력 (과거 이벤트) 과 출력 (현재 이벤트) 변수 모두에 걸쳐 적용되는 반면, 많은 기존 접근법은 출력만 제약합니다.
• 런타임 강제: 제약은 모델 훈련 중이 아닌 해석 세션 중 런타임에 강제됩니다. 이는 ML 모델을 재훈련하지 않고도 사용자가 제약을 변경할 수 있도록 유연성을 제공합니다.
• 쿼리 기능: 이 프레임워크는 표현력이 풍부하고 프로세스 지향적인 쿼리를 지원하며 단순한 확률 추정 또는 샘플 생성을 넘어 거부된 해석에 대한 설명을 제공합니다.

저자들은 이 프레임워크가 ML 의 속도와 문맥 인식 능력과 심볼릭 추론의 신뢰성 및 설명 가능성을 결합하여, 데이터가 제한적이거나 프로세스가 느슨하게 구조화된 복잡한 엔지니어링 응용 분야에서 효과적인 인간 - 루프 (human-in-the-loop) 협업을 가능하게 함으로써 최첨단 기술을 발전시킨다고 결론지었습니다.

6. 한계 및 향후 작업

저자들은 이 접근법이 도메인 지식 (제약) 의 가용성에 의존한다고 인정합니다. 제약이 너무 적거나 존재하지 않으면 추론기가 태거를 효과적으로 안내할 수 없습니다. 또한, 주석 달린 데이터가 극도로 부족할 경우 하이브리드 방법조차도 어려움을 겪을 수 있습니다.

식별된 향후 작업 방향은 다음과 같습니다:

• 준지도 학습: 태거 훈련을 개선하기 위해 엔트로피 정규화 손실을 사용하여 레이블이 지정되지 않은 로그 추적을 활용합니다.
• 능동 학습: 태거 모델을 개선하기 위해 전문가 주석을 위해 가장 정보량이 많은 레이블이 지정되지 않은 추적을 선택하는 전략을 개발합니다.
• 확률적 제약: 현재 프레임워크가 결정론적 제약만 처리하므로, "활동 A 는 80% 의 경우 B 를 따릅니다"와 같은 확률적 도메인 지식을 AAF 에 직접 통합하는 메커니즘을 조사합니다.