기술 요약: 스키마 불가지론적 프로세스 트레이스 구축 (Schema-Agnostic Process Trace Construction)

문제 정의

OLTP 환경을 포함한 현대 정보 시스템(IS)은 급격하게 진화하고 느슨하게 결합된 관계형 테이블들로 특징지어집니다. 이러한 환경에서는 안정적인 스키마, 명시적인 기본 키(PK)/외래 키(FK), 정제된 이벤트 로그라는 전통적인 가정이 실패하는 경우가 많습니다. 스키마는 표류하고, 대리 키(surrogate keys)는 일관성 없이 적용되거나 재구성되며, 실행 트레이스는 희소한 키와 모호하거나 다중적인 타임스탬프 필드를 가진 여러 테이블에 분산되어 있습니다.

결과적으로, 감사, 컴플라이언스, 프로세스 마이닝과 같은 작업을 위해 프로세스 실행 트레이스(이벤트 로그)를 재구성하는 작업은 임시적인 조인(ad-hoc joins)과 타임스탬프 규칙을 수반하는 비용이 많이 들고 취약한 수동 개입을 필요로 합니다. 기존의 접근 방식은 사전 정의된 스키마, 신뢰할 수 있는 PK/FK 구조 또는 도메인 특화 템플릿에 의존하기 때문에, 키가 희소하고 이질적이며 지속적으로 변화하는 환경에는 적용할 수 없습니다. 핵심적인 문제는 사전 정의된 스키마, 신뢰할 수 있는 외래 키 또는 도메인 전문 지식에 의존하지 않고 어떻게 원시 관계형 데이터로부터 고충실도(high-fidelity) 실행 시퀀스(케이스, 이벤트 및 시간적 순서)를 자동으로 구축할 것인가 하는 점입니다.

방법론

저자들은 통계적 신호를 통해 테이블 간 링크를 추론하고, 시간 필드를 조립하며, 순서 패턴을 학습하는 4단계의 스키마 불가지론적 파이프라인을 제안합니다. 이 파이프라인은 전체 스키마 재구성이나 온톨로지 매핑을 요구하지 않고 작동합니다.

1단계: 식별자 및 타임스탬프 컬럼 프로파일링

파이프라인은 각 테이블의 컬럼을 프로파일링하여 케이스 식별자 또는 타임스탬프로 기능할 가능성을 추정합니다.

• 식별자 점수화 (Identifier Scoring): 고유성($u$), 완결성($\gamma$), 문자열 길이 안정성($\lambda$)을 기반으로 $spk(c)$를 계산합니다. 컬럼은 식별자로 유지되기 위해 이 세 가지 지표 모두에서 높은 점수를 받아야 합니다.
• 타임스탬프 점수화 (Timestamp Scoring): 분산 및 변동성 지표(완결성, 고유성, 표준 편차, 사분위 범위, 엔트로피)의 백분위 순위에 가중치를 둔 합계를 사용하여 $sdt(c)$를 계산합니다.
• 출력: 각 테이블에 대해 상위-$k$개의 후보 식별자와 타임스탬프 컬럼을 선택합니다.

2단계: 관계 발견 (컬럼-컬럼 링크)

선언된 외래 키에 의존하는 대신, 파이프라인은 타입 인지적 통계적 유사성을 사용하여 테이블 간 연결을 발견합니다.

• 점수 산정 메커니즘: 모든 교차 테이블 컬럼 쌍 $(c_i, c_k)$에 대해 링크 점수 $s(c_i, c_k)$를 네 가지 요소의 곱으로 계산합니다:
  1. 타입 호환성 (Type Compatibility, TC): 약하게 호환되는 데이터 타입을 가진 쌍의 가중치를 낮춥니다.
  2. 컬럼 품질 (Column Quality, Q): 낮은 완결성이나 낮은 고유성을 가진 쌍에 페널티를 부여합니다.
  3. 커버리지 (Coverage, U): 희귀한 경계값에 의해 오버랩이 발생하지 않도록 보장합니다.
  4. 값 유사성 (Value Similarity, R): 기호적 데이터에 대한 Jaccard 유사도(JS) 및 수치적 분포에 대한 JS/Kolmogorov-Smirnov(KS) 혼합 방식을 사용하여 실제 값의 정렬을 측정합니다.
• 링크 형성: 임계값 $\tau_S$를 초과하는 쌍들이 유지되어 후보 링크의 무방향 멀티그래프를 형성합니다.

3단계: 시간화 및 시퀀싱 (Temporalization and Sequencing)

발견된 링크 세트를 사용하여, 샘플링된 케이스 식별자를 도달 가능한 테이블로 전파하여 그에 대응하는 행(row)과 타임스탬프 후보를 수집합니다.

• 이벤트 조립: 각 (행, 타임스탬프) 쌍은 잠정적인 이벤트로 취급됩니다.
• 순서 지정 (Ordering): 특정 케이스에 대한 이벤트는 타임스탬프에 따라 정렬됩니다. 동점(ties)은 테이블 이름과 행 식별자를 사용하여 결정론적으로 해결합니다. 인접한 중복 레이블은 병합(collapse)하되, 비인접 중복은 보존합니다.
• 컨텍스트: 선택적인 비즈니스 속성(예: 지역, 제품)은 이후의 학습을 조건화하기 위해 컨텍스트 벡터에 임베딩되며, 이때 이벤트 순서는 변경되지 않습니다.
• 출력: XES로 내보내거나 OCEL로 리프트할 수 있는 프로비넌스(provenance)가 풍부한 JSON 형식의 이벤트 트레이스.

4단계: 시퀀스 학습 (테이블 간 순서 결정)

타임스탬프가 모호하거나 누락되었거나, 혹은 순서를 결정하기에 불충분한 경우를 해결하기 위해, 파이프한는 인과적 시간적 합성곱 신경망(Causal Temporal Convolutional Network, TCN)을 사용합니다.

• 학습 목표: TCN은 과거 이벤트의 윈도우와 선택적 컨텍스트 벡터를 기반으로 다음 이벤트 $e_{t+1}$을 예측합니다.
• 선행 관계 추출: 다음 이벤트 예측을 집계함으로써 전이 행렬(transition matrix)을 형성합니다. $i$ 다음에 $j$가 나타날 확률이 역방향보다 유의미하게 높을 때 방향성 엣지 $i \to j$를 추가합니다. 양방향 빈도가 유사한 쌍은 양방향 순서 가변성(Bidirectional Order Variability, BOV)을 보이는 것으로 표시됩니다.
• 출력: 흐름 관계를 요약하는 최소한의 선행 그래프로, 이는 표준 프로세스 마이닝 도구에서 소비될 수 있습니다.

주요 기여

1. 스키마 불가지론적 파이프라인: 사전 정의된 스키마, ER 다이어그램 또는 도메인 템플릿 없이 원시 관계형 데이터로부터 프로세스 트레이스를 재구성하는 새로운 엔드 투 엔드 접근 방식입니다.
2. 통계적 링크 발견: 명시적인 외래 키 대신 타입 인지적 통계적 유사성(JS/KS)을 사용하여 테이블 간 관계를 추론하는 방법으로, 스키마 표류 및 키 누락에 강건합니다.
3. 학습된 선행 관계: TCN을 적용하여 재구성된 트레이스로부터 직접 교차 테이블 순서 및 흐름 관계를 학습하며, 이는 타임스탬프가 불충분하거나 충돌하는 상황을 처리합니다.
4. 운영적 견고성: 누락된 타임스탬프, 동명어(homonyms), 부분적 키에 대해서도 견고한 이벤트 로그를 생성하는 경로를 제공하여, 동적인 IS 환경에서 자동화된 로그 구축을 가능하게 합니다.

결과

파이프라인은 TPC-H/E 벤치마크, 합성 코퍼스(Synth-Light, Synth-Heavy) 및 실제 산업 데이터셋(Industry-1)을 통해 평가되었습니다.

• 이벤트 복구 (RQ1): 파이프라인은 높은 이벤트 세트 복구율을 달ermal했으며, 위치 독립적 토큰 정확도(Position-Independent Token Accuracy, PITA)는 0.82(Synth-Heavy)에서 1.00(TPC-H) 사이였습니다. 또한 다음 이벤트를 85%의 정확도로 예측했습니다.
• 선행 관계 학습 (RQ2): TCN 기반 접근 방식은 다음 이벤트 예측 및 적합성(conformance) 지표에서 n-gram 및 LSTM 베이스라인보다 우수한 성능을 보였습니다. 약 82%의 실제 선행 관계를 복구하였으며(F1 점수 0.74–0.82), 규칙 기반 또는 스키마 중심 접근 방식에 비해 교차 테이블 흐름 관계를 포착하는 능력이 뛰어남을 입증했습니다.
• 변화 탄력성 (RQ3): 통제된 표류(속성 이름 변경 및 타임스탬프 누락) 하에서도 전체 파이프라인은 클린 데이터 성능 지표의 80% 이상을 유지한 반면, 결정론적 베이스라인은 50% 미만으로 떨어졌습니다. 이는 스키마 및 데이터 진화에 대한 상당한 탄력성을 보여줍니다.
• 단계별 기여도 분석: 절제 연구(Ablation studies)를 통해 단계 S1–S3가 재구성 품질을 주도하고, 단계 S4(TCN)가 특히 장기 의존성 및 컨텍스트 특정적 흐름을 포착함으로써 선행 관계의 충실도를 크게 향상시킨다는 것을 확인했습니다.

의의 및 주장

본 논문은 동적인 IS 환경에서 실행 동작의 자동 재구성을 위한 일반화 가능하고 확장 가능한 경로를 제공한다고 주장합니다. 이는 신뢰할 수 있는 이벤트 로그가 깨끗한 스키마와 정제된 키를 전제로 한다는 IS 엔지니어링의 오랜 가정을 뒤집습니다. 저자들은 "스키마 우선"에서 "데이터 우선" 방식으로 전환함으로써, 스키마가 표류하고 시스템이 진화하더라도 고품질의 로그를 구축할 수 있다고 주장합니다.

이 연구는 운영 스키마가 자유롭게 진화할 수 있으면서도, 데이터 기반의 로그 엔지니어링 계층이 분석, 감사 및 재설계를 위한 연속성을 보존하는 새로운 IS 엔지니어링 패러다임을 제시합니다. 저자들은 이를 현대의 느슨하게 결합된 OLTP 시스템에서 발생하는 수동 트레이스 구축의 병목 현상을 해결하기 위한 솔루션으로 포지셔닝하며, 이전에는 분석하기에 너무 노이즈가 많거나 비구조적이라고 여겨졌던 환경에서도 프로세스 마이닝과 컴플라이언스 모니터링을 가능하게 합니다.