기술 요약: 결정론적 스트림 처리를 위한 Kafka Streams 기반 멀티체인 블록체인 데이터 프로비넌스(Provenance)

1. 문제 정의

Kafka Streams 또는 Apache Flink와 같은 실시간 데이터 스트림 처리 파이프라인은 **감사 가능성(Auditability)**과 재현성(Reproducibility) 측면에서 심각한 과제에 직면해 있습니다. 이러한 시스템은 런타임 스케줄링, 윈도우 트리거, 네트워크 지터(jitter), 레코드 도착 순서 등에 의존하기 때문에 본질적으로 비결정론적(Non-deterministic)입니다. 결과적으로, 동일한 입력 스트림이라 할지라도 처리 시점이나 노드가 다를 경우 서로 다른 출력을 생성할 수 있습니다.

기존의 블록체인 기반 프로비넌스 솔루션은 대개 데이터 핑거프린트를 저장하기 위해 해시 체인(Hash chain)에 의존합니다. 그러나 저자들은 스트림 처리에서 이러한 방식이 두 가지 주요 단점을 가진다고 지적합니다:

1. 저장 오버헤드: 체인이 성장함에 따라 저장 요구량이 크게 증가합니다.
2. 계산 비용: 긴 체인을 반복적으로 해싱하여 검증하는 것은 대규모 데이터셋에 대해 비효리적입니다.

또한, 해시 체인은 프로비넌스를 인입 순서(Ingestion order)에 결합시키기 때문에, 재키잉(Re-keying)이나 시간 기반 윈도우에서 외부 요인(예: 리밸런싱)으로 인해 레코드 멤버십이 변하는 상황에서의 결정론적 재실행(Deterministic replay)에는 적합하지 않습니다.

2. 방법론

본 논문은 무거운 데이터 페이로드를 블록체인에서 분리하여 암호학적 앵커(Anchor)와 메타데이터만을 저장하는 블록체인 백킹 프로비넌스 아키텍처를 제안합니다. 이 시스템은 처리를 위해 Kafka Streams를 사용하고, 앵커링을 위해 MultiChain(허가형 블록체인)을 사용하여 구현되었습니다.

핵심 구성 요소 및 워크플로우

1. 인입 및 처리 (Ingestion & Processing):

   • 두 곳의 기상 관측소(Berlin-Brandenburg 및 Berlin-Tempelhof)로부터 실시간 기상 데이터를 Kafka를 통해 인입합니다.
   • 시스템은 **에포크 정렬 텀블링 윈도우(Epoch-aligned tumbling windows)**를 사용합니다. 이는 프로세싱 타임 윈도우와 달리, 특정 에포크 타임에서 시작되는 고정된 절대 간격(예: 2시간 블록)을 사용하여 인입 지연과 관계없이 전역적 결정성을 보장합니다.
   • 각 윈도우 내에서 레코드는 집계(최소, 최대, 평균 온도)됩니다.

2. 결정론적 정규화 (Deterministic Canonicalization):

   • 레코드 순서로 인한 비결정성을 제거하기 위해, 시스템은 윈도우 내의 모든 레코드에 Canonical JSON을 적용합니다.
   • 이 과정에는 일관되지 않은 필드 제거, UTC(ISO-8601)로의 타임스탬프 정규화, 객체 키의 사전식 정렬이 포함됩니다.
   • 그 후 레코드의 중복을 제거합니다.

3. 머클 트리(Merkle Tree) 구축:

   • 선형 해시 체인 대신, 시스템은 정규화된 레코드로 머클 트리를 구축합니다.
   • 리프 노드는 정규화된 레코드의 SHA-256 해시입니다.
   • 내부 노드는 자식 노드들을 연결한 해시입니다.
   • 최종 **머클 루트(Merkle Root)**는 전체 윈도우 페이로드에 대한 압축된 암호학적 약속(Commitment) 역할을 합니다.

4. 블록체인 앵커링 (체크포인트):

   • 전체 페이로드는 오프체인(Off-chain) 상태로 유지됩니다(NDJSON 형식으로 분산 파일 시스템에 저장).
   • 머클 루트, Kafka 오프셋 경계(offsetStart, offsetEnd), 레코드 개수, 페이로드 경로, 페이로드 해시를 포함하는 체크포인트가 MultiChain 스트림에 게시됩니다.
   • MultiChain은 스마트 컨트랙트의 복잡성을 피하고 외부 애플리케이션 로직을 활용하기 위해, 그 기능 중 append-only, 키-값 스트림 특성을 활용하도록 선택되었습니다.

5. 검증 (Verification):

   • 독립적인 감사자는 다음 단계를 통해 윈도우의 무결성을 검증할 수 있습니다:
     1. 블록체인으로부터 체크포인트 메타데이터(머클 루트 $R$ 및 레코드 개수 $N$)를 가져옵니다.
     2. 오프체인 페이로드를 로드합니다.
     3. 레코드를 다시 정규화하고 머클 루트($\hat{R}$)와 레코드 개수($\hat{N}$)를 재계산합니다.
     4. $\hat{R}$을 $R$과 비교하고, $\hat{N}$을 $N$과 비교합니다. 두 값이 모두 일치해야 검증이 통과됩니다.

3. 주요 기여

• 결정론적 윈도우 프로비넌스: 에포크 정렬 경계와 정규화된 직렬화를 사용하여 재현 가능한 스트림 윈도우를 생성하는 방법을 도입함으로써, 표준 스트림 처리의 고유한 비결정성을 해결했습니다.
• 해시 체인 대비 머클 트리: 선형 해시 체인에서 머클 트리로 전환하여, 윈도우 프로비넌스의 검증 복잡도를 레코드 수에 대해 선형에서 로그 단위로 감소시켰습니다.
• 온체인/오프체인 분리: 대규모의 가변적인 페이로드는 오프체인에 저장하고, 불변의 암호학적 앵커(머클 루트)와 메타데이터만 온체인에 저장함으로써 블록체인 비대화를 방지하는 확장 가능한 아키텍처를 제공합니다.
• 독립적 감사 가능성: 제3자 감사자가 스트리밍 엔진의 내부 상태에 접근하지 않고도 파생된 분석 결과(예: 온도 평균)의 완전성과 정확성을 검증할 수 있는 프레임워크를 제공합니다.

4. 평가 및 결과

시스템은 베를린의 실시간 기상 데이터를 사용하여 평가되었습니다.

• 재현성: Java 21을 사용하는 서로 다른 하드웨어(MacOS M2 및 M4)에서의 독립적인 실행 결과, Canonical JSON, 페이로드 SHA-256, 머클 루트가 바이트 단위로 동일함을 확인하여 환경 유발 비결정성이 제거되었음을 입증했습니다.
• 검증 비용:
  • 엔드 투 엔드 검증 시간 $T(n)$은 레코드 수 $n$에 따라 $T(n) = \alpha n + \beta$ 모델을 따르며 선형적으로 확장됩니다.
  • 시스템은 검증 과정에서 높은 처리량(초당 레코드 수)을 보여주었으며, 윈도우 크기가 커져도 성능 저하가 발생하지 않았습니다.
  • 정규화 및 해싱 비용은 선형적 확장을 보였으며, 머클 트리 구축은 근사 선형(near-linear) 수준을 유지했습니다.
• 블록체인 성능:
  • 실제 환경의 체크포인팅은 윈도우 종료의 드문 특성으로 인해 낮은 TPS(0–0.015 items/s)를 기록했습니다.
  • 병렬 퍼블리셔를 통한 벤치마킹 결과, MultiChain은 작은 페이로드에 대해 높은 TPS(최대 ~2.1 tx/s)를 처리할 수 있으나, 라운드 로빈 합의 알고리즘으로 인해 약 8개의 워커 부근에서 포화 지점에 도달함을 확인했습니다.

5. 의의 및 주장

본 논문은 설계된 방식이 스트림 처리의 세 가지 핵심 측면을 독립적 감사자가 검증할 수 있게 한다고 주장합니다:

1. 윈도우 페이로드의 완전성 (레코드가 누락되거나 추가되지 않았음을 보장)
2. 데이터의 정규화된 직렬화 (데이터의 결정론적 처리를 보장)
3. 파생된 분석의 정확성 (기저 레코드와 수학적으로 일치하는 온도 평균 등을 검증)

저자들은 이 연구를 현대적 스트림 처리의 "감사 가능성 격차(auditability gap)"를 해결하기 위한 솔루션으로 포지셔닝합니다. 결정론적 윈도우 지정과 암호학적 앵커링을 결$합함으로써, 시스템은 데이터 프로비넌스를 위한 신뢰할 수 있고 불변하는 참조 레이어를 제공합니다. 논문은 본 연구가 무결성과 감사성은 해결하였으나, 데이터의 의미론적 측면(RDF를 통한 향후 연구 필요)이나 프라이버시 문제(ZKP를 통한 향후 방향 제시)는 아직 다루지 않았음을 명시하며 마무리됩니다. 결론적으로, 블록체인은 스트리밍 플랫폼과 성공적으로 통합되어 데이터 프로비넌스를 위한 신뢰할 수 있는 불변의 참조 레이어로 기능할 수 있음을 보여줍니다.