DORI: A Distributed Observation and Reconciliation Interface for Resilient Multi-Source Event Synchronization in Cloud-Native Systems
이 논문은 불일치를 탐지하고, 블록체인 이벤트를 검증하며, 이를 다운스트림 마이크로서비스에 원자적으로 전달하기 전에 멱등한 수정을 제공하기 위해 설계에 의한 조정(reconciliation-by-design) 원칙을 적용함으로써 클라우드 네이티브 시스템에서 탄력적인 다중 소스 이벤트 동기화를 보장하는 분산 인터페이스인 DORI를 제시한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 디지털 세상에서는 서로 다른 두 가지 기술 계층이 점점 더 함께 작동하려고 시도하고 있지만, 종종 마찰을 겪기도 합니다. 한쪽에는 비즈니스가 빠른 중앙 집중식 서버를 통해 즉각적으로 기록을 업데이트하고 수백만 건의 요청을 처리할 수 있는 전통적인 인터넷이 있습니다. 다른 한쪽에는 블록체인의 세계가 있는데, 이는 거래가 공개된 공유 장부에 기록되는 시스템으로 매우 안전하지만 더 느리고 복형이 복잡합니다. 기업들이 이 두 가지를 모두 사용하는 애플리케이션을 구축하려고 할 때 어려운 문제에 직면합니다. 블록체인은 거래가 발생했다고 말할 수 있지만, 전통적인 서버는 이를 즉시 인지하지 못하거나, 혹은 두 번 보거나, 혹은 잘못된 순서로 볼 수 있기 때문입니다. 만약 은행이나 병원이 돈을 관리하거나 환자 기록을 관리하기 위해 이러한 시스템에 의존한다면, 이러한 혼란은 자금 손실, 중복 처방, 또는 신뢰 붕괴로 이어질 수 있습니다. 핵심 과제는 단순히 두 세계를 연결하는 것이 아니라, 연결이 불안정하거나 데이터가 늦게 도착하더라도 그 사이를 흐르는 정보가 정확하고 일관되며 신뢰할 수 있도록 보장하는 것입니다.
연구진은 이 두 세계를 동기화하는 특정 문제를 해결하기 위해 DORI라고 불리는 새로운 시스템을 개발했습니다. 방글라데시, 미국, 노르웨이의 기관들로부터 모인 엔지니어와 학자들로 구성된 팀은 블록체인과 일상적인 애플리케이션을 실행하는 클라우드 기반 서비스 사이에 위치하는 가교를 설계했습니다. 단일한 블록체인 신호를 맹목적으로 신뢰하는 대신, DORI는 신중한 문지기 역할을 합니다. 이 시스템은 여러 가지 서로 다른 채널을 통해 동시에 블록체인을 경청합니다. 만약 한 채널은 거래가 발생했다고 말하고 다른 채널은 그렇지 않다고 말한다면, 시스템은 기다립니다. 시스템은 이벤트가 실제이며 영구적이라는 것을 확신할 수 있을 만큼 충분한 증거를 수집할 때까지 비즈니스 기록을 업데이트하기 위해 서두르지 않습니다. 이러한 접근 방식은 시스템의 각기 다른 부분이 서로 다른 버전의 진실을 바탕으로 작동할 때 발생하는 혼란을 방지합니다.
연구진은 이 시스템이 압박 속에서 어떻게 성능을 발휘하는지 확인하기 위해 작동하는 프로토타입을 구축했습니다. 그들은 블록체인 네트워크(구체적으로는 이더리움 세폴리아 테스트 네트워크)가 수천 건의 트랜잭션 업데이트를 보내는 실제 상황을 모사한 테스트 환경을 설정했습니다. 이러한 업데이트는 사용자 계정 관리나 디지털 자산 추적 등을 위해 처리되어야 하는 클라우드 기반 시스템으로 전달되었습니다. 시스템의 견고함을 보장하기 위해 연구진은 블록체인을 관찰하는 단 하나의 방법만을 사용하지 않았습니다. 그들은 두 가지 유형의 관찰자를 사용했는데, 하나는 이벤트가 발생하는 대로 실시간으로 감지하는 관찰자였고, 다른 하나는 누락된 부분을 채우기 위해 과거 이벤트의 역사적 인덱스를 확인하는 관찰자였습니다. 이러한 이중 접근 방식 덕분에 실시간 연결이 끊기거나 지연되더라도 시스템은 역사적 인덱스로부터 누락된 정보를 복구할 수 있었습니다.
팀이 1,800건의 트랜잭션이라는 무거운 부하로 시스템을 테스트했을 때, 결과는 브릿지가 효과적으로 작동함을 보여주었습니다. 시스템은 97.1%의 경우에서 블록체인 이벤트를 다운스트림 클라우드 서비스와 성공적으로 동기화했습니다. 이 높은 성공률은 중요한 의미를 갖는데, 이는 시스템이 네트워크 지연과 데이터 불일치라는 복잡한 현실 속에서도 중요한 이벤트를 놓치지 않고 처리할 수 있음을 입증하기 때문입니다. 또한 연구진은 두 가지 관찰 방법이 각자의 강점을 가지고 있다는 것을 발견했습니다. 실시간 리스너는 평균 약 0.146초로 더 빨랐던 반면, 역사적 인덱스는 약간 더 느렸지만 초당 더 많은 요청을 처리했습니다. 이 둘을 결합함으로써 시스템은 속도와 신뢰성 사이의 균형을 달 been하며, 한 소스가 제대로 작동하지 않더라도 어떤 이벤트도 놓치지 않도록 보장했습니다.
DORI 설계의 핵심적인 부분은 오류를 처리하는 방식입니다. 블록체인에서는 네트워크가 역사를 재구성(reorganize)할 경우 거래 순서가 변경될 수 있으며, 이 과정에서 이전에 최종 확정된 것으로 간던 거래가 무효화될 수 있습니다. 전통적인 시스템은 확정된 이벤트를 영구적인 것으로 취급하고 다시는 되돌아보지 않을 수 있으며, 이는 블록체인이 나중에 마음을 바꿀 경우 비즈니스에 잘못된 데이터를 남길 수 있습니다. 그러나 DORI는 모든 이벤트를 업데이트 가능한 '살아있는 기록'으로 취급합니다. 만약 어떤 거래가 시스템에 수용되었으나 이후 네트워크 변경으로 인해 유효하지 않은 것으로 판명되면, DORI는 해당 기록을 삭제하지 않습니다. 대신, 원래의 기록과 연결되는 새로운 수정 버전을 생성합니다. 이를 통해 시스템은 발생한 일의 이력을 지우지 않고도 오류를 바로잡을 수 있으며, 결정이 어떻게 내려졌고 어떻게 수정되었는지에 대한 명확하고 감사 가능한 경로를 제공합니다.
연구진은 또한 개인정보 보호와 보안에도 세심한 주의를 기울였습니다. 금융 및 의료와 같은 많은 산업에서는 민감한 개인 데이터를 유지하면서도 규정에 따라 프라이버시를 보호해야 합니다. DORI는 거래의 공적인 증거와 개인적인 세부 정보를 분리함으로써 이 문제를 해결합니다. 시스템은 이벤트가 발생했음을 증명하는 고유하고 변경 불가능한 코드를 기록하지만, 실제 이름과 개인적인 세부 정보는 개인정보 보호법에 따라 제어 및 삭제가 가능한 안전한 오프체인(off-chain) 저장소에 보관합니다. 이는 감사자가 민감한 개인 정보를 전혀 보지 않고도 거래가 발생했음을 검증하고 그 경로를 추적할 수 있게 해줍니다. 이러한 설계는 조직이 보안 운영에 필요한 투명성을 유지하면서도 엄격한 데이터 보호 법적 요구 사항을 충족할 수 있도록 합니다.
본 연구는 이러한 이벤트 조정 방식이 블록체인과 전통적인 클라우드 시스템을 아우르는 신뢰할 수 있는 애플리케이션을 구축하는 실행 가능한 방법이라고 결론짓습니다. 연구팀은 모든 것이 완벽하게 작동할 것이라고 가정하는 대신, 실패를 예상하고 처리하도록 설계된 '설계에 의한 회복 탄력성(resilience-by-design)' 접근 방식을 사용함으로써 복잡한 디지털 상호작용을 위한 안정적인 환경을 구축할 수 있음을 입증했습니다. 프로토타입은 여러 소스의 상충하는 데이터를 조정하고, 네트워크 중단으로부터 복구하며, 비즈니스 흐름을 깨뜨리지 않고 과거의 오류를 수정하는 것이 가능하다는 것을 증명했습니다. 이 시스템이 모든 위험을 제거하는 마법 같은 해결책은 아니지만, 탈중앙화된 네트워크와 중앙 집중식 서비스를 연결하는 데 내재된 불확실성을 관리할 수 있는 구조적이고 검증된 방법을 제공합니다. 연구 결과는 적절한 조정 계층이 있다면 현대 비즈니스가 요구하는 신뢰성을 희생하지 않고도 하이브리드 애플리케이션의 약속을 실현할 수 있음을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.