DORI: A Distributed Observation and Reconciliation Interface for Resilient Multi-Source Event Synchronization in Cloud-Native Systems
本論文では、不整合の検出、ブロックチェーンイベントの検証、およびそれらをダウンストリームのマイクロサービスへアトミックに配信する前のべき等な修正の提供を行うために「設計による調停（reconciliation-by-design）」の原則を適用することで、クラウドネイティブシステムにおける弾力性のあるマルチソース・イベント同期を保証する分散インターフェースであるDORIを提案する。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のデジタル世界において、2つの異なる技術レイヤーが、しばしば摩擦を伴いながらも、互いに連携しようとしています。一方には、企業が高速で中央集権的なサーバー上で運営し、即座に記録を更新したり数百万のリクエストを処理したりできる、伝統的なインターネットが存在します。もう一方には、より新しく、取引が公開された共有台帳に記録されるブロックチェーンの世界があります。これは非常に安全ですが、低速で複雑です。企業がこれら両方を使用するアプリケーションを構築しようとすると、困難な問題に直面します。ブロックチェーンはある取引が行われたと報告している一方で、伝統的なサーバーはそれを即座に検知できなかったり、あるいは同じものを2回検知したり、あるいは誤った順序で検知したりすることがあります。銀行や病院が、資金管理や患者の記録管理のためにこれらのシステムに依存している場合、このような混乱は、資金の紛失、重複した治療、あるいは信頼の崩壊を招く可能性があります。核心となる課題は、単にこれら2つの世界を接続することではなく、接続が不安定であったりデータが遅延して到着したりする場合でも、両者の間で流れる情報が正確で、一貫性があり、信頼できるものであることを保証することです。
研究者たちは、これら2つの世界を同期させるというこの特定の問題を解決するために、「DORI」と呼ばれる新しいシステムを開発しました。バングラデシュ、米国、ノルウェーの機関からなるエンジニアと学者のチームは、ブロックチェーンと、日常的なアプリケーションを実行するクラウドベースのサービスとの間に位置する「架け橋」を設計しました。単一の信号を盲目的に信頼するのではなく、DORIは慎重な門番として機能します。それは複数の異なるチャネルを通じて同時にブロックチェーンを監視します。もし一つのチャネルがある取引が行われたと言い、別のチャネルがそうではないと言った場合、システムは待機します。イベントが真実であり永続的であることを確信できるだけの証拠を異なるソースから収集するまで、ビジネス記録の更新を急ぐことはありません。このアプローチにより、システムの異なる部分が異なる「真実のバージョン」に基づいて動作することによって生じる混乱を防ぎます。
研究者たちは、このシステムが圧力の下でどのように機能するかを確認するために、動作するプロトタイプを構築しました。彼らは、ブロックチェーンネットワーク（具体的にはEthereum Sepoliaテストネットワーク）が数千のトランザクション・アップデートを送信しているという、現実世界のシナリオを模したテスト環境を構築しました。これらのアップデートは、ユーザーアカウントの管理やデジタル資産の追跡などのために処理される必要があるクラウドベースのシステムへと送り込まれました。システムを堅牢にするために、研究者たちは単一の方法だけでブロックチェーンを監視するのではなく、2種類の異なるオブザーバーを使用しました。一つはリアルタイムでイベントが発生した瞬間に監視するもの、もう一つは過去のイベントの履歴インデックスをチェックして欠落を補完するものです。この二重のアプローチにより、もしリアルタイムの接続が切断されたり遅延したりしても、システムは履歴インデックスから欠落した情報を復元することが可能になりました。
チームが重い負荷（1,800件のトランザクション）をかけてシステムをテストしたところ、その結果、このブリッジは効果的に機能していることが示されました。システムは、97.1%のケースにおいてブロックチェーンのイベントをダウンストリームのクラウドサービスと同期させることに成功しました。この高い成功率は、システムがネットワークの遅延やデータの不整合という複雑な現実に対処しても、重要なイベントを見失わないことを示しており、非常に重要です。また、研究者たちは、2つの異なる観測手法にはそれぞれ独自の強みがあることも発見しました。リアルタイム・リスナーはより高速で、平均約0.146秒で応答しましたが、履歴インデックスはわずかに低速であるものの、より高いリクエスト処理能力（秒間リクエスト数）を備えていました。これらを組み合わせることで、システムはスピードと信頼性のバランスを実現し、一方のソースが機能しなくなったとしても、イベントが漏れることのないよう保証しました。
DORIの設計における重要な部分は、ミスへの対処方法です。ブロックチェーンでは、ネットワークが履歴を再構成（リオーグ）する場合、トランザクションの順序が変化することがあり、それによって以前は確定したと思われていたトランザクションが無効になることがあります。従来のシステムは、確定したイベントを永久的なものとして扱い、二度と振り返らないことがありますが、これはブロックチェーンが後に判断を変更した場合、ビジネス側に誤ったデータが残ってしまう原因となります。しかし、DORIはすべてのイベントを、更新可能な「生きた記録」として扱います。あるトランザクションがシステムに取り込まれた後、ネットワークの変化によって無効であることが判明した場合、DORIはその記録を削除しません。代わりに、元の記録にリンクする修正された新しいバージョンの記録を作成します。これにより、システムは起こった事象の履歴を消去することなくエラーを修正でき、どのように決定が下され、それがどのように修正されたのかを示す、明確で監査可能なトレイル（証跡）を提供することができます。
研究者たちは、プライバシーとセキュリティにも細心の注意を払いました。金融やヘルスケアなどの多くの業界では、取引の記録を維持しながらも、機密性の高い個人データを非公開にすることが規制されています。DORIは、取引の「公開された証明」と「プライベートな詳細」を分離することで、これに対処します。システムは、イベントが発生したことを証明する一意で変更不可能なコードを記録しますが、実際の氏名やプライベートな詳細は、プライバシー法に従って制御および削除が可能な、セキュアなオフチェーン・ストレージに保持します。これにより、監査人は、付随する機密性の高い個人情報を目にすることなく、トランザクションが発生したことを検証し、システム内の経路を追跡することができます。この設計により、組織はデータ保護に関する厳格な法的要件を満たしながら、安全な運用のために必要な透明性を維持することができます。
本研究は、このようなイベントの調整方法は、ブロックチェーンと伝統的なクラウドシステムの両方にまたがる信頼性の高いアプリケーションを構築するための実行可能な手段であると結論付けています。チームは、失敗を想定せずにすべてが完璧に動作すると仮定するのではなく、失敗を想定し対処するようにシステムを構築する「レジリエンス・バイ・デザイン（設計による回復力）」のアプローチを用いることで、複雑なデジタル相互作用のための安定した環境を構築できることを実証しました。プロトタイプは、複数のソースからの競合するデータを調整し、ネットワークの中断から復旧し、ビジネスの流れを止めることなく過去のエラーを修正することが可能であることを証明しました。このシステムは、すべてのリスクを排除する魔法のような解決策ではありませんが、分散型ネットワークと中央集権的なサービスを接続する際に内在する不確実性を管理するための、構造化された実証済みの方法を提供します。今回の知見は、適切なコーディネーション・レイヤーがあれば、現代のビジネスが求める信頼性を犠牲にすることなく、ハイブリッド・アプリケーションの約束を実現できることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。