DORI: A Distributed Observation and Reconciliation Interface for Resilient Multi-Source Event Synchronization in Cloud-Native Systems
Dieses Paper präsentiert DORI, eine verteilte Schnittstelle, die durch die Anwendung von Reconciliation-by-Design-Prinzipien zur Erkennung von Inkonsistenzen, Validierung von Blockchain-Events und Bereitstellung idempotenter Korrekturen vor deren atomarer Auslieferung an nachgelagerte Microservices eine resiliente Multi-Source-Event-Synchronisation in Cloud-Native-Systemen gewährleistet.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen digitalen Welt versuchen zwei unterschiedliche technologische Schichten zunehmend zusammenzuarbeiten, was jedoch oft zu Reibungen führt. Auf der einen Seite steht das traditionelle Internet, in dem Unternehmen auf schnellen, zentralisierten Servern laufen können, die Datensätze sofort aktualisieren und Millionen von Anfragen bearbeiten können. Auf der anderen Seite steht die neuere Welt der Blockchain, ein System, in dem Transaktionen in einem öffentlichen, geteilten Ledger aufgezeichnet werden, das unglaublich sicher, aber langsamer und komplexer ist. Wenn Unternehmen versuchen, Anwendungen zu entwickeln, die beide Welten nutzen, stehen sie vor einem schwierigen Problem: Die Blockchain mag zwar melden, dass eine Transaktion stattgefunden hat, aber die traditionellen Server sehen sie möglicherweise nicht sofort, oder sie sehen sie doppelt oder in der falschen Reihenfolge. Wenn eine Bank oder ein Krankenhaus sich auf diese Systeme verlassen muss, um Geld oder Patientenakten zu verwalten, kann eine solche Verwirrung zu Geldverlusten, Doppelbehandlungen oder einem Vertrauensverlust führen. Die Kernherausforderung besteht nicht nur darin, die beiden Welten zu verbinden, sondern sicherzustellen, dass die zwischen ihnen fließenden Informationen genau, konsistent und zuverlässig sind, selbst wenn die Verbindung instabil ist oder die Daten verspätet eintreffen.
Forscher haben ein neues System namens DORI entwickelt, um genau dieses Problem der Synchronisierung dieser beiden Welten zu lösen. Das Team, bestehend aus Ingenieuren und Akademikern von Institutionen aus Bangladesch, den USA und Norwegen, hat eine Brücke entworfen, die zwischen der Blockchain und den Cloud-basierten Diensten sitzt, die alltägliche Anwendungen steuern. Anstatt blind einem einzelnen Signal von der Blockchain zu vertrauen, agiert DORI als vorsichtiger Torwächter. Es hört über mehrere verschiedene Kanäle gleichzeitig auf die Blockchain. Wenn ein Kanal meldet, dass eine Transaktion stattgefunden hat, ein anderer jedoch sagt, dass sie es nicht getan hat, wartet das System. Es eilt nicht damit voraus, die Geschäftsdaten zu aktualisieren, bevor es nicht genügend Beweise aus verschiedenen Quellen gesammelt hat, um sicher zu sein, dass das Ereignis real und dauerhaft ist. Dieser Ansatz verhindert das Chaos, das entsteht, wenn verschiedene Teile eines Systems mit unterschiedlichen Versionen der Wahrheit arbeiten.
Die Forscher bauten einen funktionierenden Prototyp dieses Systems, um zu testen, wie es unter Druck abschneidet. Sie richteten eine Testumgebung ein, die ein reales Szenario nachahmte, in dem ein Blockchain-Netzwerk, speziell das Ethereum Sepolia Testnetzwerk, tausende von Transaktions-Updates sendete. Diese Updates wurden dann in ein Cloud-basiertes System eingespeist, das sie für Dinge wie die Verwaltung von Benutzerkonten oder die Verfolgung digitaler Vermögenswerte benötigte. Um sicherzustellen, dass das System robust ist, verließen sich die Forscher nicht nur auf eine einzige Art, die Blockchain zu beobachten. Sie nutzten zwei verschiedene Arten von Beobachtern: einen, der Ereignisse in Echtzeit beobachtete, während sie passierten, und einen anderen, der einen historischen Index vergangener Ereignisse prüfte, um etwaige Lücken zu schließen. Dieser duale Ansatz bedeutete, dass das System auch dann Informationen wiederherstellen konnte, wenn die Echtzeitverbindung unterbrochen wurde oder verzögert eintraf.
Als das Team das System mit einer hohen Last von 1.800 Transaktionen testete, zeigten die Ergebnisse, dass die Brücke effektiv funktionierte. Das System synchronisierte die Blockchain-Ereignisse in 97,1 % der Fälle erfolgreich mit den nachgeschalteten Cloud-Diensten. Diese hohe Erfolgsquote ist signifikant, da sie zeigt, dass das System in der Lage ist, die unordentliche Realität von Netzwerkverzögerungen und Dateninkonsistenzen zu bewältigen, ohne den Überblick über wichtige Ereignisse zu verlieren. Die Forscher fanden auch heraus, dass die beiden verschiedenen Beobachtungsmethoden ihre eigenen Stärken hatten. Der Echtzeit-Listener war schneller und reagierte im Durchschnitt in etwa 0,146 Sekunden, während der historische Index etwas langsamer war, aber ein höheres Volumen an Anfragen pro Sekunde bewältigen konnte. Durch die Kombination beider Methoden erreichte das System ein Gleichgewicht zwischen Geschwindigkeit und Zuverlässigkeit und stellte sicher, dass kein Ereignis übersehen wurde, selbst wenn eine Quelle ausfiel.
Ein entscheidender Teil von DORIs Design ist der Umgang mit Fehlern. In einer Blockchain kann sich die Reihenfolge von Transaktionen manchmal ändern, wenn das Netzwerk seine Historie reorganisiert – ein Prozess, der eine Transaktion, die zuvor als abgeschlossen galt, ungültig machen kann. Traditionelle Systeme behandeln ein bestätigtes Ereignis möglicherweise als permanent und schauen nie zurück, was dazu führen könnte, dass ein Unternehmen mit falschen Daten arbeitet, falls die Blockchain später ihre Meinung ändert. DORI hingegen behandelt jedes Ereignis als einen lebendigen Datensatz, der aktualisiert werden kann. Wenn eine Transaktion in das System aufgenommen wird und später aufgrund einer Netzwerkänderung als ungültig befunden wird, löscht DORI den Datensatz nicht. Stattdessen erstellt es eine neue, korrigierte Version dieses Datensatzes, die mit dem ursprünglichen verknüpft ist. Dies ermöglicht es dem System, Fehler zu korrigieren, ohne die Historie dessen, was passiert ist, zu löschen, und bietet so einen klaren und prüfbaren Pfad, der genau aufzeigt, wie eine Entscheidung getroffen und wie sie später korrigiert wurde.
Die Forscher achteten auch intensiv auf Privatsphäre und Sicherheit. In vielen Branchen, wie etwa im Finanz- und Gesundheitswesen, sind Vorschriften erforderlich, die sensible personenbezogene Daten privat halten, selbst während ein Protokoll der Transaktionen geführt wird. DORI begegnet dem, indem es den öffentlichen Beweis einer Transaktion von den privaten Details trennt. Das System zeichnet einen eindeutigen, unveränderlichen Code auf, der beweist, dass ein Ereignis stattgefunden hat, bewahrt aber die tatsächlichen Namen und privaten Details in einem sicheren Off-Chain-Speicher auf, der gemäß den Datenschutzgesetzen kontrolliert und gelöscht werden kann. Das bedeutet, dass Prüfer verifizieren können, dass eine Transaktion stattgefunden hat und deren Pfad durch das System verfolgen können, ohne jemals die sensiblen persönlichen Informationen zu sehen, die daran hängen. Dieses Design ermöglicht es Organisationen, die strengen gesetzlichen Anforderungen an den Datenschutz zu erfüllen und dennoch die Transparenz zu wahren, die für sichere Abläufe notwendig ist.
Die Studie kommt zu dem Schluss, dass diese Methode der Koordination von Ereignissen ein gangbarer Weg ist, um zuverlässige Anwendungen zu bauen, die sowohl die Blockchain als auch traditionelle Cloud-Systeme umspannen. Das Team hat demonstriert, dass durch einen „Resilience-by-Design“-Ansatz – bei dem das System darauf ausgelegt ist, Ausfälle zu erwarten und zu handhaben, anstatt davon auszugehen, dass alles perfekt funktionieren wird – eine stabile Umgebung für komplexe digitale Interaktionen geschaffen werden kann. Der Prototyp bewies, dass es möglich ist, widersprüchliche Daten aus mehreren Quellen zu vereinheitlichen, aus Netzwerkunterbrechungen zu regenerieren und vergangene Fehler zu korrigieren, ohne den Fluss der Geschäftsprozesse zu unterbrechen. Obwohl das System keine magische Lösung ist, die alle Risiken eliminiert, bietet es einen strukturierten, bewährten Weg, um die Unsicherheit zu managen, die mit der Verbindung dezentralisierter Netzwerke mit zentralisierten Diensten einhergeht. Die Ergebnisse legen nahe, dass mit der richtigen Koordinationsebene das Versprechen hybrider Anwendungen verwirklicht werden kann, ohne die Zuverlässigkeit opfern zu müssen, die moderne Unternehmen erfordern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.