DORI: A Distributed Observation and Reconciliation Interface for Resilient Multi-Source Event Synchronization in Cloud-Native Systems
Dit artikel presenteert DORI, een gedistribueerde interface die veerkrachtige multi-source event-synchronisatie in cloud-native systemen waarborgt door principes van reconciliation-by-design toe te passen om inconsistenties te detecteren, blockchain-events te valideren en idempotente correcties te bieden voordat deze atomair aan downstream microservices worden geleverd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne digitale wereld proberen twee verschillende lagen van technologie steeds vaker samen te werken, vaak met wrijving. Aan de ene kant staat het traditionele internet, waar bedrijven draaien op snelle, gecentraliseerde servers die onmiddellijk records kunnen bijwerken en miljoenen verzoeken kunnen afhandelen. Aan de andere kant is de nieuwere wereld van blockchain, een systeem waarbij transacties worden vastgelegd in een publiek, gedeeld grootboek dat ongelooflijk veilig maar trager en complexer is. Wanneer bedrijven proberen applicaties te bouwen die beide gebruiken, worden ze geconfronteerd met een moeilijk probleem: de blockchain kan zeggen dat een transactie heeft plaatsgevonden, maar de traditionele servers zien dit misschien niet onmiddellijk, of ze zien het twee keer, of in de verkeerde volgorde. Als een bank of een ziekenhuis deze systemen gebruikt om geld of patiëntendossiers te beheren, kan dergelijke verwarring leiden tot verloren fondsen, dubbele behandelingen of gebroken vertrouwen. De kernuitdaging is niet alleen het verbinden van deze twee werelden, maar het waarborgen dat de informatie die tussen hen stroomt nauwkeurig, consistent en betrouwbaar is, zelfs wanneer de verbinding wankel is of de data laat binnenkomt.
Onderzoekers hebben een nieuw systeem ontwikkeld genaamd DORI om dit specifieke probleem van het synchroniseren van deze twee werelden op te lossen. Het team, bestaande uit ingenieurs en academici van instellingen in Bangladesh, de Verenigde Staten en Noorwegen, heeft een brug ontworpen die tussen de blockchain en de cloudgebaseerde diensten zit die alledaagse applicaties aansturen. In plaats van blindelings één signaal van de blockchain te vertrouwen, fungeert DORI als een zorgvuldige poortwachter. Het luistert naar de blockchain via meerdere verschillende kanalen tegelijkertijd. Als één kanaal zegt dat een transactie heeft plaatsgevonden en een ander zegt dat dit niet zo is, dan wacht het systeem. Het haast zich niet met het bijwerken van de bedrijfsgegevens totdat het genoeg bewijs uit verschillende bronnen heeft verzameld om er zeker van te zijn dat de gebeurtenis echt en permanent is. Deze aanpak voorkomt de chaos die optreedt wanneer verschillende delen van een systeem op verschillende versies van de waarheid opereren.
De onderzoekers hebben een werkend prototype van dit systeem gebouwd om te zien hoe het presteert onder druk. Ze zetten een testomgeving op die een scenario uit de echte wereld nabootst, waarbij een blockchain-netwerk, specifiek het Ethereum Sepolia testnetwerk, duizenden transactie-updates verzendt. Deze updates werden vervolgens gevoed aan een cloudgebaseerd systeem dat ze moest verwerken voor zaken zoals het beheren van gebruikersaccounts of het volgen van digitale activa. Om ervoor te zorgen dat het systeem robuust is, vertrouwden de onderzoekers niet op slechts één manier om de blockchain in de gaten te houden. Ze gebruikten twee verschillende soorten waarnemers: één die luisterde naar gebeurtenissen terwijl ze in realtime plaatsvonden, en een andere die een historische index van eerdere gebeurtenissen controleerde om gaten op te vullen. Deze dubbele aanpak betekende dat als de realtime verbinding wegviel of vertraagd was, het systeem de ontbrekende informatie nog steeds uit de historische index kon herstellen.
Toen het team het systeem testte met een zware belasting van 1.800 transacties, lieten de resultaten zien dat de brug effectief werkte. Het systeem synchroniseerde de blockchain-gebeurtenissen met de downstream cloud-diensten succesvol in 97,1% van de gevallen. Dit hoge succespercentage is aanzienlijk omdat het aantoont dat het systeem de rommelige realiteit van netwerkvertragingen en data-inconsistenties kan afhandelen zonder de belangrijke gebeurtenissen uit het oog te verliezen. De onderzoekers ontdekten ook dat de twee verschillende observatiemethoden hun eigen sterktes hadden. De realtime listener was sneller, met een gemiddelde reactietijd van ongeveer 0,146 seconden, terwijl de historische index iets langzamer was maar een hoger volume aan verzoeken per seconde kon verwerken. Door beide te combineren, bereikte het systeem een balans tussen snelheid en betrouwbaarheid, waardoor werd gewaarborgd dat geen enkele gebeurtenis werd gemist, zelfs als één bron tekortschoot.
Een cruciaal onderdeel van het ontwerp van DORI is hoe het met fouten omgaat. In een blockchain kan de volgorde van transacties soms veranderen als het netwerk de geschiedenis reorganiseert, een proces dat een transactie die eerder als definitief werd beschouwd, ongeldig kan maken. Traditionele systemen beschouwen een bevestigde gebeurtenis soms als permanent en kijken nooit meer terug, wat een bedrijf met onjuiste gegevens kan achterlaten als de blockchain later van gedachten verandert. DORI behandelt elke gebeurtenis echter als een levend record dat kan worden bijgewerkt. Als een transactie in het systeem wordt toegelaten en later ongeldig blijkt te zijn door een netwerkwijziging, verwijdert DORI het record niet. In plaats daarvan creëert het een nieuwe, gecorrigeerde versie van dat record die terugverwijst naar het origineel. Dit stelt het systeem in staat om fouten te herstellen zonder de geschiedenis van wat er is gebeurd uit te wissen, wat een duidelijk en controleerbaar spoor biedt dat laat zien hoe een beslissing precies is genomen en hoe deze later is gecorrigeerd.
De onderzoekers besteedden ook veel aandacht aan privacy en beveiliging. In veel sectoren, zoals de financiële sector en de gezondheidszorg, vereisen regelgeving dat gevoelige persoonlijke gegevens privé worden gehouden, zelfs terwijl er een verslag van transacties wordt bijgehouden. DORI pakt dit aan door het publieke bewijs van een transactie te scheiden van de privédetails. Het systeem legt een unieke, onveranderlijke code vast die bewijst dat een gebeurtenis heeft plaatsgevonden, maar houdt de werkelijke namen en privédetails in een beveiligde, off-chain opslag die kan worden beheerd en verwijderd volgens de privacywetgeving. Dit betekent dat auditors kunnen verifiëren dat een transactie heeft plaatsgevonden en het pad door het systeem kunnen traceren, zonder ooit de gevoelige persoonlijke informatie die eraan verbonden is te zien. Dit ontwerp stelt organisaties in staat om aan strikte wettelijke vereisten voor gegevensbescherming te voldoen, terwijl ze toch de transparantie behouden die nodig is voor veilige operaties.
De studie concludeert dat deze methode van het coördineren van gebeurtenissen een levensvatbare manier is om betrouwbare applicaties te bouwen die zowel blockchain als traditionele cloudsystemen overspannen. Het team heeft aangetoond dat door een "resilience-by-design" aanpak te gebruiken—waarbij het systeem wordt gebouwd om fouten te verwachten en af te handelen in plaats van ervan uit te gaan dat alles perfect zal werken—zij een stabiele omgeving kunnen creëren voor complexe digitale interacties. Het prototype bewees dat het mogelijk is om conflicterende gegevens uit meerdere bronnen te verzoenen, te herstellen van netwerkonderbrekingen en het verleden te corrigeren zonder de stroom van bedrijfsoperaties te breken. De bevindingen suggereren dat met de juiste coördinatielaag, de belofte van hybride applicaties gerealiseerd kan worden zonder de betrouwbaarheid op te offeren die moderne bedrijven vereisen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.