A FAIR-Compliant Data Lakehouse for Seismological Workflows: Architecture and Experimental Evaluation

De aarde is nooit werkelijk stil. Zelfs in regio's die ver verwijderd zijn van de dramatische botsingszones waar tektonische platen tegen elkaar aan klappen, trilt de grond voortdurend met kleine, onmerkbare verschuivingen. In Brazilië hebben wetenschappers decennialang naar deze fluisteringen geluisterd door netwerken van gevoelige instrumenten in te zetten om de subtiele trillingen van de planeet vast te leggen. Dit werk genereert een enorme, continue stroom gegevens, een digitale registratie van elke beving, groot of klein. Het beheren van deze informatie is echter lang een strijd geweest. De gegevens komen binnen in veel verschillende formaten, vaak opgeslagen in geïsoleerde zakken, en het proces om ruwe signalen om te zetten in bruikbare wetenschappelijke kennis heeft zwaar geleund op menselijke handen. Onderzoekers moesten handmatig bestanden verplaatsen, spreadsheets controleren en informatie uit verschillende bronnen samenvoegen, een methode die traag is, foutgevoelig en moeilijk exact te herhalen.

Om dit op te lossen, heeft een team van onderzoekers aan de Federal University of Rio Grande do Norte in Brazilië een nieuw soort digitale thuis gebouwd voor deze seismische gegevens. Ze noemen het een "Data Lakehouse", een term die een systeem beschrijft dat in staat is om enorme hoeveelheden ruwe informatie op te slaan, terwijl het ook georganiseerd is zodat het gemakkelijk gevonden, begrepen en gebruikt kan worden door iedereen. Het doel was om een enkel, verenigd kader te creëren dat de gehele reis van een stuk data kan afhandelen, van het moment dat het wordt opgevangen door een sensor tot het moment dat het een wetenschappelijk rapport wordt. Door de informatiestroom te automatiseren en een strikt, digitaal verslag bij te houden van elke stap die wordt ondernomen, wilden de onderzoekers de seismologische wetenschap sneller, betrouwbaarder en transparanter maken.

De onderzoekers begonnen door te kijken naar hoe hun eigen laboratorium, LabSIS, momenteel werkt. In het bestaande systeem stroomt seismische data binnen vanuit monitoringsstations als ruwe digitale bestanden. Een computerprogramma verwerkt deze bestanden om potentiële aardbevingen te identificeren, maar het menselijke element blijft cruciaal. Technici moeten de gegevens visueel inspecteren, de gebeurtenissen valideren en vervolgens handmatig details overzetten naar spreadsheets of delen via berichtenapps. Deze gefragmenteerde aanpak betekent dat de geschiedenis van hoe een specifiek stuk informatie is gecreëerd, vaak verloren gaat of verspreid is over verschillende hulpmiddelen. Om dit op te lossen, ontwierp het team een nieuwe architectuur die deze uiteenlopende stappen vervangt door een naadloze, geautomatiseerde pijplijn.

In het hart van dit nieuwe systeem staat een set open-source tools die samenwerken als een goed gecoördineerde bemanning. Wanneer data arriveert, grijpt een geautomatiseerd systeem het onmiddellijk en slaat het op in een enorme, schaalbare digitale opslagplaats. In plaats van dat een mens de bestanden één voor één opent, gebruikt het systeem gespecialiseerde software om de seismische signalen te lezen, ze op te schonen en ze om te zetten in een standaardformaat dat voor iedereen begrijpelijk is. Terwijl dit gebeurt, schrijft het systeem automatisch een gedetailleerd logboek van elke actie die het onderneemt. Het legt vast waar de data vandaan kwam, welke tools werden gebruikt om het te verwerken en wat het uiteindelijke resultaat is. Dit creëert een volledige, ononderbroken keten van bewijs, bekend als data lineage, waardoor iedereen een definitieve wetenschappelijke bevinding terug kan leiden naar de oorspronkelijke sensorlezing.

Om te testen of dit idee in de echte wereld werkte, voerde het team een grootschalig experiment uit met werkelijke gegevens van het Braziliaanse Seismografische Netwerk. Ze voerden het systeem 825 ruwe databestanden, die ongeveer 6,6 gigabyte aan informatie vertegenwoordigen die over drie weken is verzameld. Het hele proces, van ingestie tot de creatie van georganiseerde, direct bruikbare datasets, duurde minder dan 58 minuten. Dit was een significante verbetering ten opzichte van de traditionele methode, die uren aan handmatige coördinatie zou hebben vereist en veel grotere kans op fouten zou hebben geïntroduceerd. Het systeem verwerkte de gegevens succesvol zonder menselijke tussenkomst, wat aantoonde dat het de continue, hoog-volume informatiestroom kan aan die de moderne seismologie vereist.

De onderzoekers nodigden ook een groep van tien experts uit de velden van seismologie, informatica en geofysica uit om het nieuwe systeem te evalueren. Deze specialisten, variërend van beginnende wetenschappers tot senior onderzoekers met decennia aan ervaring, testten de architectuur aan de hand van een reeks criteria gericht op hoe gemakkelijk het is om data te vinden, hoe goed het georganiseerd is en of het de principes van "FAIR" wetenschap volgt. FAIR staat voor Findable (Vindbaar), Accessible (Toegankelijk), Interoperable (Interoperabel) en Reusable (Herbruikbaar), een wereldwijde standaard om wetenschappelijke data bruikbaar te maken voor iedereen. De experts beoordeelden het systeem zeer hoog en gaven het een gemiddelde score van 4,6 uit 5. Ze prezen met name het vermogen van het systeem om de oorsprong van data bij te houden en het geautomatiseerde karakter ervan, waarbij zij opmerkten dat het de tijd die zij besteden aan administratieve taken aanzienlijk zou verminderen en hen meer ruimte zou geven voor wetenschappelijke analyse.

Een van de meest overtuigende aspecten van het nieuwe systeem is het vermogen om het volledige verhaal van een enkele aardbeving te vertellen. In een specifieke testcasus betreffende een aardbeving met een magnitude van 4,5 in Itapé, Brazilië, lieten de onderzoekers zien hoe het systeem het ruwe geluid van de grondtrilling koppelde aan de uiteindelijke kaart en het rapport. Het systeem registreerde het exacte moment waarop de data werd opgevangen, de specifieke station die het registreerde, de software die werd gebruikt voor de analyse en het uiteindelijke gegenereerde product. Dit niveau van detail zorgt ervoor dat als een andere wetenschapper de resultaten wil verifiëren, hij dat met volledig vertrouwen kan doen, wetende precies hoe de data is behandeld. Deze transparantie is een cruciale stap naar het meer reproduceerbaar en betrouwbaar maken van wetenschappelijk onderzoek.

Hoewel de resultaten veelbelovend zijn, merken de onderzoekers er voorzichtig bij op dat dit een bewijs van concept is en geen afgewerkt product voor elk mogelijk scenario. Het systeem werd getest op een enkele lokale computer in plaats van op een massaal mondiaal netwerk, en het verwerkt momenteel gegevens nadat ze zijn verzameld in plaats van in realtime terwijl ze plaatsvinden. Het team erkent ook dat hoewel het systeem uitstekend is in het organiseren van data, er nog werk te verrichten is om de betekenis van die data voor elk computersysteem ter wereld perfect duidelijk te maken. Ondanks deze beperkingen toont de studie aan dat het mogelijk is om een systeem te bouwen dat orde brengt in de chaos van moderne seismische data. Door krachtige automatisering te combineren met strikte regels voor hoe data wordt beheerd, hebben de onderzoekers een fundament gelegd dat de manier waarop wetenschappers de aarde bestuderen kan transformeren, door een traag, handmatig proces om te vormen tot een snelle, betrouwbare en transparante operatie.