Evaluating data augmentation techniques in the classification of multi-station seismic-volcanic signals

Vulkanen zijn rusteloze reuzen, en voordat ze uitbarsten, fluisteren ze vaak. Deze fluisteringen zijn seismische signalen—subtiele trillingen die door de aarde reizen en het verhaal dragen van bewegend magma, ontsnappend gas of brekend gesteente diep onder het oppervlak. Decennialang hebben wetenschappers vertrouwd op menselijke experts om naar deze fluisteringen te luisteren, waarbij ze handmatig enorme stromen gegevens doorzochten om te identificeren wat er diep onder de grond gebeurde. Dit proces is traag, arbeidsintensief en gevoelig voor menselijke fouten, vooral wanneer de signalen zwak zijn of de hoeveelheid gegevens overweldigend is. In de afgelopen jaren zijn computers begonnen de taak van het luisteren over te nemen, waarbij ze kunstmatige intelligentie gebruiken om patronen in de trillingen te herkennen. Deze computerbreinen worden echter geconfronteerd met een aanzienlijke hindernis: ze hebben enorme hoeveelheden voorbeelden nodig om te leren, en in de wereld van vulkanen zijn zeldzame en gevaarlijke gebeurtenissen vaak het moeilijkst te vinden in grote aantallen. Wanneer een computer probeert te leren van een kleine, ongebalanceerde set voorbeelden, wordt hij vaak bevooroordeeld, waarbij hij de voorkeur geeft aan de meest voorkomende gebeurtenissen die hij het vaakst ziet en de zeldzame, kritieke gebeurtenissen mist die een werkelijk gevaar signaleren.

Een team onderzoekers van de Universidad Católica del Norte in Chili zette zich in om dit probleem op te lossen door computers te leren hoe ze van minder voorbeelden kunnen leren zonder hun vermogen om de waarheid te herkennen te verliezen. Ze richtten zich op de Lascar-vulkaan in het noorden van Chili, een locatie die wordt gemonitord door een netwerk van elf seismische stations die de trillingen van de aarde registreren. Het team verzamelde een database van meer dan zes duizend seismische gebeurtenissen, die experts al hadden gesorteerd in vijf verschillende categorieën: langperiodieke gebeurtenissen, vulkanisch-tektonische gebeurtenissen, hybride gebeurtenissen, tektonische gebeurtenissen en tremor. De uitdaging was dat deze categorieën niet evenredig vertegenwoordigd waren; sommige typen gebeurtenissen waren algemeen, terwijl andere zo zeldzaam waren dat de computer moeite had om te leren hoe ze eruitzagen. Om dit op te lossen, gebruikten de onderzoekers een strategie genaamd data-augmentatie. In plaats van te wachten tot de natuur meer zeldzame gebeurtenissen zou leveren, gebruikten ze wiskundige technieken om nieuwe, synthetische versies van de bestaande gegevens te creëren. Deze nieuwe voorbeelden waren niet op een misleidende manier nep; het waren zorgvuldig aangepaste versies van echte signalen, net genoeg bijgesteld om er anders uit te zien terwijl hun essentiële identiteit behouden bleef. Het doel was om de computer een rijkere, diversere bibliotheek aan voorbeelden te geven om van te bestuderen, in de hoop dat het de fundamentele regels van vulkanische activiteit zou leren in plaats van alleen specifieke details te onthouden.

De onderzoekers testten verschillende manieren om deze nieuwe voorbeelden te creëren. Sommige methoden voegden een laag statische ruis toe aan de signalen, vergelijkbaar met het geruis van een radio tussen zenders door, om te zien of de computer het patroon nog steeds kon herkennen. Andere methoden verschoven de signalen licht in tijd of frequentie, of combineerden delen van verschillende signalen om nieuwe hybriden te creëren. Ze gebruikten zelfs een techniek geïnspireerd door biologische evolutie, waarbij de computer de beste delen van twee signalen selecteerde en deze met elkaar mengde om een nieuwe te creëren. Om te meten hoe goed deze nieuwe signalen werkten, keken het team niet alleen naar de vraag of de computer het juiste antwoord gaf; ze maten ook hoe verschillend de nieuwe signalen waren van de originele. Ze moesten ervoor zorgen dat de nieuwe gegevens divers genoeg waren om de computer iets nieuws te leren, maar vergelijkbaar genoeg met de echte wereld zodat de lessen van toepassing zouden zijn wanneer de computer met een echte vulkaan wordt geconfronteerd.

De resultaten waren opmerkelijk. De onderzoekers ontdekten dat modellen getraind op datasets die uitsluitend uit geaugmenteerde data bestonden, vaak superieure prestaties boden in classificatie, waarbij technieken zoals Drifting, SpecAugment en Jittering respectievelijk nauwkeurigheden van 97,2%, 95,4% en 93,9% bereikten op de testset. Echter, de studie onthulde ook dat een model getraind op een mix van echte en geaugmenteerde data met de "Drifting"-techniek de hoogste nauwkeurigheid van 98,3% behaalde bij het testen op echte signalen. Deze cijfers zijn significant omdat ze laten zien dat de computer leerde de onderliggende patronen van de vulkanische activiteit zo goed te herkennen dat hij de ruis en variaties van de echte wereld kon negeren. De studie onthulde ook dat het simpelweg toevoegen van meer data aan de zeldzame categorieën niet voldoende was; de kwaliteit en diversiteit van die toegevoegde data matterden meer. De best presterende modellen waren die die een grote verscheidenheid aan signaalvormen en texturen zagen, wat de computer dwong om de kernkenmerken van elk type gebeurtenis te leren in plaats van te vertrouwen op shortcuts.

Dit werk suggereert een nieuwe weg voorwaarts voor vulkanische monitoring. Door middel van data-augmentatie kunnen wetenschappers computermodellen bouwen die robuuster en betrouwbaarder zijn, zelfs wanneer ze aan het begin staan met zeer weinig echte voorbeelden van gevaarlijke gebeurtenissen. De studie toonde aan dat deze modellen getraind konden worden op data van een enkele vulkaan en toch goed konden generaliseren, wat betekent dat ze potentieel kunnen worden toegepast op andere vulkanen over de hele wereld. De onderzoekers concludeerden dat de sleutel tot succes niet alleen het hebben van meer data was, maar het hebben van slimmere data—voorbeelden die divers genoeg waren om de computer flexibel te leren, maar tegelijkertijd vergelijkbaar genoeg met de echte wereld om nuttig te zijn. Uiteindelijk leerde de computer niet alleen aardbevingen te tellen; het leerde de taal van de vulkaan te begrijpen met een helderheid die menselijke experts alleen wellicht moeilijk zouden bereiken, wat een krachtig nieuw instrument biedt voor het begrijpen van de dynamische en vaak gevaarlijke evolutie van vulkanische centra.