Benchmarking Unsupervised Segmentations of Multivariate Time Series From Embedded Systems With a Novel Homogeneity Metric

In de verborgen wereld van moderne machines, van de auto's die we rijden tot de apparaten die we bij ons dragen, stroomt een constante stroom gegevens als een rivier. Deze gegevens, bekend als een tijdreeks, leggen vast hoe diverse signalen in de loop van de tijd veranderen, zoals de temperatuur van een motor of de spanning in een circuit. Wanneer een machine veel verschillende sensoren tegelijkertijd heeft die gegevens registreren, wordt de data multivariabel, een complex web van in elkaar gevlochten verhalen die gelijktijdig plaatsvinden. De uitdaging voor ingenieurs en wetenschappers is niet alleen het verzamelen van deze gegevens, maar het begrijpelijk maken ervan. Ze moeten de momenten vinden waarop het gedrag van de machine overgaat van de ene naar de andere staat, zoals een auto die overgaat van stationair draaien naar accelereren. Om dit te doen, moeten ze de lange, continue stroom gegevens opdelen in afzonderlijke hoofdstukken, of segmenten, waarbij het gedrag binnen elk hoofdstuk consistent en voorspelbaar is. Dit proces wordt segmentatie genoemd. Echter, wanneer de gegevens rommelig zijn en uit veel bronnen tegelijk komen, is het extreem moeilijk om te bepalen waar de snijpunten moeten liggen. Zonder een duidelijke manier om te beoordelen of een snede goed of slecht is, blijven onderzoekers gissen of ze de werkelijke onderliggende patronen hebben gevonden of slechts willekeurige ruis hebben gecreëerd.

Dit is het probleem dat een team van onderzoekers van de Clausthal University of Technology en tensor embedded GmbH probeerde op te lossen. Ze richtten zich op gegevens afkomstig van een automotive embedded systeem, een complex computernetwerk in een auto dat zijn eigen processen monitort. Het team liep tegen een specifieke hindernis aan: hoewel ze krachtige instrumenten hadden om de gegevens te snijden, ontbrak het hen aan een betrouwbare liniaal om de kwaliteit van die sneden te meten. Ze hadden een manier nodig om te bepalen of een segment van gegevens werkelijk "homogeen" was, wat betekent dat de gegevenspunten binnen dat segment consistent met elkaar gedroegen, in plaats van een chaotische mix van verschillende gedragingen te zijn. Om dit aan te pakken, ontwikkelden de onderzoekers een nieuwe methode om deze interne consistentie te meten. Ze stelden niet alleen een theorie voor; ze bouwden een metriek, een specifieke berekening die een score toekent aan elke gegeven manier van het snijden van de gegevens. Een lagere score duidt op een schoner, consistenter segment, terwijl een hogere score suggereert dat het segment rommelig is en anders verdeeld moet worden. Deze metriek fungeert als een benchmark, waardoor ze verschillende algoritmen kunnen testen en kunnen zien welk algoritme de meest logische verdelingen van de gegevens produceert.

Om te bewijzen dat hun nieuwe metriek werkte, creëerde het team eerst een synthetische, of kunstmatige, tijdreeks die het gedrag van echte signalen nabootste. Ze ontwierpen dit testsignaal met duidelijke, bekende veranderingen in gedrag, waardoor een scenario ontstond waarin de "perfecte" manier om de gegevens te snijden al bekend was. Vervolgens pasten ze hun nieuwe metriek toe op elke mogelijke manier om dit testsignaal in stukken te snijden. Het resultaat was een perfecte overeenkomst: de metriek identificeerde exact dezelfde snijpunten die de onderzoekers intuïtief als de beste oplossing hadden ontworpen. Deze validatie was cruciaal omdat het aantoonde dat hun wiskundige instrument accuraat een goede segmentatie kon herkennen. Ze vergeleken hun nieuwe metriek vervolgens met vier specifieke interne clusterindices op hetzelfde synthetische signaal. Hoewel de oudere methoden ook de correcte segmentatie als de beste optie identificeerden, was de nieuwe metriek specifiek ontworpen en geverifieerd om geschikt te zijn voor het meten van interne consistentie in deze gedefinieerde use case, wat de betrouwbaarheid ervan bevestigde naast gevestigde methoden.

Met hun meetinstrument gevalideerd, richtten de onderzoekers zich op de real-world data geleverd door hun partner, Audi AG. Deze dataset was enorm en bevatte bijna duizend verschillende signalen die gedurende een bepaalde tijd zijn opgenomen. De ruwe data waren te rommelig en complex om in één keer te analyseren, dus filterde het team de gegevens eerst. Ze verwijderden de signalen die te vlak of onveranderlijk waren en hielden alleen de drieentwintig meest actieve processen over, die met de meest significante schommelingen. Dit liet een beheersbare set gegevens over die nog steeds de essentiële dynamiek van het systeem vastlegde. Vervolgens draaiden ze twee verschillende segmentatie-algoritmen op deze gefilterde data. Het eerste algoritme maakte gebruik van een techniek gebaseerd op fuzzy clustering, waarbij gegevenspunten tot meerdere groepen kunnen behoren met variërende gradaties van zekerheid, terwijl het tweede een statistisch model gebruikte dat bekend staat als een Hidden Markov Model, dat ervan uitgaat dat de data wisselt tussen verschillende verborgen toestanden.

De onderzoekers testten deze algoritmen door te proberen de gegevens te verdelen in ergens tussen de vier en veertien segmenten. Voor elke poging gebruikten ze hun nieuwe homogeniteitsmetriek om de resultaten te scoren. De bevindingen waren bemoedigend. Beide algoritmen waren in staat om segmenten te vinden die een consistente interne gedraging vertoonden, maar de kwaliteit van de segmentatie varieerde afhankelijk van het aantal sneden dat werd gemaakt. De metriek slaagde erin te benadrukken welk specifiek aantal segmenten de meest coherente resultaten opleverde. In het geval van het synthetische testsignaal slaagde een van de algoritmen erin om de perfecte segmentatie exact te repliceren, waarbij de laagst mogelijke score op de metriek werd behaald. Voor de echte automotive data bood de metriek een duidelijke manier om de verschillende uitkomsten te vergelijken, waarbij werd aangetoond dat de algoritmen inderdaad betekenisvolle toestanden konden extraheren uit de complexe stroom van signalen. De studie concludeert dat, hoewel het vinden van de absoluut perfecte manier om elke tijdreeks te snijden een moeilijke uitdaging blijft, de nieuwe metriek een betrouwbare manier biedt om de instrumenten die voor deze taak worden gebruikt te evalueren en te verbeteren. Het suggereert dat onderzoekers, door gebruik te maken van deze maatstaf voor interne consistentie, de verborgen toestanden van complexe systemen beter kunnen begrijpen, wat de weg vrijmaakt voor een nauwkeurigere analyse van de gegevens die onze moderne wereld aandrijven.