IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT

In moderne ziekenhuizen monitort een constante stroom van elektronische piepjes en flitsende lichten de vitale functies van patiënten. Deze apparaten, onderdeel van een verbonden netwerk dat bekend staat als het Internet of Medical Things, meten hartslagen en bloeddoorstroming met ongelooflijke precisie. Deze digitale waakzaamheid staat echter voor een verwarrend probleem: wanneer een alarm afgaat, is het vaak onmogelijk te zeggen waarom. De patiënt kan daadwerkelijk slechter worden, een sensor kan losgeraakt zijn of uit kalibratie zijn geraakt, of een hacker zou de gegevens geheim kunnen hebben aangepast om een gezonde patiënt ziek te laten lijken. Voor een arts die aan het bed staat, is deze ambiguïteit gevaarlijk. Het behandelen van een machinefout als een medisch noodgeval verspilt tijd en middelen, maar het negeren van een echte aanval of een echte crisis kan een leven kosten. De kernuitdaging is niet alleen opmerken dat er iets mis is, maar begrijpen wat precies de oorzaak van het alarm was.

Om dit op te lossen, hebben onderzoekers aan de University of Maryland, Baltimore County, een nieuwe testomgeving gecreëerd genaamd IoMT-SecAlarmBench. In plaats van te wachten tot er echte aanvallen plaatsvinden in een ziekenhuis – een scenario dat te riskant is om direct te bestuderen – bouwden zij een gecontroleerde omgeving waarin ze specifieke soorten problemen in echte patiëntgegevens konden injecteren. Ze namen authentieke opnames van hartslagen en bloeddoorstroming van duizenden patiënten en introduceerden zorgvuldig vier verschillende soorten digitale manipulatie. Sommige aanvallen waren subtiel en voegden valse getallen toe die er volkomen normaal uitzagen. Andere waren meer expliciet, zoals het bevriezen van een sensorwaarde of het afspelen van een oude hartslag van uren geleden. Cruciaal was dat omdat de onderzoekers deze problemen zelf hadden gecreëerd, zij de exacte waarheid kenden: zij wisten welke vensters met gegevens echt waren, welke defect waren en welke gehackt waren, en ze hielden zelfs een kopie bij van hoe het signaal eruit zou hebben gezien als de aanval nooit had plaatsgevonden. Deze "contrafactische" waarheid, een verslag van wat er zou zijn geweest, is iets wat geen enkele natuurlijke dataset ooit heeft geboden.

Het team testte vervolgens zes verschillende computerprogramma's die ontworpen zijn om deze anomalieën op te sporen. Ze wilden zien of deze programma's niet alleen een alarm konden detecteren, maar ook correct konden identificeren of de oorzaak een cyberaanval, een defecte sensor of een echt medisch incident was. De resultaten toonden een significante beperking in de huidige technologie aan. Hoewel de programma's redelijk goed waren in het opsporen van overduidelijke fouten buiten de normale grenzen, hadden ze enorme moeite met de meest gevaarlijke scenario's. Wanneer de gegevens werden aangepast om er volkomen realistisch uit te zien, zoals wanneer een oude hartslag werd afgespeeld om een actueel probleem te verbergen, presteerden de detectoren niet beter dan een willekeurige gok. Ze konden geen onderscheid maken tussen een echt fysiologisch evenement en een geraffineerde aanval.

Misschien wel de meest onthullende bevinding was een afweging tussen het detecteren van aanvallen en het vermijden van valse alarmen. Het best presterende programma was in staat om de moeilijkste soorten aanvallen op te merken, maar deed dit tegen een hoge prijs. Voor elke keer dat het een cyberaanval correct signaleerde, bestempelde het per abuis een onschuldige sensorstoring als een aanval meer dan vijf keer. Dit suggereert dat de zeer specifieke kenmerken die deze programma's gebruiken om hackers te vinden – het zoeken naar inconsistenties tussen verschillende lichaamssignalen – precies de kenmerken zijn die het moeilijk maken om het verschil te zien tussen een hacker en een losse draad. De studie onthulde ook dat sommige eerder uitgevoerde onderzoeken die beweerden medische apparaataanvallen te detecteren, waarschijnlijk werden misleid door eenvoudige aanwijzingen in de gegevens, zoals het specifieke apparaat-ID of het netwerkadres, in plaats daadwerkelijk de medische signalen te begrijpen. Door deze makkelijke routes weg te strippen, toonde de nieuwe benchmark aan dat veel bestaande methoden veel minder effectief zijn dan voorheen gedacht.

Uiteindelijk biedt dit werk geen perfecte oplossing, maar eerder een heldere kaart van het huidige landschap. Het demonstreert dat hoewel we systemen kunnen bouwen om op te merken dat er iets mis is, we de kunst nog niet beheersen om te begrijpen waarom. De onderzoekers kwamen tot de conclusie dat het onderscheiden tussen een zieke patiënt, een defecte machine en een kwaadwillende actor een diepgaande uitdaging blijft, een uitdaging die vereist dat we verder gaan dan eenvoudige patroonherkenning naar een dieper begrip van oorzaak en gevolg. Hun nieuwe benchmark biedt een rigoureuze manier om toekomstige instrumenten te testen, zodat wanneer we uiteindelijk systemen bouwen om patiënten te beschermen, zij worden beoordeeld op hun vermogen om de waarheid te spreken, en niet alleen op hun vermogen om een alarm te laten afgaan.