Runtime Anomaly Detection and Assurance Framework for AI-Driven Nurse Call Systems

Dit onderzoek presenteert een reproduceerbaar, interpreteerbaar framework voor het detecteren van runtime-anomalieën in AI-gestuurde verpleegoproepsystemen, dat gebruikmaakt van een lichtgewicht Isolation Forest-model en openbare bronnen om de operationele betrouwbaarheid en veiligheid in zorgomgevingen te waarborgen.

De kern

Stel je voor dat een ziekenhuis een enorm, levend wezen is. De Verpleegbellen (Nurse Call Systems) zijn de zenuwuiteinden van dit wezen. Als een patiënt op de bel drukt, is het alsof het wezen zegt: "Ik heb hulp nodig!" Normaal gesproken rennen de verplegers er direct naartoe. Maar wat gebeurt er als het systeem zelf ziek wordt? Wat als de bel wel gaat, maar het bericht vastloopt in de computer, of als er per ongeluk duizenden belletjes tegelijk gaan die niemand kan horen?

In deze paper vertellen de onderzoekers (Yuanyuan Liu en David R. Concepcion) over een slimme, lichte alarmklok die ze hebben bedacht om deze systemen gezond te houden.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Stille" Pijn

Vroeger waren verpleegbellen simpele knoppen. Vandaag de dag zijn ze slim: ze gebruiken kunstmatige intelligentie (AI) om te bepalen wie er eerst geholpen moet worden. Maar AI kan soms gek doen. Het kan een noodoproep negeren, of juist honderden valse alarmen geven.
Het probleem is dat als dit gebeurt, de verplegers vaak pas merken dat er iets mis is als het al te laat is. Ze hebben een waarschuwingssysteem nodig dat terwijl het systeem draait, constant kijkt of alles nog normaal is.

2. De Oplossing: De "Vogelkijker" (Anomaly Detection)

De onderzoekers hebben geen nieuwe, super-complexe AI bedacht die alles moet leren. In plaats daarvan hebben ze een eenvoudige, slimme "vogelkijker" gebouwd.

• De Analogie: Stel je voor dat je een bos bewaakt. Je hoeft niet elke boom te tellen. Je kijkt gewoon of er iets anders is dan normaal. Is er een vogel die plotseling op een boom staat die hij nooit gebruikt? Is er een boom die ineens schudt zonder wind?
• Hoe het werkt: Het systeem kijkt naar de logs (de dagboeken) van de verpleegbellen. Normaal gesproken gaan er op maandagochtend veel belletjes, en op zondagmiddag minder. Als er ineens een bel gaat die 5 minuten lang niet wordt beantwoord, of als er 50 belletjes in één seconde gaan (wat onmogelijk is voor een mens), dan slaat de "vogelkijker" alarm.

3. De Methode: Het "Isolatiebos"

Ze gebruiken een techniek die ze Isolation Forest noemen.

• De Metafoor: Stel je hebt een bos met honderden bomen. De meeste bomen staan dicht bij elkaar (dat is normaal gedrag). Maar er staat één boom die heel erg geïsoleerd staat, ver weg van de rest. Dat is de "anomalie" (de afwijking).
• Het systeem probeert niet te begrijpen waarom die boom daar staat, maar het weet zeker dat die boom niet bij de groep hoort. Omdat dit systeem zo simpel is, is het heel snel en heeft het weinig rekenkracht nodig. Het kan dus makkelijk meegeven op kleine computers (zoals een tablet op de verpleegafdeling) zonder dat het de hele ziekenhuisnetwerk lamlegt.

4. De Test: Het "Simulatie-Ziekenhuis"

Omdat ze niet willen experimenteren met echte patiënten (dat is te riskant), hebben ze een virtueel ziekenhuis gebouwd.

• Ze hebben duizenden nep-oproepen gegenereerd die lijken op echte situaties.
• Vervolgens hebben ze er expres "ziektes" in gestopt: belletjes die te lang wachten, belletjes die verdwijnen, of belletjes die te vaak gaan.
• Vervolgens hebben ze gekeken of hun "vogelkijker" deze ziektes kon vinden.

Het resultaat?
Het systeem was heel goed in het vinden van de problemen (hoge "recall", wat betekent: hij mist bijna niets). Hij gaf wel af en toe een vals alarm, maar dat is beter dan een stil alarm. Het belangrijkste is dat het systeem duidelijk maakt waarom hij alarm slaat (bijvoorbeeld: "Deze bel wacht al 2 minuten, dat is te lang"). Dit is belangrijk voor verplegers; ze moeten weten waarom het systeem piept, zodat ze het kunnen vertrouwen.

5. Waarom is dit belangrijk?

• Veiligheid: Het voorkomt dat patiënten in de steek worden gelaten omdat het systeem vastloopt.
• Transparantie: Het is geen "zwarte doos". Verplegers kunnen zien wat er mis is.
• Snelheid: Het werkt in real-time. Het is alsof je een brandblusser hebt die terwijl de brand ontstaat, direct reageert, in plaats van dat je later de rook moet analyseren.

Conclusie

Deze paper zegt eigenlijk: "We hoeven niet steeds complexere AI te bouwen om ziekenhuizen veiliger te maken. Soms is een slim, simpel en snel systeem dat constant kijkt of alles 'normaal' is, veel waardevoller."

Ze hebben zelfs alle code en de simulatie gratis online gezet, zodat iedereen het kan nabouwen en testen. Het is alsof ze het recept voor hun alarmklok openbaar hebben gemaakt, zodat elk ziekenhuis het zelf kan bouwen.

Technische samenvatting

Titel: Runtime Anomalie-detectie en Zekerheidskader voor AI-gestuurde Verpleegoproepsystemen

Auteurs: Yuanyuan Liu en David R. Concepcion (Johns Hopkins University)

---

1. Probleemstelling

Verpleegoproepsystemen (Nurse Call Systems - NCS) zijn kritieke infrastructurele componenten in ziekenhuizen die de communicatie tussen patiënten en medisch personeel faciliteren. Met de integratie van Kunstmatige Intelligentie (AI) en Internet of Things (IoT) voor functies zoals automatische prioritering en werklastbalans, ontstaat een nieuw risico: runtime-veiligheid.

• Het gat in de huidige praktijk: Hoewel deze systemen efficiënter zijn, ontbreekt het vaak aan mechanismen om afwijkend gedrag van de AI-componenten tijdens live operatie continu te monitoren.
• Risico's: Abnormaal gedrag, zoals overmatige responstijden, herhaalde waarschuwingen, stilte (missende antwoorden) of onverwachte pieken in oproepvolume, kan direct leiden tot patiëntschade of cognitieve overbelasting van het personeel.
• Uitdaging: Traditionele verzekeringsmethoden (assurance) zijn vaak te complex, vereisen grote gelabelde datasets of offline validatie, en zijn daardoor niet geschikt voor resource-beperkte, real-time klinische omgevingen. Er is behoefte aan een lichtgewicht, interpreteerbaar kader dat zonder proprietair klinisch data kan werken.

2. Methodologie

De auteurs stellen een lichtgewicht runtime-anomalie-detectie- en verzekeringskader voor dat specifiek is ontworpen voor AI-gestuurde NCS. In plaats van nieuwe leeralgoritmen te introduceren, focust de methode op de toepassing van interpreteerbare, efficiënte technieken binnen een operationele monitoringstroom.

Kerncomponenten van het kader:

1. Loggenerator: Simuleert gestructureerde verpleegoproepgegevens (tijdstippen, kamer-ID, oproeptype, responstijd) op basis van openbare data (NYC 311), aangepast aan ziekenhuispatronen.
2. Anomalie-injector: Introduceert klinisch gemotiveerde afwijkingen in de logs om realistische scenario's te testen:
   • Vertraagde respons: > 90 seconden.
   • Herhaalde oproepen: Meerdere oproepen binnen 30 seconden.
   • Ontbrekende respons: Verwijderde logboekvermeldingen.
   • Ongeldige tijdstippen: Inconsistenties in de volgorde.
   • Ongebruikelijk volume: Pieken van >10 oproepen per minuut.
3. Anomaliedetector:
   • Primair model: Isolation Forest (een onbewaakt leermodel). Dit wordt gekozen vanwege de rekenefficiëntie, schaalbaarheid en geschiktheid voor het detecteren van uitschieters in tabulaire operationele data zonder gelabelde trainingsdata.
   • Vergelijkingsbaselines: Een regelgebaseerde baseline (drempelwaarde voor responstijd) en andere modellen zoals One-Class SVM, Random Forest (supervised) en Autoencoders.
4. Visualisatie: Een interactief dashboard (geconstrueerd met Streamlit) dat resultaten toont, inclusief Precision-Recall-curves en vertragingmetrieken.

Experimenteel Ontwerp:

• De evaluatie gebruikt gesimuleerde logs met bekende "ground truth" labels door de injectie van anomalieën.
• Er wordt gebruikgemaakt van Precision, Recall en F1-score, waarbij Recall prioriteit krijgt vanwege de veiligheidsimplicaties (het missen van een anomalie is kritischer dan een vals alarm).
• Er wordt een drempelgevoeligheidsanalyse uitgevoerd om het optimale punt te vinden tussen detectieprestaties en operationele last (alert fatigue).

3. Belangrijkste Bijdragen

• Reproduceerbaar Kader: Het biedt een volledig reproduceerbaar framework voor runtime-verzekeringskaders in de gezondheidszorg, zonder afhankelijkheid van complexe deep learning-modellen of proprietair data.
• Lichtgewicht en Interpreteerbaar: Het benadrukt transparantie en lage rekenkosten, waardoor het inzetbaar is op resource-beperkte edge-apparaten in ziekenhuizen.
• Open Science: Alle broncode, opgeschoonde datasets, experimentele scripts en een interactieve demo zijn openbaar beschikbaar gesteld (via GitHub en Zenodo), wat ongeëvenaarde transparantie biedt voor de gemeenschap.
• Focus op Operationele Veiligheid: Het verschuift de focus van puur algoritmische nauwkeurigheid naar operationele relevantie (bijv. detectie van vertragingen en alarmfrequentie) die direct van invloed is op patiëntveiligheid.

4. Resultaten

De experimentele resultaten tonen de volgende bevindingen:

• Prestatie van Isolation Forest: Het onbewaakte Isolation Forest-model toonde robuust gedrag onder onbewaakte omstandigheden met een stabiel evenwicht tussen detectiegevoeligheid en het aantal vals-positieven. Het presteerde goed in het detecteren van vertragingstypen anomalieën met een hoge recall.
• Vergelijking met andere modellen:
  • Random Forest (supervised) bereikte de hoogste prestaties (Precision ≈ 1.00, Recall ≈ 0.98), maar vereist gelabelde data, wat in de praktijk vaak ontbreekt.
  • One-Class SVM was gevoeliger voor ruis en had lagere nauwkeurigheid.
  • Autoencoder had matige prestaties maar een hogere complexiteit.
• Interpreteerbaarheid: SHAP-analyse (SHapley Additive exPlanations) bevestigde dat responstijd en temporale kenmerken (uur van de dag, dag van de week) de belangrijkste voorspellers waren voor abnormaal gedrag. Dit sluit aan bij operationele intuïtie over werkdrukpatronen.
• Drempeloptimalisatie: De analyse toonde aan dat er een specifiek operationeel punt bestaat (drempelwaarde rond -0.08) waar de F1-score wordt gemaximaliseerd, wat evidence-based configuratie van alarmsystemen mogelijk maakt.

5. Betekenis en Toekomstperspectief

Deze studie is significant omdat het een praktische oplossing biedt voor een kritiek probleem in de gezondheidszorg: het waarborgen van de veiligheid van AI-systemen tijdens gebruik.

• Klinische Toepasbaarheid: Het kader is ontworpen om bestaande workflows te complementeren in plaats van te vervangen, en biedt een extra veiligheidslaag voor AI-componenten in kritieke infrastructuren.
• Toekomstig Werk: De auteurs plannen om het kader uit te breiden met:
  • Meer temporale en contextuele kenmerken (bijv. werklast per afdeling).
  • Diepere integratie van uitlegbaarheid (explainability) voor auditdoeleinden.
  • Validatie met echte, live verpleegoproepdata in samenwerking met zorgpartners om de robuustheid te testen.

Conclusie: Het onderzoek bewijst dat betekenisvolle runtime-verzekeringskaders voor AI in de gezondheidszorg haalbaar zijn met eenvoudige, interpreteerbare methoden, zonder de noodzaak van zware computationele middelen of geheime data.