Identical results, hidden data problems: running CMS's digital quality measures on real hospital data

Ziekenhuizen vertrouwen steeds meer op computers om bij te houden hoe goed ze voor patiënten zorgen. In plaats van dat artsen en verpleegkundigen handmatig dossiers doorzien om fouten of complicaties te tellen, scant software nu elektronische patiëntendossiers om automatisch kwaliteitsscores te genereren. Deze scores bepalen hoe goed een ziekenhuis presteert en kunnen zelfs invloed hebben op hoeveel geld het ontvangt van overheidsinstanties. Om dit proces sneller en consistenter te maken, stappen gezondheidsfunctionarissen over naar een nieuw systeem waarbij de gegevens in een standaard digitaal formaat worden georganiseerd, waardoor verschillende computersystemen dezelfde taal kunnen spreken. Het doel is om deze digitale maatstaven automatisch te laten draaien, wat een duidelijk, realtime beeld geeft van de patiëntveiligheid. Er blijft echter een kritische vraag bestaan: als de computer de gegevens precies leest zoals ze zijn opgeschreven, zullen de resultaten dan de werkelijke realiteit van de patiëntenzorg weerspiegelen, of zullen verborgen gebreken in de manier waarop de gegevens worden geregistreerd leiden tot misleidende cijfers?

Een onderzoeker genaamd Sai Sharan Kasa zette zich af om deze vraag te beantwoorden door twee specifieke veiligheidsmaatregelen te testen op een enorme, real-world database van ziekenhuisgegevens. Deze maatregelen zijn ontworpen om twee gevaarlijke condities te detecteren: ernstige lage bloedsuikerspiegel en ernstige hoge bloedsuikerspiegel, beide scenario's die kunnen voorkomen bij opgenomen patiënten. De onderzoeker gebruikte een volledige set gede-identificeerde gegevens van een groot academisch ziekenhuis in Boston, die honderdduizenden patiëntenverblijven besloeg over een periode van meer dan tien jaar. De gegevens waren omgezet naar het nieuwe standaard digitale formaat, maar bevatten nog steeds de oorspronkelijke, rommelige details van hoe het ziekenhuispersoneel de informatie had ingevoerd. De onderzoeker bouwde een systeem om de officiële overheidssoftware op deze gegevens te draaien, maar met een cruciale draai: het systeem was ontworpen om de gegevens te verwerken in kleine, beheersbare brokken voor elk patiëntenverblijf, in plaats van te proberen de volledige geschiedenis van een patiënt van een heel jaar in één keer te lezen. Deze aanpak stelde de onderzoeker in staat om de complexe berekeningen op alle 431.231 ziekenhuisverblijven in slechts enkele uren uit te voeren, een taak die met oudere methoden weken of maanden had gekost.

De eerste grote ontdekking was dat het nieuwe, in brokken verdeelde systeem resultaten produceerde die exact identiek waren aan de originele, ongewijzigde software wanneer deze op dezelfde gegevens werd gedraaid. Dit was een essentieel bevinding omdat het bewees dat de nieuwe manier van gegevensverwerking geen fouten of wijzigingen in de logica zelf introduceerde. De computer deed precies wat hij moest doen. Echter, toen de onderzoeker dieper keek naar wat de computer daadwerkelijk vond, ontdekte hij dat de resultaten volledig afhankelijk waren van de kwaliteit van de gegevens die erin werden gevoed. De software was een getrouwe spiegel, maar de reflectie die het toonde, werd vervormd door de manier waarop de gegevens oorspronkelijk waren geregistreerd.

Het meest significante probleem dat werd gevonden, had betrekking op de manier waarop bloedsuikerwaarden werden geregistreerd. In veel gevallen produceerden glucosemeters aan het bed wel een getal, maar lieten ze de eenheid van meting, zoals milligram per deciliter, achterwege. Omdat de veiligheidsmaatregel een specifieke eenheid vereist om te bepalen of een getal gevaarlijk laag of hoog is, kon de computer deze getallen niet vergelijken met de veiligheidsdrempels. Als gevolg hiervan waren bijna de helft van de gevallen van ernstig lage bloedsuikerspiegel volledig onzichtbaar voor het systeem. Wanneer de onderzoeker de juiste eenheid handmatig aan deze ontbrekende vermeldingen toeweegde, steeg het aantal gedetecteerde gevallen van ernstig lage bloedsuikerspiegel aanzienlijk, wat onthulde dat de oorspronkelijke gegevens een groot deel van deze gevaarlijke incidenten hadden verborgen. Op dezelfde manier miste het systeem veel dagen met ernstige hoge bloedsuikerspiegel omdat het de diabetesdiagnose van een patiënt niet kon koppelen aan het ziekenhuisverblijf, waardoor de computer de context negeerde die nodig was om deze dagen correct te tellen.

De studie onderzocht ook hoe de computer besliste welke medicijnen mee te tellen. De software vertrouwt op een lijst met medicijnnamen om patiënten te identificeren die glucoseverlagende medicatie hebben ontvangen. De onderzoeker testte verschillende manieren om de lokale medicijncodes van het ziekenhuis te koppelen aan de standaardlijst. Hoewel het wijzigen van deze koppelingsregels bepaalde specifieke patiënten in de telling veranderde, veranderde het de algehele percentages patiënten die een slecht resultaat ondervonden niet drastisch. Dit suggereert dat hoewel de specifieke lijst met patiënten kan variëren afhankelijk van hoe de gegevens worden gekoppeld, het algemene niveau van schade relatief stabiel bleef in deze specifieke dataset. De onderzoeker merkte echter op dat als het systeem de instructie kreeg om observatieverblijven — korte bezoeken die geen volledige ziekenhuisopnames zijn — als volledige ziekenhuisopnames te tellen, het aantal patiënten dat in de veiligheidsmaatregelen werd meegeteld, ongeveer verdubbelde. Dit benadrukte dat een eenvoudige classificatiefout in de gegevens de omvang van de groep die wordt gemeten drastisch kan veranderen, zelfs als de incidentie van schade binnen die groep gelijk blijft.

Misschien wel de meest verrassende bevinding was dat standaardcontroles die bedoeld waren om de datakwaliteit te waarborgen, deze problemen niet hadden opgemerkt. De computersystemen die verifieerden of de gegevens het juiste formaat volgden, rapporteerden dat alles in orde was. De dossiers slaagden voor alle technische controles op structuur en volledigheid, maar bevatten nog steeds de verborgen fouten die ervoor zorgden dat de veiligheidsmaatregelen gevaarlijke gebeurtenissen misten. Een dossier kon een ontbrekende eenheid of een gebroken link naar een diagnose hebben en toch alle validatietests doorstaan, om vervolgens te worden genegeerd door de veiligheidssoftware wanneer deze probeerde een resultaat te berekenen. Dit betekent dat ziekenhuizen niet kunnen vertrouwen op standaard datacontroles om de nauwkeurigheid van hun veiligheidsscores te garanderen; ze moeten kijken naar de specifieke logica van de veiligheidsmaatregelen zelf om deze hiaten te vinden.

De onderzoeker concludeerde dat hoewel het nieuwe digitale systeem technisch werkt en enorme hoeveelheden gegevens snel en goedkoop kan verwerken, de cijfers die het produceert slechts zo goed zijn als de gegevens die erin worden gevoed. De studie toonde aan dat verborgen dataproblemen, zoals ontbrekende eenheden of gebroken links, bijna de helft van de ernstige gevallen van lage bloedsuikerspiegel kunnen verbergen en het aantal dagen met hoge bloedsuikerspiegel aanzienlijk kunnen veranderen. Deze fouten worden niet veroorzaakt door het falen van de software, maar door het feit dat de gegevens niet klaar zijn voor de strikte vereisten van de software. Voordat ziekenhuizen verplicht worden om deze digitale veiligheidsscores te rapporteren, moeten ze hun eigen gegevens testen tegen de specifieke regels van de maatregelen om te voorkomen dat ze een vals gevoel van veiligheid rapporteren. De technologie is klaar, maar de gegevens moeten worden opgeschoond en voorbereid om het ware beeld van de patiëntveiligheid te onthullen.