Ten Deployment Anti-Patterns and an Implementation Framework for Centralized Monitoring under ICH E6(R3)

In de uitgestrekte, risicovolle wereld van klinische trials, waar nieuwe medicijnen worden getest op duizenden mensen, is het primaire doel om te waarborgen dat de verzamelde gegevens eerlijk, nauwkeurig en veilig zijn. Decennialang was de standaardmethode om dit werk te controleren het sturen van menselijke controleurs naar de fysieke locaties waar patiënten werden behandeld, waarbij zij papieren dossiers en computergegevens één voor één controleerden. Deze methode was grondig, maar traag, duur en miste vaak subtiele patronen die pas zichtbaar werden wanneer men naar de gegevens van alle locaties tegelijkertijd keek. Er vindt nu een grote verschuiving plaats, gedreven door nieuwe wereldwijde regels die sponsors verplichten om gebruik te maken van "risicogebaseerd kwaliteitsmanagement". Deze aanpak vraagt teams om hun aandacht te richten op de plekken waar het risico het hoogst is, in plaats van alles gelijkmatig te controleren. Een cruciaal onderdeel van deze verschuiving is "gecentraliseerde monitoring", waarbij computers worden gebruikt om alle gegevens van een trial gelijktijdig te scannen, op zoek naar ongebruikelijke patronen die kunnen wijzen op fraude, veiligheidsproblemen of fouten. Echter, alleen omdat een computer de gegevens kan scannen, betekent dit niet dat de computer blindelings vertrouwd moet worden. Als de instrumenten verkeerd worden gebruikt, kunnen ze valse alarmen veroorzaken, echte problemen verbergen of zelfs het systeem misleiden door te doen voorkomen dat alles in orde is, terwijl dat niet zo is.

Twee onderzoekers, Naganathan Muthuramalingam en Saad Aljohani, zijn ingestapt om de kloof te overbruggen tussen complexe wiskundige theorieën en de praktische realiteit van het uitvoeren van een klinische trial. Zij hebben een gids geproduceerd die ontworpen is voor de datawetenschappers en klinische teams die deze monitoringsystemen daadwerkelijk moeten bouwen en uitvoeren. Hun werk vindt geen nieuwe wiskunde uit; in plaats daarvan fungeert het als een vertaler die bestaande methoden neemt en uitlegt wanneer ze werken, wanneer ze falen en hoe men tien specifieke manieren kan vermijden waarop deze systemen fout kunnen gaan. De auteurs stellen dat het grootste gevaar niet een gebrek aan technologie is, maar het voortijdige gebruik van technologie in situaties waarin deze niet correct kan functioneren. Zij bieden een helder stappenplan voor organisaties, zodat wordt gewaarborgd dat de overstap naar geautomatiseerde monitoring de integriteit van medisch onderzoek versterkt in plaats van verzwakt.

De kern van hun werk is een framework dat teams helpt de juiste tool voor de klus te kiezen. Zij identificeren vier hoofdaanpakken, of "paradigma's", die momenteel klaar voor gebruik zijn. De eerste kijkt naar vreemde individuele records, zoals een patiënt wiens gegevens er compleet anders uitzien dan die van de rest. De tweede richt zich op veiligheidssignalen, waarbij wordt gelet op zeldzame maar gevaarlijke bijwerkingen terwijl ze plaatsvinden. De derde volgt hoe de gezondheid van een patiënt in de loop van de tijd verandert om toekomstige risico's te voorspellen. De vierde monitort de snelheid en kwaliteit van de dagelijkige operaties van de trial. De auteurs benadrukken dat deze tools niet uitwisselbaar zijn. Het gebruiken van een tool die ontworpen is voor het volgen van langetermijngezondheidstrends in een kleine, korte trial, is als het proberen te besturen van een auto met een stuur dat alleen werkt bij hoge snelheden; de technologie is misschien deugdelijk, maar de context maakt het nutteloos. Zij waarschuwen expliciet tegen het inzetten van deze systemen wanneer de gegevens rommelig zijn, de trial te klein is, of de locaties te weinig zijn om een betrouwbare basislijn te bieden.

Misschien wel de meest significante bijdrage van dit artikel is de gedetailleerde catalogus van tien "anti-patronen", wat veelvoorkomende fouten zijn die de gehele monitoringinspanning ondermijnen. Een van de meest kritieke fouten betreft "temporele datalekken" (temporal data leakage), waarbij een computermodel per ongeluk informatie uit de toekomst gebruikt om het verleden te voorspellen, wat een vals gevoel van nauwkeurigheid creëert. Een andere gevaarlijke fout is "p-hacking", waarbij teams zoveel verschillende tests op de gegevens uitvoeren dat ze uiteindelijk een patroon vinden dat belangrijk lijkt, maar in werkelijkheid slechts willekeurige ruis is. De auteurs wijzen ook op een subtiele valstrik genaamd "zelfvervullende feedbackloops", waarbij locaties hun gedrag aanpassen simpelweg omdat ze weten dat ze in de gaten worden gehouden, wat de monitoring vervolgens doet denken dat het probleem is verdwenen, terwijl het slechts is verborgen.

Onder deze tien valkuilen identificeren de auteurs er één als de meest operationeel ernstige: het verminderen van het aantal menselijke controles ter plaatse zonder dat er een robuust computersysteem aanwezig is om deze te vervangen. Zij citeren een enorme sectorenquête onder bijna 5.000 trials, die vond dat tussen de 8 en 18 procent van de nieuwe studies menselijke locatiebezoeken terugschroefde zonder eerst een degelijk gecentraliseerd monitoring-veiligheidsnetwerk te vestigen. Dit creëert een gevaarlijke kloof waar risico's onopgemerkt blijven. De auteurs benadrukken dat elke vermindering in menselijk toezicht direct gekoppeld moet zijn aan een gedocumenteerd plan voor computergestuurde surveillance. Als het computersysteem niet klaar is, moeten de menselijke monitors blijven.

Om deze systemen veilig te gebruiken, schetst het artikel een "Human-in-the-Loop"-ontwerp. Dit betekent dat een computerwaarschuwing nooit automatisch een sanctie of actie tegen een onderzoekslocatie mag triggeren zonder dat eerst een menselijke expert dit heeft beoordeeld. Het systeem moet uitleggen waarom het een alarm heeft geslagen, door de specifieke datapunten te tonen die de bezorgdheid veroorzaakten, zodat de menselijke beoordelaar de logica kan begrijpen. De auteurs suggereren een geleidelijke uitrol, waarbij nieuwe computerwaarschuwingen een tijdje naast traditionele controles draaien om vertrouwen op te bouwen en het systeem te kalibreren voordat ze zelfstandig beslissingen mogen nemen. Zij stellen ook een gelaagde aanpak voor voor organisaties met minder middelen, waarbij zij suggereren dat zelfs kleinere teams kunnen beginnen met eenvoudige, begrijpelijke statistische methoden voordat ze overgaan naar complexere kunstmatige intelligentie.

Het artikel maakt zorgvuldig onderscheid tussen wat klaar is voor gebruik en wat nog slechts onderzoek is. Hoewel er enthousiasme is over het gebruik van geavanceerde taalmodellen om ongestructureerde aantekeningen te lezen of forensische technieken om digitale vingerafdrukken van fraude te detecteren, stellen de auteurs duidelijk dat deze methoden een gebrek hebben aan de noodzakelijke bewijslast voor betrouwbaarheid in echte trials. Het zijn onderzoeksfronten, geen productietools. De gids behandelt ook het regelgevend landschap, waarbij wordt opgemerkt dat hoewel nieuwe regels van wereldwijde gezondheidsautoriteiten deze methoden aanmoedigen, zij nog geen stapsgewijze handleiding voor implementatie bieden. Het framework van de auteurs wordt aangeboden als een werkbare gids om dat gat te vullen, om teams te helpen de overgang van handmatige controles naar slimme, risicogebaseerde monitoring te navigeren.

Uiteindelijk is dit werk een oproep tot voorzichtigheid en helderheid. Het herinnert de wetenschappelijke gemeenschap eraan dat het doel van gecentraliseerde monitoring niet is om menselijk oordeel te vervangen door algoritmen, maar om menselijk toezicht te versterken met betere data. Door de tien specifieke vallen die zij hebben geïdentificeerd te vermijden en hun gestructureerde pad voor implementatie te volgen, kunnen sponsors en onderzoeksorganisaties ervoor zorgen dat het nieuwe tijdperk van klinische trials veilig, transparant en betrouwbaar blijft. Het framework belooft geen magische oplossing, maar biedt een solide fundament voor het bouwen ervan, om te garanderen dat de verschuiving naar digitale monitoring de basis van medische ontdekking versterkt.