Implementation Variability Makes Sepsis-3 an Inconsistent Measuring Model for Early AI Prediction on Clinical Data
Dit artikel toont aan dat de variabiliteit in de implementatie van Sepsis-3 definities, met name met betrekking tot vermoedelijke infectie, de reproduceerbaarheid en voorspellende prestaties van AI-modellen aanzienlijk ondermijnt in vergelijking met door experts gevalideerde labels, waardoor transparante rapportage van meetprotocollen noodzakelijk wordt om vergelijkbaarheid in klinisch onderzoek te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggespannen omgeving van een intensive care-afdeling is tijd vaak het verschil tussen leven en dood. Sepsis, een gevaarlijke reactie op een infectie die orgaanfalen kan veroorzaken, is wereldwijd een belangrijke doodsoorzaak in ziekenhuizen. Omdat de conditie snel kan verslechteren, vertrouwen artsen op kunstmatige intelligentie om patiëntendossiers te scannen en het alarm te laten afgaan voordat een patiënt in een crisis terechtkomt. Om deze computersystemen te leren waar ze naar moeten kijken, moeten onderzoekers hen eerst leren wat sepsis eigenlijk is. Hiervoor passen ze een reeks overeengekomen medische regels toe, bekend als Sepsis-3, op de ruwe gegevens in elektronische patiëntendossiers. Deze regels fungeren als een meetlat, die complexe stromen van vitale functies en laboratoriumresultaten omzetten in een eenvoudig label: sepsis of geen sepsis. De hoop is dat als iedereen dezelfde regels gebruikt, de resulterende computermodellen betrouwbaar en vergelijkbaar zullen zijn. Echter, een nieuwe studie suggereert dat deze meetlat veel minder consistent is dan voorheen werd aangenomen, wat ernstige vragen oproept over hoe we de kunstmatige intelligentie trainen die bedoeld is om levens te redden.
Een onderzoeker aan de Universiteit van Heidelberg besloot de betrouwbaarheid van deze regels te onderzoeken door de definitie van sepsis niet te beschouwen als een vaststaand feit, maar als een meetmodel. Hij keek naar hoe verschillende onderzoeksteams, die allemaal beweerden de Sepsis-3-richtlijnen te volgen, deze in de praktijk toepasten op patiëntgegevens. Hij ontdekte dat de richtlijnen ruimte laten voor aanzienlijke interpretatie. Bijvoorbeeld, de regels schrijven voor om te zoeken naar een "vermoedelijke infectie", maar ze specificeren niet precies welke combinatie van antibiotica en laboratoriumtests telt als een vermoeden. Het ene team kan besluiten dat een enkele dosis antibiotica voldoende is, terwijl een ander team een volledige week behandeling vereist. Op dezelfde manier kan de definitie van "orgaanfunctiestoornissen" variëren, afhankelijk van hoe onderzoekers een specifieke score genaamd SOFA berekenen, die bijhoudt hoe goed de organen van een patiënt functioneren. De onderzoeker identificeerde zes verschillende gebieden waar deze keuzes gemaakt kunnen worden, en wanneer hij alle mogelijke variaties combineerde, ontdekte hij dat er meer dan tweeduizend verschillende manieren waren om dezelfde enkele definitie te implementeren.
Om te zien hoeveel deze keuzes ertoe deden, voerde het team een grootschalig experiment uit met gegevens uit drie verschillende ziekenhuisdatabases. Ze namen exact dezelfde patiëntendossiers en pasten elke mogelijke versie van de Sepsis-3-regels erop toe. De resultaten waren opmerkelijk. De verschillende manieren om een vermoedelijke infectie te definiëren waren de grootste bron van onenigheid, gevolgd door hoe onderzoekers bepaalden wanneer sepsis precies begon. In sommige gevallen veranderde de keuze van de regels het uiteindelijke label voor een patiënt volledig. De onderzoeker stelde vast dat deze variaties niet slechts kleine technische details waren; ze introduceerden een niveau van inconsistentie dat het moeilijk maakte om de resultaten van verschillende studies te vergelijken. Een model dat getraind is in het ene ziekenhuis met één set regels, kan fundamenteel verschillen van een model dat getraind is in een ander ziekenhuis met een iets andere set regels, zelfs als beide beweren dezelfde standaard te gebruiken.
De studie ondernam vervolgens een cruciale stap door deze computergegenereerde labels te vergelijken met de oordelen van echte, deskundige artsen. De onderzoeker gebruikte een dataset waarin senior artsen handmatig patiëntendossiers hadden beoordeeld en exact hadden gemarkeerd wanneer zij geloofden dat sepsis begon. Toen hij de diverse computerversies van Sepsis-3 vergeleek met deze menselijke experts, hadden de computermodellen moeite om met de artsen tot overeenstemming te komen. De discrepantie was bijzonder ernstig op het gebied van sensitiviteit, wat betekent dat de computermodellen vaak sepsisgevallen niet identificeerden die de artsen duidelijk hadden opgemerkt. Deze kloof in overeenstemming had een directe impact op de prestaties van de kunstmatige intelligentie. Modellen die getraind waren op de computergegenereerde Sepsis-3-labels presteerden aanzienlijk slechter dan modellen die rechtstreeks op de labels van de deskundige artsen waren getraind. In de ergste gevallen waren de met de computer getrainde modellen tot achttien procentpunt minder nauwkeurig in hun voorspellingen en dertien procentpunten lager in hun vermogen om positieve gevallen correct te identificeren.
De onderzoeker ontdekte dat hij dit prestatiekloof kon verkleinen door de computeregels zorgvuldig af te stemmen op de specifieke manier waarop de lokale experts over de ziekte dachten. Door de definitie van sepsis-ontstaan en infectie af te stemmen op de expertlabels, slaagde hij erin de nauwkeurigheidskloof te verkleinen tot slechts enkele procentpunten. Deze oplossing kwam echter met een prijs. De specifieke regels die het beste overeenkwamen met de oordelen van de experts, waren vaak de regels die sepsis later in het tijdpad identificeerden, wat precies het tegenovergestelde is van wat nodig is voor vroege waarschuwingssystemen. Deze bevinding suggereert dat er geen enkele, perfecte versie van de Sepsis-3-definitie bestaat die voor elk doel werkt. Een regelset die uitstekend is in het voorspellen van wie zal overlijden, kan verschrikkelijk zijn in het vroegtijdig detecteren van de ziekte, en een regelset die past bij de experts van het ene ziekenhuis, kan falen in een ander ziekenhuis.
Uiteindelijk concludeert de studie dat de variabiliteit in de toepassing van deze regels een structureel kenmerk is van de moderne geneeskunde, en geen fout die gemakkelijk kan worden hersteld. De auteur betoogt dat het vakgebied te veel heeft vertrouwd op het idee dat een consensusdefinitie een consistente meting garandeert. In plaats daarvan laat hij zien dat de keuzes gemaakt in de code net zo belangrijk zijn als de data zelf. Voor kunstmatige intelligentie in de gezondheidszorg om betrouwbaar en reproduceerbaar te zijn, moeten onderzoekers stoppen met het behandelen van de definitie van sepsis als een black box. Ze moeten transparant zijn over exact welke versie van de regels ze hebben gebruikt en hoe die regels aansluiten bij de lokale klinische realiteit. Zonder deze helderheid blijft de belofte van AI om de vroege detectie van ziekten te revolutioneren vertroebeld door de onzekerheid over hoe de ziekte zelf wordt gemeten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.