The Logical Structure of Clinical Trial Eligibility Criteria: A Corpus-Scale Measurement of Disjunction in Non-Small-Cell Lung Cancer Trials

Elke klinische studie begint met een lijst met regels. Dit zijn de inclusiecriteria, de specifieke voorwaarden waaraan een persoon moet voldoen om deel te nemen aan een onderzoek. Zij bepalen wie het nieuwe medicijn krijgt en wie niet, en fungeren als de poortwachters van medisch onderzoek. Decennialang hebben wetenschappers en computersystemen die proberen patiënten bij deze studies te matchen, gewerkt vanuit een eenvoudige, stille aanname: dat de regels werken als een checklist waarbij elk afzonderlijk item moet worden afgevinkt. In dit visie is een patiënt alleen in aanmerking als hij voldoet aan conditie A, én conditie B, én conditie C, op hetzelfde moment. Het is een eenvoudige manier om over een complex document na te denken, maar het behandelt de tekst als een platte lijst van vereisten.

De taal van de geneeskunde is echter zelden zo simpel. Artsen schrijven vaak regels die keuzes bieden. Een patiënt mag mogelijk deelnemen als hij type genetische marker A heeft of type B. Iemand kan worden uitgesloten als hij medicijn X, medicijn Y of medicijn Z heeft gebruikt. Dit zijn niet zomaar lijsten; het zijn logische alternatieven. Als een computersysteem deze keuzes negeert en elke optie behandelt als een verplichte vereiste, maakt het een fundamentele fout. Het zou een patiënt kunnen afwijzen die eigenlijk wel in aanmerking komt omdat hij één optie mist die hij niet eens nodig had, of het zou een patiënt kunnen accepteren die uitgesloten had moeten worden omdat het niet zag dat het bezitten van slechts één van de vele slechte condities genoeg was om te worden gediskwalificeerd. Tot nu toe had niemand gemeten hoe vaak deze keuzes daadwerkelijk voorkomen in de enorme archieven van klinische studies.

Een team van onderzoekers zette zich schouder aan schouder om dit puzzelstuk op te lossen door de inclusiecriteria voor niet-kleincellige longkanker te onderzoeken, een belangrijke vorm van de ziekte. Ze verzamelden de gegevens van duizenden studies uit een publiek register en creëerden zo een enorme collectie van bijna 190.000 individuele regels. Om orde te scheppen in deze berg tekst, bouwden ze een nieuw soort hulpmiddel met behulp van geavanceerde kunstmatige intelligentie. Dit hulpmiddel was ontworpen om de logische structuur van elke zin te lezen, waarbij specifiek werd gezocht naar de aanwezigheid van "of"-zinnen — plaatsen waar de regel een alternatieve route biedt. Voordat ze het hulpmiddel met de volledige dataset in vertrouwen namen, testten de onderzoekers het grondig. Ze vergeleken de resultaten met een set regels die zorgvuldig door menselijke experts waren gelabeld, en lieten vervolgens drie onafhankelijke medische professionals een nieuwe, blinde standaard beoordelen. Het hulpmiddel bleek opmerkelijk accuraat te zijn; het kwam bijna perfect overeen met de menselijke experts en bevestigde dat een goedkopere versie van de kunstmatige intelligentie hetzelfde werk kon doen als een duurdere versie.

Toen de onderzoekers dit hulpmiddel toepasten op de volledige collectie longkankercriteria, waren de resultaten opmerkelijk. Ze ontdekten dat de eenvoudige checklist-aanname onjuist was voor bijna de helft van alle regels. In de gevalideerde steekproef uitte 46,2 procent van de individuele criteria een logische keuze in plaats van een enkele vereiste. Dit betekent dat er in bijna elke enkele studie tenminste één regel was die een alternatief bood. Het patroon was nog duidelijker aanwezig in de regels die patiënten uitsloten. Terwijl ongeveer 36 procent van de regels die patiënten toelieten een keuze bood, sloot bijna 57 procent van de regels die patiënten buiten hielden hen uit door meerdere manieren te noemen waarop men gediskwalificeerd kon worden. Als een computersysteem deze uitsluitingsregels leest als een lijst met zaken die een patiënt moet hebben om te worden afgewezen, in plaats van een lijst met zaken die hem zouden kunnen diskwalificeren, creëert het een veiligheidsrisico door mensen toe te laten die er niet in thuishoren.

De studie onthulde ook hoe deze complexiteit in de loop der tijd is veranderd. In de vroege jaren '90, toen de onderzoekers naar de oudste studies keken, bood slechts 18 procent van de regels een keuze aan. Tegen de jaren 2010 was dat aantal ruwweg verdubbeld naar ongeveer 50 procent, waarna het stabiel is gebleven. Deze toename vond plaats, zelfs toen de lengte van de trial-documenten niet drastisch veranderde tijdens de periode waarin de aantallen stegen, wat suggereert dat de regels zelf structureel complexer worden, en niet alleen langer. De onderzoekers merkten op dat dit patroon standhield, ongeacht wie de studie uitvoerde of in welke fase van testen het zich bevond, wat aangeeft dat dit een algemeen kenmerk is van hoe moderne medische protocollen worden geschreven.

De conclusie is dat de manier waarop we momenteel proberen patiënten bij studies te matchen, een fundamentele verschuiving behoeft. Decennialang heeft het vakgebied vertrouwd op methoden die elke regel als een verplichte voorwaarde behandelen. Deze studie laat zien dat die aanpak onjuist gespecificeerd is voor bijna de helft van de criteria en voor bijna elke studie in het register. De fout is niet slechts een klein statistisch probleempje; het heeft reële gevolgen. Wanneer het systeem een keuze in een inclusieregel mist, wijst het patiënten af die hadden kunnen helpen bij de studie. Wanneer het een keuze in een exclusieregel mist, brengt het de veiligheid van deelnemers in gevaar door mensen toe te laten die er niet in thuishoren. De onderzoekers betogen dat voordat we betere systemen kunnen bouwen om patiënten bij studies te matchen, we eerst de logische vorm van de regels zelf moeten meten en begrijpen. Het tijdperk van het behandelen van klinische trial-criteria als een eenvoudige lijst met vereisten is voorbij; de realiteit is een landschap van keuzes dat met zorg moet worden genavigeerd.