The Logical Structure of Clinical Trial Eligibility Criteria: A Corpus-Scale Measurement of Disjunction in Non-Small-Cell Lung Cancer Trials

Jede klinische Studie beginnt mit einer Liste von Regeln. Dies sind die Einschlusskriterien, die spezifischen Bedingungen, die eine Person erfüllen muss, um an einer Studie teilzunehmen. Sie bestimmen, wer die neue Behandlung erhält und wer nicht, und fungieren als Torwächter der medizinischen Forschung. Jahrzehntelang operierten Wissenschaftler und Computersysteme, die versuchen, Patienten mit diesen Studien abzugleichen, auf einer einfachen, stillen Annahme: dass die Regeln wie eine Checkliste funktionieren, bei der jedes einzelne Element abgehakt werden muss. In dieser Sichtweise ist ein Patient nur dann teilnahmeberechtigt, wenn er Bedingung A, Bedingung B und Bedingung C gleichzeitig erfüllt. Es ist eine einfache Art, ein komplexes Dokument zu betrachten, aber sie behandelt den Text als eine flache Liste von Anforderungen.

Die Sprache der Medizin ist jedoch selten so einfach. Ärzte schreiben oft Regeln, die Wahlmöglichkeiten bieten. Ein Patient könnte zur Teilnahme zugelassen werden, wenn er einen bestimmten Typ eines genetischen Markers oder einen anderen besitzt. Er könnte ausgeschlossen werden, wenn er Medikament X, Medikament Y oder Medikament Z eingenommen hat. Dies sind nicht bloß Listen; es sind logische Alternativen. Wenn ein Computersystem diese Auswahlmöglichkeiten ignoriert und jede Option als zwingende Anforderung behandelt, begeht es einen grundlegenden Fehler. Es könnte einen Patienten ablehnen, der tatsächlich teilnahmeberechtigt ist, weil dieser eine Option verfehlte, die er nicht erfüllen musste, oder es könnte einen Patienten akzeptieren, der eigentlich ausgeschlossen werden sollte, weil es versäumte zu erkennen, dass das Vorhandensein nur eines von mehreren negativen Merkmalen bereits ausreichte, um die Disqualifikation zu begründen. Bis jetzt hatte niemand gemessen, wie häufig diese Auswahlmöglichkeiten in den gewaltigen Archiven klinischer Studien tatsächlich vorkommen.

Ein Team von Forschern setzte sich daran, dieses Rätsel zu lösen, indem es die Einschlusskriterien für das nicht-kleinzellige Lungenkarzinom untersuchte, eine bedeutende Form der Erkrankung. Sie sammelten die Aufzeichnungen tausender Studien aus einem öffentlichen Register und erstellten so eine massive Sammlung von fast 190.000 einzelnen Regeln. Um aus diesem Berg von Text Sinn zu gewinnen, entwickelten sie ein neues Werkzeug unter Einsatz fortschrittlicher künstlicher Intelligenz. Dieses Werkzeug wurde darauf ausgelegt, die logische Struktur jedes Satzes zu lesen und gezielt nach dem Vorhandensein von „oder“-Aussagen zu suchen – Stellen, an denen die Regel einen alternativen Pfad anbietet. Bevor sie dem Werkzeug das volle Datenset anvertrauten, testeten die Forscher es streng. Sie verglichen seine Arbeit mit einem Satz von Regeln, die sorgfältig von menschlichen Experten etikettiert worden waren, und ließen anschließend drei unabhängige medizinische Fachkräfte eine neue, verblindete Gruppe von Regeln überprüfen, um einen neuen Standard zu schaffen. Das Werkzeug erwies sich als bemerkenswert genau, stimmte fast perfekt mit den menschlichen Experten überein und bestätigte, dass eine günstigere Version der künstlichen Intelligenz dieselbe Aufgabe wie eine teurere erfüllen konnte.

Als die Forscher dieses Werkzeug auf die gesamte Sammlung der Lungenkrebsstudien anwandten, waren die Ergebnisse beeindruckend. Sie fanden heraus, dass die einfache Checklisten-Annahme für fast die Hälfte aller Regeln falsch war. In der validierten Stichprobe drückte fast die Hälfte der einzelnen Kriterien (46,2 Prozent) eine logische Wahlmöglichkeit statt einer einzelnen Anforderung aus. Das bedeutet, dass in fast jeder einzelnen Studie mindestens eine Regel existierte, die eine Alternative anbot. Das Muster war bei den Ausschlussregeln noch ausgeprägter. Während etwa 36 Prozent der Regeln, die Patienten zuließen, eine Wahlmöglichkeit boten, schlossen knapp 57 Prozent der Regeln, die Patienten ausschlossen, diese durch das Auflisten mehrerer Wege zur Disqualifikation aus. Wenn ein Computersystem diese Ausschlussregeln als eine Liste von Dingen liest, die ein Patient haben muss, um abgelehnt zu werden, anstatt als eine Liste von Dingen, die ihn disqualifizieren könnten, schafft dies ein Sicherheitsrisiko, indem Personen zugelassen werden, die eigentlich draußen bleiben sollten.

Die Studie zeigte auch, wie sich diese Komplexität im Laufe der Zeit verändert hat. In den frühen 1990er Jahren, als die Forscher die ältesten Studien betrachteten, boten nur etwa 18 Prozent der Regeln eine Wahlmöglichkeit an. Bis in die 2010er Jahre hatte sich diese Zahl etwa verdoppelt auf rund 50 Prozent, wo sie stabil geblieben ist. Dieser Anstieg erfolgte, obwohl sich die Länge der Studiendokumente in dem Zeitraum, in dem die Zahlen stiegen, nicht dramatisch veränderte, was darauf hindeutet, dass die Regeln selbst strukturell komplexer werden und nicht bloß länger. Die Forscher stellten fest, dass dieses Muster unabhängig davon galt, wer die Studie leitete oder in welcher Phase der Prüfung sie sich befand, was darauf hindeutet, dass dies ein allgemeines Merkmal der Art und Weise ist, wie moderne medizinische Protokolle geschrieben werden.

Die Schlussfolgerung ist, dass die Art und Weise, wie wir derzeit versuchen, Patienten mit Studien abzugleichen, einen grundlegenden Wandel benötigt. Seit Jahrzehnten verlässt sich das Feld auf Methoden, die jede Regel als eine obligatorische Bedingung behandeln. Diese Studie zeigt, dass dieser Ansatz für fast die Hälfte der Kriterien und für fast jede Studie im Register falsch spezifiziert ist. Der Fehler ist nicht nur ein kleiner statistischer Makel; er hat reale Konsequenzen. Wenn das System eine Wahlmöglichkeit in einer Einschlussregel übersieht, weist es Patienten ab, die der Studie hätten helfen können. Wenn es eine Wahlmöglichkeit in einer Ausschlussregel übersieht, gefährdet es die Sicherheit der Teilnehmer, indem es Menschen zulässt, die nicht dabei sein sollten. Die Forscher argumentieren, dass wir, bevor wir bessere Systeme zum Abgleich von Patienten mit Studien bauen können, zuerst die logische Gestalt der Regeln selbst messen und verstehen müssen. Die Ära, in der klinische Studienkriterien als einfache Liste von Anforderungen betrachtet wurden, ist vorbei; die Realität ist eine Landschaft voller Entscheidungen, die mit Vorsicht navigiert werden müssen.