Label-free, low-cost AI ranking for systematic review screening

Jedes Jahr verlassen sich Ärzte und Forscher auf systematische Übersichtsarbeiten, um die riesige Flut an medizinischen Studien zu bewältigen. Diese Übersichtsarbeiten sind das Fundament klinischer Leitlinien und sagen den Praktikern, welche Behandlungen wirken und welche nicht. Die Erstellung einer solchen Arbeit ist jedoch ein mühsamer, langsamer Prozess, der über ein Jahr von Anfang bis Ende dauern kann. Der erschöpfendste Teil ist dabei nicht die Analyse, sondern das Screening: Ein Team aus menschlichen Experten muss tausende Titel und Abstracts lesen und eine nach der anderen entscheiden, ob jede Studie relevant genug ist, um sie im Volltext zu lesen. Es ist eine Aufgabe, die intensive Konzentration erfordert und eine enorme Menge an menschlicher Zeit verbraucht, was oft verhindert, dass lebensrettende Informationen die Menschen erreichen, die sie benötigen.

Seit Jahren versuchen Wissenschaftler, Computer einzusetzen, um bei dieser Sortierung zu helfen, in der Hoffnung, die vielversprechendsten Studien zuerst anzuzeigen, damit Menschen früher mit dem Lesen aufhören können. Aber diese Werkzeuge erfordern meist, dass ein Mensch hunderte Beispiele kennzeichnet, bevor sie lernen können, wie sie arbeiten sollen, und sie haben Schwierigkeiten zu wissen, wann es sicher ist, mit dem Lesen aufzuhören. Vor kurzem sind leistungsstarke neue Modelle der künstlichen Intelligenz aufgetaucht, die Texte verstehen können, ohne dass ein vorheriges Training zu spezifischen medizinischen Themen erforderlich ist. Die Frage, vor der Forscher standen, war, ob diese neuen Werkzeuge als ein günstiger, schneller und präziser Filter fungieren könnten, um diese massiven Listen von Studien zu organisieren, noch bevor ein einzlscher Mensch sie berührt.

In einer kürzlich durchgeführten Studie testete ein Team der Indiana University School of Medicine eine neue Art von künstlicher Intelligenz namens Jev gegen genau diese Herausforderung. Sie baten die KI nicht, die Studien zu lesen und eine endgültige Entscheidung zu treffen; stat stattdessen baten sie sie lediglich darum, sie zu ranken. Das Ziel war zu sehen, ob die KI in der Lage ist, eine Liste von fast 170.000 Datensätzen aus 128 verschiedenen medizinischen Übersichtsarbeiten so anzuordnen, dass die relevantesten Studien ganz oben erscheinen, ohne dass die KI jemals ein einziges von Menschen gekennzeichnetes Beispiel aus diesen spezifischen Übersichtsarbeiten gesehen hat. Die Forscher verglichen dieses neue Werkzeug mit älterer, kostenloser Software und mit einigen der fortschrittlichsten, teuren generativen KI-Modelle, die verfügbar sind.

Die Ergebnisse zeigten, dass die neue KI bei ihrer Aufgabe bemerkenswert effektiv war. Als die Forscher die Datensätze von der KI sortieren ließen, platzierte sie die relevanten Studien viel weiter oben auf der Liste, als es die beste kostenlose Software konnte. Tatsächlich übertraf sie die kostenlosen Tools in jeder der getesteten Übersichtsarbeiten. Im Vergleich zu den leistungsfähigsten generativen KI-Modellen kam das neue Werkzeug sehr nah heran und lag nur knapp hinter dem Spitzenreiter, erreichte dies jedoch zu einem Bruchteil der Kosten. Während die fortschrittlichsten Modelle etwa vierzehn Dollar und fünfundsechzig Cent pro tausend Datensätze kosteten, kostete dieses neue Werkzeug nur zwei Cent für dieselbe Aufgabe. Es war nicht nur billiger, sondern auch schneller und genauer als andere Mittelklassemodelle, die signifikant mehr kosteten.

Die Forscher untersuchten dann, wie dieses Ranking mit menschlicher Arbeit kombiniert werden kann, um Zeit zu sparen. Sie fanden heraus, dass Menschen die Liste schneller relevante Studien finden würden, wenn sie in der von der KI vorgeschlagenen Reihenfolge lesen würden, als wenn sie in einer zufälligen Reihenfolge oder mit älteren Sortierungsmethoden lesen würden. Durch die Verwendung des Rankings der KI als Ausgangspunkt und das anschließende Hinzufügen von menschlichem Feedback während des Prozesses berechnete das Team, dass sie eine beträchtliche Menge an Lesezeit einsparen könnten, während sie dennoch fast alle wichtigen Studien finden würden. Es zeigte sich jedoch auch eine entscheidende Einschränkung: Während die KI die Liste hervorragend sortieren konnte, konnte sie dem Team nicht zuverlässig sagen, wann es mit dem Lesen aufhören sollte.

Da die Scores der KI nicht perfekt kalibriert waren, um die exakte Wahrscheinlichkeit vorherzusagen, dass eine Studie relevant ist, erwies sich das Festlegen eines festen Schwellenwerts zum Beenden des Lesens als riskant. In einigen Fällen führte die Verwendung eines einfachen Score-Schwellenwerts dazu, dass das Team wichtige Studien übersah, die hätten einbezogen werden müssen. Die Forscher fanden heraus, dass der einzige Weg, sicher aufzuhören, darin bestand, so lange weiterzulesen, bis eine statistische Prüfung bestätigte, dass sie wahrscheinlich alle relevanten Studien gefunden hatten. Das bedeutet, dass die KI ein exzellentes Werkzeug ist, um die Arbeit zu organisieren und den Menschen zu zeigen, wo sie zuerst suchen sollen, aber sie kann noch nicht das menschliche Urteilsvermögen ersetzen, das nötig ist, um zu entscheiden, wann die Suche wirklich abgeschlossen ist.

Letztendlich zeigt diese Arbeit, dass eine kostengünstige, label-freie KI die Effizienz des medizinischen Screenings drastisch verbessern kann. Sie bietet eine Möglichkeit, eine qualitativ hochwertige Lesereihenfolge ab dem ersten Datensatz zu erhalten, was Teams davor bewahrt, tausende irrelevante Studien lesen zu müssen, bevor sie die wenigen finden, die zählen. Obwohl sie nicht das gesamte Problem löst, wann man aufhören muss, bietet sie einen leistungsstarken, kostengünstigen Ausgangspunkt, der die darauffolgende menschliche Arbeit wesentlich fokussierter und effektiver macht. Für das Feld der evidenzbasierten Medizin stellt dies einen bedeutenden Schritt dar, um die Erstellung klinischer Leitlinien schneller und weniger belastend zu gestalten und sicherzustellen, dass das beste medizinische Wissen die Patienten früher erreicht.