CHARMS and PROBAST+AI: an updated template for Data Extraction and Risk of Bias Assessment in systematic reviews of prediction models

In der modernen medizinischen Landschaft verlassen sich Ärzte zunehmend auf mathematische Werkzeuge, um die zukünftige Gesundheit eines Patienten vorherzusagen. Diese Werkzeuge, bekannt als klinische Vorhersagemodelle, analysieren die Symptome, Testergebnisse und die Krankengeschichte einer Person, um die Wahrscheinlichkeit einer Krankheit oder den Erfolg einer Behandlung abzuschätzen. Jahrelang haben Forscher Standard-Statistikmethoden verwendet, um diese Modelle zu erstellen, aber das Feld wandelt sich rasant. Heute werden leistungsstarke Computersysteme, die in der Lage sind, aus riesigen Datenmengen zu lernen – oft als künstliche Intelligenz bezeichnet –, eingesetzt, um noch komplexere Vorhersagen zu treffen. Während diese neuen Methoden großes Versprechen in sich tragen, führen sie auch neue Wege ein, auf denen Fehler einschleichen können. Ein Modell kann so wirken, als würde es mit den Daten, mit denen es trainiert wurde, perfekt funktionieren, aber bei der Anwendung auf echte Patienten kläglich versagen – ein Problem, das oft dadurch verursacht wird, dass der Computer „die Antworten sieht, bevor die Prüfung beginnt“, indem er die Antworten vor dem Test sieht. Um sicherzustellen, dass diese Werkzeuge sicher und zuverlässig sind, müssen Wissenschaftler jeden Schritt ihrer Erstellung und Prüfung streng kontrollieren. Dieser Prozess wird als systematischer Review bezeichnet, bei dem Experten alle verfügbaren Studien zu einem Thema sammeln und deren Qualität anhand strenger Checklisten bewerten.

Die Herausforderung für diese Reviewer bestand darin, dass die Regeln für die Überprüfung alter statistischer Modelle die Besonderheiten moderner künstlicher Intelligenz nicht vollständig berücksichtigten. Ein Team von Forschern der University of Glasgow und der Arab American University hat diese Lücke geschlossen, indem sie ein neues, aktualisiertes digitales Werkzeug entwickelt haben, das diese kritische Arbeit optimiert. Sie haben eine bestehende Tabellenkalkulationsvorlage, die bereits zur Organisation von Daten und zur Überprüfung von Verzerrungen verwendet wurde, grundlegend überarbeitet, um sie an die neuesten Richtlinien zur Bewertung künstlicher Intelligenz anzupassen. Das Ergebnis ist eine anspruchsvolle und dennoch benutzerfreundliche Excel-Datei, die es Forschern ermöglicht, die Bewertung der Modellbildung von der Bewertung der Modellprüfung zu trennen. Diese Unterscheidung ist entscheidend, da ein Modell mit hochwertigen Daten erstellt, aber anschließend auf eine unzureichende Weise getestet werden kann, oder umgekehrt. Durch die Trennung dieser beiden Bewertungen stellt das neue Werkzeug sicher, dass Reviewer subtile Mängel nicht übersehen, die ein medizinisches Vorhersagewerkzeug gefährlich oder nutzlos machen könnten.

Die Kerninnovation dieser neuen Vorlage ist ihre Fähigkeit, mit den spezifischen Fallstricken des maschinellen Lernens umzugehen, ohne dass der Reviewer ein Informatiker sein muss. Die Tabellenkalkulation enthält nun spezifische Fragen dazu, ob der Computer während der Trainingsphase die Testdaten einsehen durfte, ein Fehler, der als „Data Leakage“ (Datenleck) bekannt ist. Es wird zudem gefragt, ob die Forscher das Modell korrekt angepasst haben, falls die verwendeten Daten eine ungleiche Mischung aus gesunden und kranken Menschen aufwiesen – ein häufiges Problem, das die Ergebnisse verzerren kann. Darüber hinaus prüft das Werkzeug, ob der gesamte Prozess der Modellbildung bei der Testung korrekt wiederholt wurde, um sicherzustellen, dass die endgültigen Zahlen die Realität widerspiegeln und kein zufälliger Ausreißer sind. Diese Fragen sind direkt in die Tabellenkalkulation eingewoben, sodass das Tool automatisch hervorhebt, an welcher Stelle eine Studie möglicherweise fehlerhaft war, während der Reviewer die Informationen eingibt.

Was dieses Werkzeug besonders leistungsfähig macht, ist die Art und Weise, wie es den Informationsfluss verwaltet. Anstatt den Reviewer dazu zu zwingen, ständig zwischen verschiedenen Dokumenten hin und her zu blättern, um dieselbe Information zu finden, verknüpft die Tabellenkalkulation alles miteinander. Wenn ein Reviewer Details über die Teilnehmer einer Studie oder die verwendeten Daten in einem Abschnitt eingibt, erscheint diese Information automatisch in den Abschnitten, in denen die Qualität des Modells beurteilt wird. Dies reduziert die Gefahr menschlicher Fehler und spart erhebliche Zeit. Das Tool ist darauf ausgelegt, bis zu dreißig verschiedene Vorhersagemodelle in einer einzigen Datei zu verarbeiten, was es für groß angelegte Reviews geeignet macht. Während der Reviewer die Checkliste durcharbeitet, erstellt die Tabellenkalkulation automatisch Zusammenfassungstabellen und Diagramme, die genau zeigen, wie viele Modelle die Qualitätsprüfungen bestanden haben und wie viele durchgefallen sind. Diese visuellen Zusammenfassungen aktualisieren sich sofort und geben dem Forschungsteam ein klares, Echtzeit-Bild der vorliegenden Evidenz.

Die Forscher betonen, dass dieses Werkzeug nicht auf künstliche Intelligenz beschränkt ist; es funktioniert ebenso gut für traditionelle statistische Modelle. Diese Universalität ist entscheidend, da viele medizinische Reviews heute eine Mischung aus alten und neuen Methoden beinhalten. Indem es einen einzigen, standardisierten Rahmen bietet, stellt das Tool sicher, dass ein Modell, das mit einer einfachen Gleichung erstellt wurde, nach denselben strengen Maßstäben beurteilt wird wie eines, das auf einem komplexen neuronalen Netzwerk basiert. Die Tabellenkalkulation steht jedem zum Download und zur Nutzung kostenlos zur Verfügung und arbeitet ohne die Notwendigkeit komplexer Programmiercodes, was sie für Forscher zugänglich macht, die über keine fortgeschrittenen technischen Fähigkeiten verfügen. Die Autoren merken an, dass das Tool zwar die schwere Arbeit der Datenorganisation und Berechnung automatisiert, aber das menschliche Urteilsvermögen nicht ersetzt. Der Reviewer muss die Antworten dennoch interpretieren und entscheiden, was sie für die Sicherheit und Zuverlässigkeit des medizinischen Werkzeugs bedeuten.

Letztendlich stellt diese aktualisierte Vorlage einen bedeutenden Fortschritt in der Art und Weise dar, wie medizinische Evidenz gesammelt und verifiziert wird. Sie erkennt an, dass sich die Landschaft der medizinischen Vorhersage verändert, und bietet die notwendige Infrastruktur, um Schritt zu halten. Durch die Trennung der Bewertung der Modellerstellung von der Bewertung der Modellprüfung und durch die Hinzufügung spezifischer Kontrollen für die einzigartigen Risiken der künstlichen Intelligenz hilft das Werkzeug dabei, sicherzustellen, dass die Vorhersagemodelle, die die Patientenversorgung leiten, auf einem soliden Fundament stehen. Die Forscher hoffen, dass sie durch die Vereinfachung und Konsistenzprüfung dieser Modelle gründlichere Reviews fördern und letztendlich zu sichereren und effektiveren medizinischen Werkzeugen für Patienten weltweit führen werden.