Sensitivity of image-derived wound-healing proxies to sparse visit schedules and image framing: a retrospective multi-dataset audit

Stellen Sie sich vor, Sie versuchen, den Fortschritt einer Gartenpflanze über mehrere Monate hinweg zu verfolgen. Sie machen jede Woche ein Foto, um zu sehen, ob sie höher wächst oder ob ihre Blätter grüner werden. Aber hier ist der Haken: Manchmal machen Sie das Foto aus der Ferne, manchmal zoomen Sie nah heran, und manchmal vergessen Sie, eine ganze Woche lang ein Bild zu machen. Wenn Sie sich dann nur die Fotos ansehen, könnten Sie denken, die Pflanze sei über Nacht plötzlich einen Fuß gewachsen, weil Sie herangezoomt haben, oder Sie könnten denken, sie sei stehen geblieben, weil Sie die Woche verpasst haben, in der sie tatsächlich ein neues Blatt ausgetrieben hat. Dies ist die knifflige Welt der „Longitudinalen Bildgebung“ – die Verwendung einer Serie von Bildern über die Zeit hinweg, um Veränderungen zu messen. In der Medizin machen Ärzte dies bei Wunden, wie etwa diabetischen Fußgeschwüren, in der Hoffnung, dass eine schrumpfende Wunde auf einem Foto bedeutet, dass der Patient heilt. Aber um diesen Fotos zu vertrauen, müssen Sie wissen, ob der Kamerawinkel, der zeitliche Abstand zwischen den Aufnahmen oder das Computerprogramm, das das Bild analysiert, Sie täuscht. Wenn der Computer schlecht darin ist, die Wunde zu erkennen, oder wenn die Fotos aus seltsamen Winkeln aufgenommen wurden, könnte die „Heilung“ nur eine Illusion sein, die durch die Kamera erzeugt wurde, nicht durch den Körper.

Dieses Papier ist wie eine Detektivgeschichte, in der zwei Forscher, Lifang Liu und Hongyu Jin, beschlossen, die „Detektive“ (die Computerprogramme) und die „Beweise“ (die Fotos) zu prüfen, bevor sie einem Patienten seine Heilungsgeschichte anvertrauen. Sie haben kein neues Werkzeug gebaut, um vorherzusagen, wer gesund wird; stattdessen nahmen sie bestehende Werkzeuge und bestehende Fotoarchive und fragten: „Wie leicht lassen sich diese Werkzeuge verwirren?“ Sie testeten drei verschiedene Dinge. Erstens prüften sie, ob ein Computerprogramm in der Lage ist, die Umrisse einer Wunde in einem Foto genau nachzuzeichnen. Zweitens betrachteten sie eine Reihe von Patientenfotos, bei denen die Besuche zeitlich weit auseinander lagen (spärlich), um zu sehen, ob das Fehlen eines Besuchs die Geschichte darüber veränderte, wann die Wunde heilte. Drittens testeten sie, ob eine andere Art von „Computergehirn“ die Reihenfolge der Heilung besser erraten konnte als nur die Messung der Wüstengröße, und ob das Heran- oder Herauszoomen auf den Fotos das Ergebnis veränderte.

Hier ist, was sie fanden, und es ist eine Geschichte nach dem Motto „Vorsicht beim Kauf“.

Die Zeichenfähigkeiten des Computers
Die Forscher begannen, indem sie ein herkömmliches Computerprogramm (ein „Segmentierungswerkzeug) testeten, das dazu bestimmt ist, automatisch die Umrisse einer Wunde zu zeichnen. Auf einem Testdatensatz von 200 Bildern lieferte das Programm etwa 71,5 % der Zeit die durchschnittliche Umrisszeichnung korrekt. Das klingt ganz ordentlich, aber die Realität war chaotisch. Für einige Bilder war das Programm perfekt (100 % richtig), aber für andere versagte es völlig (0 % richtig). Es ist wie ein Schüler, der an einem Tag eine Eins plus in einer Mathearbeit schreibt und am nächsten Tag eine Null. Die Forscher versuchten auch, ein neues, einfacheres Computerprogramm von Grund auf neu zu trainieren, aber dieses schnitt sogar noch schlechter ab. Die große Erkenntnis hierbei ist, dass der Durchschnittswert zwar passabel aussieht, das Programm jedoch bei jedem einzelnen Foto unzuverlässig ist. Wenn Sie sich darauf verlassen, dass es Ihnen sagt, ob eine bestimmte Wunde heilt, erhalten Sie vielleicht nur einen Glückstreffer oder einen totalen Fehlschlag.

Das Problem der „fehlenden Besuche“
Als Nächstes betrachteten sie eine Gruppe von Patienten, bei denen Wundfotos über einen Zeitraum hinweg aufgenommen wurden. Einige Patienten hatten viele Besuche, andere jedoch sehr wenige (spärliche Zeitpläne). Die Forscher fragten: „Wenn wir so tun, als hätten wir einen der mittleren Besuche verpasst, ändert das die Vorstellung davon, wann die Wunde geheilt ist?“ Sie definierten „Heilung“ als das Schrumpfen der Wunde um 20 %, 30 % oder 50 %.
Die Antwort war überraschend. Ob eine Wunde tatsächlich die 20 %- oder 50 %-Schrumpfungsmarke erreicht hat, änderte sich durch das Löschen eines Besuchs nicht wesentlich. Jedoch änderte sich massiv, wann der Computer glaubte, dass dieser Punkt erreicht wurde. Stellen Sie sich vor, ein Läufer überquert die Ziellinie. Wenn Sie das Foto verpassen, in dem er sie überquert, könnten Sie denken, er hätte sie fünf Minuten früher oder später überquert als tatsächlich geschehen. In dieser Studie änderte das Löschen eines einzigen Besuchs das „Überquert-Intervall“ (das Zeitfenster, in dem die Heilung stattfand) in etwa der Hälfte der Szenarien. Es änderte normalerweise nicht, ob die Wunde heilte, aber es machte den Zeitplan sehr unscharf. Wenn Sie nur wenige Fotos haben, können Sie nicht sicher sein, wann genau die Heilung stattfand, sondern nur, dass sie irgendwann zwischen zwei Fotos geschah.

Die „Zoom“-Falle
Die Forscher spielten dann ein Spiel des „Zoomens“. Sie nahmen dieselben Fotos und zoomten digital heran (1,2x) oder zoomten heraus (0,8x), um zu sehen, wie sich dies auf die Messungen auswirkte.
Als sie herangezoomt hatten, änderte sich die Messung der Wundgröße durch den Computer (die sogenannte „Occupancy“) signifikant. Die „Übereinstimmung“ zwischen der herangezoomten Messung und der ursprünglichen sprang um etwa 15 % an. Das bedeutet nicht, dass das Zoomen die Messung besser gemacht hat; es bedeutet, dass das Zoomen das Bild so sehr verändert hat, dass der Computer eine andere Wundgröße sah. Es ist wie beim Blick auf eine Landkarte: Wenn man hineinzoomt, sieht ein kleines Dorf riesig aus, aber es ist immer noch dasselbe Dorf. Das „schlaue“ Gehirn des Computers (ein CNN) war beim Zoomen etwas stabiler, aber es war nicht besser darin, die Reihenfolge der Heilung vorherzusagen, als die einfache Größenmessung. Tatsächlich war die einfache Größenmessung genauso gut, wenn nicht sogar besser, darin, die Heilungsstadien zu ordnen.

Das Fazbeispiel
Das Papier kommt zu dem Schluss, dass wir diesen bildbasierten Werkzeugen noch nicht vertrauen können, um eigenständig präzise medizinische Vorhersagen zu treffen. Die Computerprogramme sind zu instabil bei einzelnen Fotos, fehlende Besuche machen den Zeitplan unscharf und einfaches Rein- oder Herauszoomen verändert die Zahlen. Die Forscher fanden heraus, dass eine ausgeklügelte KI keinen zusätzlichen Wert gegenüber der bloßen Messung der Wundgröße bot, und dass die Größenmessung selbst sehr empfindlich darauf reagiert, wie das Foto aufgenommen wurde.

Um diese Werkzeuge für echte Patienten zuverlässig zu machen, sagen die Autoren, dass wir drei Dinge brauchen: ein besseres „Ground Truth“ (von Experten gezeichnete Karten der Wunden, um den Computer zu überprüfen), standardisierte Fotos (jeder macht die Fotos auf die gleiche Weise mit demselben Zoom) und mehr Patienten zum Testen. Bis dahin sind diese aus Bildern abgeleiteten Zahlen interessante Hinweise, aber sie sind keine fertige Geschichte. Sie sind eine Erinnerung daran, dass in der Welt der medizinischen Fotos die Kamera und der Computer genauso wichtig sind wie die Wunde selbst.