A systematic review of quality control efforts for histopathology annotation

In der Welt der medizinischen Diagnose ist ein Pathologe ein Detektiv, der winzige Gewebeschnitte unter einem Mikroskop untersucht, um Anzeichen von Krankheiten zu finden. Um Computer bei dieser Arbeit zu unterstützen, müssen Wissenschaftler ihnen zuerst tausende dieser Gewebebilder zeigen und dabei sorgfältig Linien um die wichtigen Teile ziehen, um der Maschine beizubringen, worauf sie achten muss. Dieser Prozess des Zeichnens der Linien wird als Annotation bezeichnet. Doch so wie ein Mensch beim Beschriften einer Karte einen Fehler machen kann, kann auch ein Computer oder ein menschlicher Annotator eine Zelle falsch identifizieren oder einen Tumor übersehen. Wenn der Computer aus diesen Fehlern lernt, werden seine zukünftigen Diagnosen fehlerhaft sein. Um dies zu verhindern, nutzen Forscher spezifische Kontrollen und Werkzeuge, um sicherzustellen, dass die Beschriftungen korrekt sind. Diese Kontrollen, bekannt als Qualitätskontrollmaßnahmen, beinhalten Menschen, die die Arbeit überprüfen, während die Werkzeuge, die Qualitätskontrollfunktionen genannt werden, die Schaltflächen und Menüs sind, die es einem Prüfer ermöglichen, eine Beschriftung zu akzeptieren, abzulehnen oder darum zu bitten, sie zu korrigieren. Ohne diese Sicherheitsvorkehrungen könnten die digitalen Pathologen der Zukunft mit fehlerhaften Informationen trainiert werden.

Eine aktuelle systematische Übersichtsarbeit von Olivier Rukundo, einem Forscher an der University of Limerick und der Medizinischen Universität Wien, untersucht eingehend, wie gut diese Sicherheitsnetze derzeit im spezifischen Bereich der Histopathologie, also der Untersuchung von Gewebeproben, eingesetzt werden. Die Studie entwickelte keine neue Software und führte keine neuen Experimente durch; stattdessen fungierte sie als umfassendes Audit bestehender Forschung. Der Autor durchsuchte fünf große wissenschaftliche Datenbanken und warf ein weites Netz, um jede Studie zu finden, die beschrieb, wie die Qualität von Gewebebildbeschriftungen überprüft werden kann. Nachdem er einhunderteinundzwanzig potenzielle Datensätze gefunden hatte, filterte der Forscher diese sorgfältig heraus, indem er Duplikate, Konferenzbeiträge ohne Detailtiefe und Studien, die tatsächlich keine Methode zur Qualitätsprüfung beschrieben, entfernte. Dieser strenge Prozess hinterließ eine finale Gruppe von sechzehn Studien, die die strikten Einschlusskriterien erfüllten.

Die Übersicht sortierte diese sechzehn Studien in drei unterschiedliche Gruppen ein, basierend darauf, was sie boten. Einige Studien konzentrierten sich primlich auf die menschliche Seite der Qualitätskontrolle und schlugen Methoden vor, mit denen Experten die Annotationen überprüfen und korrigieren können. Andere konzentrierten sich auf die Softwareseite und führten digitale Funktionen ein, die Nutzern helfen, zu entscheiden, ob eine Beschriftung gut oder schlecht ist. Eine dritte Gruppe kombinierte beide Ansätze und bot ein System, in dem menschliche Überprüfung und digitale Werkzeuge zusammenarbeiten. Die Ergebnisse zeigten eine klare Spaltung in dem Feld. Insgesamt implementierten 62,5 % der Studien Qualitätskontrollbemühungen für die Annotation von histopathologischen Bildern, während 37,5 % dies nicht taten. Dies deutet darauf hin, dass zwar eine Mehrheit der Forscher sich der Notwendigkeit dieser Sicherheitsvorkehrungen bewusst ist, ein erheblicher Teil der Arbeit in diesem Bereich jedoch weiterhin ohne ein formales System zur Fehlererkennung fortgesetzt wird.

Die Studien, die diese Kontrollen implementierten, zeigten eine Vielzahl von Ansätzen. Einige stützten sich auf die menschliche Zusammenarbeit, bei der Pathologen die Arbeit der jeweils anderen überprüften oder bei der erfahrene Oberärzte die von Junior-Fellows vorgenommenen Annotationen beaufsichtigten. Andere führten Softwarewerkzeuge ein, die als zweites Paar Augen fungierten. Beispielsweise nutzten einige Programme künstliche Intelligenz, um vorzuschlagen, wo eine Struktur gezeichnet werden sollte, was es einem Menschen ermöglichte, den Vorschlag einfach zu akzeptieren oder ihn zu korrigieren, falls er falsch war. Andere Werkzeuge wurden entwickelt, um Inkonsistenzen aufzuspüren, indem sie Bereiche markierten, in denen verschiedene Personen dasselbe Bild unterschiedlich beschriftet hatten, damit eine endgültige Entscheidung getroffen werden konnte. In den fortschrittlichsten Beispielen arbeiteten die Software und der Mensch in einer Schleife zusammen: Der Computer machte einen Vorschlag, der Mensch überprüfte ihn, und das System zeichnete auf, ob der Mensch die Änderung akzeptierte oder ablehnte, wodurch ein kontinuierlicher Verbesserungsprozess entstand.

Trotz der Fortschritte, die in der Mehrheit der untersuchten Studien gezeigt wurden, hebt die Übersicht hervor, dass das Feld noch nicht einheitlich ist. Die Tatsache, dass über ein Drittel der eingeschlossenen Studien diese Qualitätskontrollbemühungen nicht implementierte, deutet darauf hin, dass viele Projekte ihre Datensätze möglicherweise immer noch ohne eine robuste Methode zur Verifizierung der Genauigkeit aufbauen. Die Übersicht behauptet nicht, dass das Problem gelöst sei oder dass eine einzige perfekte Methode existiere. Stattdessen bildet sie die aktuelle Landschaft ab und zeigt, dass zwar viele Forscher aktiv Wege entwickeln, um die Sauberkeit ihrer Daten zu gewährleisten, es aber dennoch eine Lücke in der Anwendung gibt. Die Arbeit dient als Erinnerung daran, dass für die Fähigkeit von Computtern, zuverlässige Partner in der medizinischen Diagnose zu werden, die menschliche Anstrengung bei der Beschriftung der Trainingsdaten durch konsistente, strenge Kontrollen unterstützt werden muss – egal, ob diese Kontrollen von einem erfahrenen Pathologen oder einem digitalen Werkzeug stammen, das darauf ausgelegt ist, einen Fehler aufzuspüren.