When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images

Stellen Sie sich vor, Sie versuchen, den Plan einer winzigen, verwinkelten Stadt im Inneren eines menschlichen Kopfes zu zeichnen, aber Sie können ihn nur durch ein beschlagenes Fenster sehen. Dies ist die Welt der medizinischen Bildgebung, speziell einer Technik namens Digitale Subtraktionsangiographie (DSA). Ärzte nutzen DSA, um Bilder von Blutgefäßen im Gehirn aufzunehmen, die wie ein komplexes Netz aus Straßen aussehen. Um Computern zu helfen, zu lernen, diese Karten automatisch zu lesen, müssen Menschen zuerst die Linien der Straßen zeichnen. Dies wird „Segmentierung“ genannt. Normalerweise gehen wir davon aus, dass, wenn ein Experte die Linie zeichnet, diese Zeichnung die perfekte „Wahrheit“ darstellt. Aber was, wenn zwei Experten durch dasselbe beschlagene Fenster schauen und leicht unterschiedliche Linien zeichnen? Was, wenn einer eine winzige Gasse sieht, die der andere übersieht? Diese Arbeit taucht genau in dieses Rätsel ein. Sie stellt eine einfache, aber knifflige Frage: Wenn sich selbst die Experten nicht darüber einig sind, wo sich die Blutgefäße befinden, wie kann man einen Computer lehren, es richtig zu machen? Die Antwort liegt nicht nur in besserem Zeichnen; es geht darum zu verstehen, dass die „Wahrheit“ ein wenig verschwommen sein kann, und dass das in Ordnung ist.

Die Forscher hinter dieser Studie beschlossen, aufzuhören vorzugeben, dass es nur einen perfekten Weg gibt, diese Hirngefäße zu zeichnen. Sie sammelten 66 echte Bilder von Blutgefäßen im Gehirn von Patienten und baten zwei Experten, die Gefäße von Hand nachzuzeichnen. Ein Experte war ein Arzt in Ausbildung mit Spezialisierung auf Gefäßeingriffe, und der andere war ein Wissenschaftler, der weiß, wie man Computern das Sehen beibringt. Wie erwartet, zeichneten die beiden Experten nicht exakt dieselben Linien. Manchmal stimmten sie perfekt überein, aber oft waren sie uneins, besonders bei den winzigsten, dünnsten Gefäßen, die weniger als 1 oder 2 Pixel breit sind. Um herauszufinden, wer „richtig“ lag, rief das Team nicht einfach einen Gewinner aus. Stattdessen brachten sie ein ganzes Gremium aus 11 weiteren Preisrichtern – Ärzte und Wissenschaftler – zusammen, die 100 kleine Bildausschnitte betrachteten und abstimmten, ob ein Gefäß vorhanden war oder nicht.

Die Ergebnisse waren faszinierend und etwas überraschend. Wenn beide ursprünglichen Experten zustimmten, dass ein Gefäß vorhanden war, stimmten die neuen Preisrichter in 90 % der Fälle auch ihnen zu. Aber wenn die Experten uneins waren, war das Gremium gespalten. Wenn Experte A sagte „Gefäß“ und Experte B sagte „kein Gefäß“, stimmten die Preisrichter in 76 % der Fälle Experte A zu. Wenn die Rollen jedoch vertauscht waren, stimmten sie nur in 16 % der Fälle Experte A zu. Dies zeigte, dass die „Grundwahrheit“ keine einzelne, solide Linie ist, sondern eher eine Wolke von Möglichkeiten. Das Team maß auch, wie stark sich die Zeichnungen der Experten überschnitten, indem sie ein spezielles mathematisches Werkzeug namens „clDice“ verwendeten, das prüft, ob die Mitte der gezogenen Linien übereinstimmt. Sie fanden heraus, dass die Experten zwar größtenteils synchron waren, es aber dennoch eine merkliche Lücke gab, insbesondere bei den dünnsten Gefäßen.

Um das Problem dieser winzigen, verschwommenen Linien zu lösen, erfanden die Forscher eine neue Art, die Werte zu berechnen. Die alte Methode war zu streng; wenn eine Linie eines Experten nur ein winziges Stück neben der des anderen lag, brach der Wert ein, selbst wenn beide dasselbe dünne Gefäß betrachteten. Das Team entwickelte ein „modifiziertes clDice“, das wie ein Sicherheitsnetz wirkt. Anstatt zu verlangen, dass die Linien Pixel für Pixel übereinstimmen, fragt es: „Ist die Linie nah genug?“ Sie testeten dies mit verschiedenen „Distanzschwellenwerten“, wie etwa einem unscharfen Rand von 2,5 Pixeln um die Linie herum. Diese neue Methode zeigte, dass die Experten tatsächlich viel stärker übereinstimmten, als die alte, strenge Mathematik vermuten ließ.

Was bedeutet das also alles? Die Arbeit behauptet nicht, das Problem der perfekten Gefäßzeichnung gelöst zu haben. Stattdessen schlägt sie vor, dass wir die Art und Weise ändern müssen, wie wir Computer lehren. Wir sollten sie nicht einfach eine Zeichnung einer Person füttern und sagen: „Das ist die Wahrheit.“ Stattdessen sollten wir sie lehren, die Unsicherheit zu verstehen. Indem wir die Uneinigkeit zwischen Experten als Hinweis nutzen, können wir dem Computer sagen: „Hey, dieser Bereich ist knifflig; vielleicht brauchen wir hier mehr Augen“, oder wir können KI-Modelle bauen, die wissen, wann sie vorsichtig sein müssen. Das Team hat seine Arbeit auch der Welt zur Verfügung gestellt: eine Datenbank mit etwa 2.000 Bildausschnitten mit all diesen verschiedenen Zeichnungen sowie die Open-Source-Software, die sie zur Messung der Unsicherheit verwendet haben. Kurz gesagt: Sie haben bewiesen, dass in der unordentlichen Welt der medizinischen Bildgebung das Eingestehen, dass Experten uneins sind, tatsächlich der erste Schritt zum Bau smarterer, zuverlässigerer Werkzeuge ist.