Understanding Human AI Discrepancy in Breast Cancer TIL Assessment: A Multi-Rater and Perceptual Bias Study
Diese Studie zeigt, dass die Inter-Pathologen-Übereinstimmung bei der Beurteilung von Brustkrebs-TILs zwar hoch ist, es jedoch erhebliche Diskrepanzen zwischen Pathologen und KI-Modellen gibt, was darauf hindeutet, dass die Integration von KI weiter verfeinert werden muss, um die menschliche Zuverlässigkeit zu erreichen, insbesondere wenn mehrkategoriale Klassifikationen anstelle von dichotomisierten Schwellenwerten verwendet werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Das große Ganze: Das Zählen winziger Eindringlinge
Stellen Sie sich Brustkrebszellen wie eine Festung vor. Innerhalb der Mauern dieser Festung befindens sich winzige „Eindringlinge“ namens Lymphozyten (eine Art von Immunzellen). Ärzte nennen diese tumorinfiltrierende Lymphozyten (TILs).
Betrachten Sie TILs als die „Guten“, die gegen den Krebs kämpfen. Je mehr man von ihnen sieht, desto besser sind die Überlebenschancen und die Chancen auf eine erfolgreiche Behandlung für den Patienten. Um dies zu ermitteln, müssen Pathologen (Spezialisten, die unter dem Mikroskop untersuchen) abschätzen, welcher Prozentsatz des Raums um die Krebszellen herum mit diesen winzigen Eindringlingen gefüllt ist.
Das Problem: Menschen sind schlecht darin, Mengen zu schätzen
Die Studie begann mit einem bekannten Problem: Menschen sind schlecht darin, Zahlen zu erraten, wenn Dinge verstreut sind.
Stellen Sie sich vor, Sie schauen in ein Glas voller Jellybeans. Wenn sie alle in einer Ecke geklumpt sind, können Sie die Anzahl leicht schätzen. Aber wenn die Jellybeans gleichmäßig über das ganze Glas verteilt sind, hat Ihr Gehirn Schwierigkeiten. Sie schätzen vielleicht 20 %, obwohl es eigentlich 40 % sind, oder umgekehrt. Genau das passiert, wenn Ärzte auf Krebs-Gleitbilder schauen. Selbst bei strengen Regeln geben zwei verschiedene Ärzte, die denselben Schliff betrachten, oft unterschiedliche Antworten, weil ihre Gehirne „verstreute Punkte“ unterschiedlich verarbeiten.
Das Experiment: Menschen gegen Roboter
Die Forscher wollten herausfinden, ob Künstliche Intelligenz (KI) einen besseren Job machen kann als Menschen. Sie richteten einen „Geschmackstest“ mit drei menschlichen Pathologen und zwei verschiedenen KI-Modellen auf (nennen wir sie Roboter A und Roboter B).
Sie gaben allen Beteiligten exakt dieselben Mikroskop-Präparate von Brustkrebs und baten sie, den Prozentsatz der „Eindringlinge“ (TILs) zu zählen.
Hier ist, was sie herausfanden:
1. Die Menschen waren sich untereinander einig
Als die drei menschlichen Ärzte die Präparate betrachteten, stimmten sie größtenteils überein. Ihre Werte waren sehr ähnlich.
- Analogie: Es ist wie drei erfahrene Köche, die eine Suppe probieren. Sie benutzen vielleicht nicht exakt denselben Löffel, aber sie sind sich alle einig darüber, ob sie „ein wenig salzig“ oder „sehr salzig“ ist.
2. Die Roboter waren uneinig mit den Menschen
Als die Forscher die Ärzte mit den Robotern verglichen, sank die Übereinstimmung erheblich. Die Roboter und die Menschen gaben oft sehr unterschiedliche Zahlen an.
- Der Twist: Die Roboter waren nicht einfach nur „zufällig“ falsch. Sie hatten eine spezifische Angewohnheit: Sie unterschätzten die Anzahl der Eindringlinge konsequent.
- Analogie: Stellen Sie sich vor, die Ärzte sagen: „Dieses Glas ist zu 40 % mit Jellybeans gefüllt.“ Die Roboter sagen: „Nein, es ist nur zu 25 % gefüllt.“ Die Roboter sahen dasselbe Glas, aber sie sahen weniger Bohnen als die Menschen.
3. Die Roboter waren gut im „Rangfolgen“, aber schlecht im „Zählen“
Obwohl die Roboter die falschen Zahlen lieferten, waren sie tatsächlich ziemlich gut darin, die Reihenfolge zu verstehen.
- Analogie: Wenn Sie drei Gläser mit Jellybeans haben (Klein, Mittel, Groß), konnten die Roboter korrekt sagen, welches das kleinste und welches das größte war. Wenn man sie jedoch fragte, wie viele Bohnen genau in jedem Glas sind, lagen sie weit dane ich.
- Die Daten: Die Studie zeigte, dass die Roboter und die Menschen sich zwar nicht bei der exakten Prozentzahl einig waren, sie aber dennoch übereinstimmten, welche Fälle mehr Lymphozyten und welche weniger hatten.
4. Warum der Unterschied? (Der „Überfülltes Zimmer“-Effekt)
Die Forscher wollten wissen, warum die Roboter und die Menschen uneinig waren. War der Roboter defekt? Oder war das menschliche Gehirn fehlerhaft?
Um dies herauszufinden, führten sie ein spezielles Nebenseitenexperiment durch. Sie zeigten den Ärzten einfache Schwarz-Weiß-Bilder mit weißen Punkten auf schwarzem Hintergrund (die die Lymphozyten imitierten). Die Ärzte mussten schätzen, welcher Prozentsatz des Bildes weiß war.
- Das Ergebnis: Selbst bei diesen einfachen Punkten waren die Ärzte schlecht darin, den genauen Prozentsatz zu schätzen. Ihre Schätzungen variierten stark vom tatsächlichen Wert.
- Das Fazrazit: Die Uneinigkeit liegt nicht nur daran, dass die Roboter schlecht sind. Es liegt daran, dass das menschliche Gehirn Schwierigkeiten hat, die Menge verstreuter Punkte visuell einzuschätzen. Die Roboter führen eine sehr präzise „Pixelzählung“ durch, während Menschen ihr „visuelles Raten“ verwenden, das anfällig für Fehler ist.
Das Fazit
Die Studie kommt zu folgendem Schluss:
- Menschen sind konsistent untereinander: Ärzte stimmen im Allgemeinen über den „Vibe“ des Präparats überein.
- Roboter sind präzise, aber „blind“ für die menschliche Wahrnehmung: Die Roboter zählen jeden einzelnen Punkt perfekt, aber sie kommen zu einer anderen Gesamtzahl als die Menschen, weil Menschen verstreute Punkte anders wahrnehmen.
- Die Roboter unterschätzen derzeit: Die KI-Modelle neigen dazu, weniger Immunzellen anzuzeigen, als die Ärzte vermuten.
Das Wichtigste in Kürze:
Im Moment ist die KI wie ein superpräziser Taschenrechner, der jedes Sandkorn an einem Strand zählt, während der menschliche Arzt eine Person ist, die den Strand betrachtet und das Volumen schätzt. Beide betrachten denselben Strand, aber sie kommen zu unterschiedlichen Zahlen. Bevor wir der KI vertrauen können, die den Arzt zu ersetzen, muss die KI „kalibriert“ werden, um zu verstehen, wie das menschliche Auge diese verstreuten Zellen sieht, oder die Ärzte müssen lernen, dem präzisen Zählen des Roboters gegenüber ihrem eigenen visuellen Schätzen zu vertrauen.
Hinweis: Die Arbeit betont, dass diese Studie ein Test dafür war, wie gut die KI mit menschlichen Ärzten übereinstimmt, und kein Test darüber, ob die KI bereits bereit ist, in Krankenhäusern eingesetzt zu werden. Es ist noch mehr Arbeit nötig, um das Problem der „Unterschätzung“ zu lösen, bevor sie für die echte Patientenversorgung eingesetzt werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.