💻 computer science

DALPHIN: Benchmarking Digital Pathology AI Copilots Against Pathologists on an Open Multicentric Dataset

Die Studie stellt DALPHIN vor, den ersten offenen multizentrischen Benchmark für KI-Copiloten in der digitalen Pathologie, der allgemeine und pathologiespezifische Modelle im Vergleich zu 31 Pathologen bei 130 Diagnosen bewertet und feststellt, dass PathChat+ in vier von sechs Aufgaben Expertenniveau erreicht.

Ursprüngliche Autoren: Carlijn Lems, Sander Moonemans, Natálie Klubíčková, Biagio Brattoli, Taebum Lee, Seokhwi Kim, Veronica Vilaplana, Laura Pons, Sapir Hochman, Mauricio Eduardo Suárez-Franck, Pedro Luis Fernandez, Juliu

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Carlijn Lems, Sander Moonemans, Natálie Klubíčková, Biagio Brattoli, Taebum Lee, Seokhwi Kim, Veronica Vilaplana, Laura Pons, Sapir Hochman, Mauricio Eduardo Suárez-Franck, Pedro Luis Fernandez, Julius Drachneris, Donatas Petroska, Renaldas Augulis, Arvydas Laurinavicius, Domingos Oliveira, Diana Montezuma, Anouk B. Bouwmeester, Dominique van Midden, Anne-Marie Vos, Shoko Vos, Jolique van Ipenburg, Maschenka Balkenhol, Koen Winkler, Iris Nagtegaal, Konnie Hebeda, Uta Flucke, Katrien Grünberg, Josef Skopal, Brinder S. Chohan, Jordi Temprana-Salvador, Enrico Munari, Luca Cima, Giulia Querzoli, Yosamin Gonzalez Belisario, Jaeike W. Faber, Geert J. L. H. van Leenders, Jan H. von der Thüsen, Lodewijk A. A. Brosens, Ronald R. de Krijger, Pieter Wesseling, Sandrine Florquin, Mateusz Maniewski, Adam Kowalewski, Robert Barna, Dina Tiniakos, Joan Lop Gros, Rogier Donders, Jake S. F. Maurits, Ming Yang Lu, Chengkuan Chen, Faisal Mahmood, Jeroen van der Laak, Nadieh Khalili, Frédérique Meeuwsen, Francesco Ciompi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen riesigen, hochriskanten Kochwettbewerb vor. Auf der einen Seite haben Sie drei berühmte Köche (KI-Modelle), die jedes Kochbuch der Welt gelesen haben. Auf der anderen Seite sitzt eine Jury aus 31 menschlichen Richtern, die von lokalen Hobbyköchen bis hin zu weltberühmten, mit einem Michelin-Stern ausgezeichneten Experten reicht. Die Herausforderung? Allen wird eine einzige, mysteriöse Zutat gegeben (ein mikroskopisches Bild von Gewebe), und sie werden gebeten zu beschreiben, was es ist, ob es „schlecht" (krebsartig) ist und welches spezifische Gericht es sein könnte.

Dieser Artikel mit dem Titel DALPHIN ist das Zeugnis aus diesem Wettbewerb. Es ist das erste Mal, dass jemand einen fairen, offenen Test organisiert hat, um zu sehen, ob diese „KI-Köche" tatsächlich echten Ärzten (Pathologen) bei der Diagnose von Krankheiten helfen können oder ob sie nur raffinierte Rater sind.

Hier ist die Aufschlüsselung dessen, was passiert ist, unter Verwendung einfacher Analogien:

1. Die Arena: Ein „Geheimrezept"-Wettbewerb

Normalerweise, wenn man eine KI testet, gibt man ihr eine Übungsklausur und lässt sie dann die Antworten lernen, bevor die eigentliche Prüfung stattfindet. Das ist Betrug.

Das DALPHIN-Team baute einen sicheren, verschlossenen Tresor für die Antworten. Sie erstellten einen Datensatz mit 300 echten medizinischen Fällen aus sechs verschiedenen Ländern, der 130 verschiedene Krankheitsarten abdeckte (von häufigen Hautproblemen bis hin zu seltenen Tumoren).

Der Twist: Die KI-Modelle mussten Fragen zu diesen Bildern beantworten, durften aber die „korrekten" Antworten nicht sehen, bevor sie fertig waren. Die Antworten wurden in einem digitalen Tresor aufbewahrt, auf den nur ein sicheres Computersystem zugreifen konnte, das sie automatisch bewertete. Dies stellt sicher, dass niemand durch Auswendiglernen des Tests betrügen konnte.

2. Die Teilnehmer

Der Artikel testete drei spezifische „Köche":

GPT-5: Eine allgemeine KI (wie eine superkluge Enzyklopädie, die ein wenig über alles weiß).
Gemini 2.5 Pro: Eine weitere allgemeine KI (ebenfalls sehr intelligent, aber mit einem anderen Gehirn).
PathChat+: Eine spezialisierte KI, die speziell auf medizinische Lehrbücher und pathologische Bilder trainiert wurde (wie ein Koch, der nur italienisches Essen zubereitet).

3. Die Herausforderungen (Die Fragen)

Die KI und die menschlichen Richter wurden gebeten, vier Hauptaufgaben zu erfüllen, die den Vorgang nachahmen, wie ein Arzt einen Objektträger betrachtet:

Der „Was ist das?"-Test: Bei einem unscharfen Überblick und einem vergrößerten Detail zu betrachten, können Sie sagen, ob es Lungengewebe, Haut oder Leber ist?
Der „Ist es schlecht?"-Test: Ist hier ein Tumor? (Ja/Nein).
Der „Wie schlecht ist es?"-Test: Wenn es einen Tumor gibt, ist er harmlos (gutartig), gefährlich (bösartig) oder irgendwo dazwischen?
Der „Was genau ist es?"-Test: Geben Sie einen spezifischen Diagnosenamen an oder beantworten Sie eine knifflige Multiple-Choice-Frage zur Krankheit.

4. Die Ergebnisse: Wer hat gewonnen?

Der Spezialist gegen die Generalisten
Der spezialisierte KI (PathChat+) war der klare Gewinner in der Kategorie „Diagnose". Er schnitt fast genauso gut ab wie die menschlichen Expertenärzte. Es war wie ein Meisterkoch, der einen Sauce probieren und sofort sagen konnte: „Das ist ein klassisches Bolognese."

Die Generalisten (GPT und Gemini) hatten mehr Schwierigkeiten mit spezifischen medizinischen Namen. Sie waren wie allgemeine Köche, die Ihnen sagen konnten, dass es „Suppe" ist, aber die spezifische Rezeptur nicht genau benennen konnten.

Die „übermäßig selbstbewussten" und „unterbewussten" Köche
Der Artikel fand einige lustige Persönlichkeitsmerkmale in der KI:

Gemini war der „Alarmist". Es neigte dazu, Tumore zu sehen, wo keine waren. Es war wie ein Sicherheitsbeamter, der jeden Schatten für einen Dieb hält. Es war sehr gut darin, echte Tumore zu entdecken, schrie aber auch zu oft „Wolf".
GPT war der „Skeptiker". Es neigte dazu, Tumore zu übersehen und dachte, alles sei in Ordnung. Es war wie ein Wächter, der ein verdächtiges Geräusch ignoriert, weil „es wahrscheinlich nur der Wind ist". Es war sehr gut darin, zu bestätigen, dass alles sicher war, verpasste aber das Schlechte.

Das menschliche Element
Die menschlichen Richter wurden in drei Gruppen unterteilt:

Experten: Die Top-Spezialisten.
Halb-Experten: Ärzte, die das Gebiet kennen, aber nicht zur Top-1% gehören.
Nicht-Experten: Assistenzärzte (Auszubildende) oder Ärzte, die nicht auf diesen spezifischen Körperteil spezialisiert sind.

Die große Überraschung:
In vielen Aufgaben schnitten die KI-Modelle (insbesondere PathChat+) genauso gut ab wie die Nicht-Experten-Menschen und manchmal sogar die Halb-Experten. Bei den schwierigsten Aufgaben (wie der Diagnose seltener Krebserkrankungen oder komplexer Details) schlugen die Experten-Menschen jedoch immer noch alle, einschließlich der KI.

5. Die „Kontext"-Falle

Die Forscher testeten zwei Arten, Fragen zu stellen:

Unabhängig: Eine Frage nach der anderen stellen, wie bei einer Quizshow.
Kontextuell: Fragen in einer Reihe stellen, wobei die KI sich daran erinnert, was sie bei der vorherigen Frage gesagt hat.

Sie fanden heraus, dass sich an das Gespräch zu erinnern (Kontextuell) der KI half, konsistent zu bleiben, aber es hatte auch einen Nachteil: Wenn die KI bei der ersten Frage einen Fehler machte, würde sie diesen Fehler oft bei der zweiten Frage noch verstärken. Es ist wie ein Detektiv, der den ersten Hinweis falsch interpretiert und dann seine ganze Theorie auf diesem Fehler aufbaut.

6. Das Fazit

Dieser Artikel sagt nicht: „KI ist bereit, Ärzte zu ersetzen." Stattdessen sagt er:

KI wird bei spezifischen medizinischen Aufgaben wirklich gut, manchmal auf dem Niveau eines ausgebildeten Assistenzarztes oder eines Halbspezialisten.
Verschiedene KIs haben verschiedene Persönlichkeiten. Manche sind zu ängstlich (verpassen Dinge), andere sind zu paranoide (sehen Dinge, die nicht da sind).
Wir brauchen eine faire Möglichkeit, sie zu testen. Der DALPHIN-Benchmark ist wie ein permanenter, sicherer Testgelände, der es uns ermöglicht, zu verfolgen, wie sich diese KI-Modelle im Laufe der Zeit verbessern (oder versagen), ohne dass sie betrügen.

Kurz gesagt sind diese KI-Copiloten wie sehr intelligente, eifrige Praktikanten. Sie sind hilfreich und oft richtig, aber sie brauchen immer noch einen erfahrenen Experten (einen menschlichen Pathologen), der ihre Arbeit überprüft, besonders wenn der Fall selten oder knifflig ist.

Technische Zusammenfassung: DALPHIN Benchmarking Digitaler Pathologie-KI-Copilots

Problemstellung

Die Entstehung von Foundation-Modellen mit Fähigkeiten zur Beantwortung visueller Fragen (Visual Question Answering, VQA) bietet eine transformative Chance für die digitale Pathologie und könnte Pathologen bei der Routine-Diagnostik unterstützen. Die rasante Entwicklung dieser Vision-Language-Modelle (VLMs) erfordert jedoch unabhängige, robuste Benchmarks, um ihren klinischen Nutzen und ihre Grenzen zu bewerten. Bestehende Benchmarks stehen vor erheblichen Hürden:

Datenlecks: Öffentlich verfügbare Datensätze (z. B. PathVQA) bergen das Risiko, dass Testdaten in die Trainingssets der Modelle gelangen, was die Leistungsmetriken künstlich aufbläht.
Mangelnde Reproduzierbarkeit: Einige Benchmarks (z. B. PathQABench) stützen sich auf private Teilmengen, die die Reproduktion von Ergebnissen oder das Benchmarking neuer Modelle verhindern.
Begrenzter Umfang: Viele Studien fehlen Vergleiche über verschiedene Niveaus pathologischer Expertise hinweg oder erfassen nicht die Vielfalt der Pathologie-Subspezialitäten, Institutionen und Färbeprotokolle.
Klinischer Kontext: Die diagnostische Interpretation in der Pathologie unterliegt der Interobserver-Variabilität, doch wenige Benchmarks kontextualisieren die Modellleistung gegenüber menschlichen Experten mit unterschiedlichen Kompetenzniveaus.

Es besteht ein kritischer Bedarf an einem multizentrischen, offenen Benchmark, der Ground-Truth-Daten isoliert, um Lecks zu verhindern, und gleichzeitig die Bewertung sowohl lokaler als auch online verfügbarer KI-Copilots gegenüber einer diversen menschlichen Basislinie ermöglicht.

Methodik

Der DALPHIN-Benchmark

Die Autoren stellen DALPHIN vor, den ersten multizentrischen, offenen Benchmark für KI-Copilots in der digitalen Pathologie.

Datensatz-Zusammensetzung: Der Benchmark umfasst 300 Fälle (1.236 Histologiebilder), die von sechs internationalen Gesundheitseinrichtungen in sechs Ländern gesammelt wurden. Er deckt 130 Diagnosen über 14 Pathologie-Subspezialitäten ab (einschließlich Urologie, Gastroenterologie, Weichteilpathologie, Mammopathologie, Thoraxpathologie, Nephropathologie usw.) und umfasst neoplastische, nicht-neoplastische und seltene Entitäten.
Bildformat: Um den Workflow des Pathologen nachzuahmen, enthalten die Fälle Low-Resolution-Gesamtgewebeschnitte (Whole-Slide Images, WSI) als Übersicht sowie höher aufgelöste Regionen von Interesse (Regions of Interest, ROIs), die aus mit Hämatoxylin-Eosin (H&E) oder Periodic Acid-Schiff (PAS) gefärbten Schnitten extrahiert wurden.
Fragendesign: Jeder Fall enthält bis zu sechs Fragen:
1. Fallorientierende Fragen: Gewebeidentifikation ( $Q_{tissue}$ ), neoplastischer Status ( $Q_{neoplasm}$ ) und neoplastisches Verhalten ( $Q_{behavior}$ ).
2. Erweiterte Fragen: Eine freie Diagnose ( $Q_{diagnosis}$ ), eine fallbezogene Multiple-Choice-Frage ( $Q_{mc}$ ) und eine fallbezogene offene Frage ( $Q_{open}$ ).
Ground Truth: Referenzantworten wurden von den beitragenden Pathologen bereitgestellt, die Zugriff auf den vollständigen WSI, den klinischen Kontext und ancilläre Tests hatten. Diese Antworten sind isoliert und nur indirekt über eine sichere Evaluierungsplattform (Grand Challenge) zugänglich, um Lecks zu verhindern.

Evaluierungsprotokoll

Bewertete Modelle: Die Studie evaluierte zwei allgemeine VLMs (GPT-5, Gemini 2.5 Pro) und ein pathologiespezifisches VLM (PathChat+).
Generierungsszenarien: Die Modelle wurden unter zwei Szenarien getestet:
1. Kontextuell (Sequentiell): Die Modelle beantworteten die Fragen sequentiell pro Fall unter Beibehaltung des vorherigen Kontexts (Simulation eines diagnostischen Workflows).
2. Unabhängig: Jede Frage wurde als eigenständige Abfrage ohne vorherigen Kontext behandelt.
Menschliche Basislinie (Reader-Studie): Eine Reader-Studie wurde mit 31 Pathologen (24 Fachärzte, 7 Assistenzärzte) aus 10 Ländern durchgeführt. Die Teilnehmer wurden wie folgt stratifiziert:
- Subspezialitäts-Experten: >10 Jahre Erfahrung in der spezifischen Subspezialität.
- Semi-Experten: Routinemäßige Praktiker in der Subspezialität, aber <10 Jahre Erfahrung.
- Nicht-Experten: Assistenzärzte oder Pathologen, die nicht routinemäßig in der spezifischen Subspezialität praktizieren.
- Hinweis: Aufgrund von Ressourcenbeschränkungen wurden nicht alle 300 Fälle von allen Expertise-Niveaus geprüft. Der Datensatz wurde in verschachtelten Teilmengen analysiert: $DALPHIN_{full}$ (300 Fälle, nur Modelle), $DALPHIN_{reader}$ (115 Fälle, 1 Experte + 3 Nicht-Experten pro Fall) und $DALPHIN_{semi}$ (60 Fälle, unter Hinzunahme von 2 Semi-Experten).

Metriken

Klassifikationsaufgaben ( $Q_{tissue}, Q_{neoplasm}, Q_{behavior}, Q_{mc}$ ): Evaluiert mittels Genauigkeit (Accuracy), F1-Score, Matthews-Korrelationskoeffizient (MCC), Präzision, Recall, Spezifität und Cohens $\kappa$ .
Freie Antwortaufgaben ( $Q_{diagnosis}, Q_{open}$ ): Evaluiert mittels traditioneller NLP-Metriken (BLEU-1, ROUGE-L, METEOR, CIDEr) und semantischer Ähnlichkeitsmetriken (BERTScore, BioBERT-Ähnlichkeit).
Statistische Analyse: Unterschiede wurden mittels zweiseitiger gepaarter Permutationstests ( $n=1.000$ ) mit Bootstrapping für Konfidenzintervalle getestet.

Hauptergebnisse

1. Organerkennung ( $Q_{tissue}$ )

Modellleistung: PathChat und Gemini schnitten bei der Organerkennung signifikant besser ab als GPT-5. PathChat erzielte die höchsten Werte, gefolgt von Gemini.
Vergleich mit Menschen: In der Reader-Teilmenge schnitten Experten-Pathologen signifikant besser ab als alle drei VLMs. PathChat und Gemini erzielten vergleichbare Ergebnisse mit Nicht-Experten-Pathologen, während GPT-5 signifikant unter allen menschlichen Expertise-Niveaus lag.
Variation nach Subspezialität: Die Leistung variierte je nach Bereich; Haut wurde von allen Modellen gut erkannt, während Weichteilgewebe die größte Herausforderung darstellte. PathChat ließ bei Weichteilfällen häufig Gewebevorhersagen aus, was auf das Fehlen von verbleibendem normalem Gewebe hindeutete.

2. Neoplastischer Status und Verhalten ( $Q_{neoplasm}, Q_{behavior}$ )

Neoplastischer Status: PathChat übertraf beide allgemeinen Modelle in der Gesamtklassifikation (F1 und MCC). Die Leistung von PathChat war in der Reader-Studie statistisch nicht von Experten und Nicht-Experten unterscheidbar.
Bias-Analyse:
- Gemini zeigte einen sensibilitätsorientierten Bias und neigte dazu, Neoplasien zu überdiagnostizieren (hoher Recall, geringere Spezifität).
- GPT-5 zeigte einen konservativen Bias und neigte dazu, Neoplasien zu unterdiagnostizieren (hohe Spezifität, geringerer Recall).
- PathChat zeigte eine ausgewogene Leistung und näherte sich dem Recall von Experten an, mit einer Präzision, die mit Nicht-Experten vergleichbar war.
Verhaltensklassifikation: PathChat übertraf erneut die allgemeinen Modelle. Konfusionsmatrizen zeigten, dass VLMs eher dazu neigten, benigne und maligne Läsionen miteinander zu verwechseln, während menschliche Pathologen sie häufiger als "in situ" oder "unsicher" fehlklassifizierten.

3. Diagnostisches Schlussfolgern ( $Q_{diagnosis}$ )

Leistung: PathChat schnitt über alle NLP- und semantischen Ähnlichkeitsmetriken hinweg signifikant besser ab als GPT-5 und Gemini und näherte sich der Leistung von Experten-Pathologen an.
Generalisierung: Die Überlegenheit von PathChat gegenüber allgemeinen Modellen war konsistent über verschiedene Schwierigkeitsgrade der Diagnose (grundlegend, umfassend, tiefgehend) und die Inzidenz von Krebsfällen (häufig vs. selten) hinweg.
Vergleich mit Menschen: In der Reader-Teilmenge schnitten Experten bei breiten und tiefgehenden Diagnosen sowie bei seltenen Krebsarten leicht besser ab als PathChat, während allgemeine Modelle bei grundlegenden Diagnosen unter dem Niveau von Nicht-Experten lagen.

4. Fallbezogene Fragen ( $Q_{mc}, Q_{open}$ )

Multiple Choice ( $Q_{mc}$ ): Alle VLMs zeigten eine ähnliche Genauigkeit (74–78%), ohne signifikante Unterschiede zwischen ihnen. Experten schnitten besser ab als alle Modelle.
Freie Antwort ( $Q_{open}$ ): Gemini zeigte im gesamten Datensatz einen Leistungsüberschuss gegenüber PathChat und GPT-5, insbesondere in klinischen Kategorien und spezifischen Subspezialitäten (Urologie, Brust, Thorax). Im Reader-Subset waren die Unterschiede zwischen den Modellen und den menschlichen Expertise-Niveaus jedoch minimal.

5. Kontextuelle vs. Unabhängige Generierung

Abwägungen: Die meisten Metriken zeigten keinen signifikanten Unterschied zwischen kontextuellen und unabhängigen Szenarien.
Fehlerfortpflanzung: PathChat schnitt im kontextuellen Szenario bei Aufgaben zum neoplastischen Status und Verhalten signifikant besser ab. Umgekehrt erzielten allgemeine Modelle im unabhängigen Szenario eine höhere Genauigkeit bei Multiple-Choice-Fragen, was darauf hindeutet, dass vorheriger Kontext für diese Modelle manchmal zu Verankerungseffekten oder Fehlerfortpflanzung führen kann.

Bedeutung und Behauptungen

Die Studie behauptet, dass DALPHIN einen neuen Standard für die Evaluierung von KI-Copilots in der digitalen Pathologie setzt, indem es die kritischen Probleme von Datenlecks und mangelnder Reproduzierbarkeit adressiert.

Robustes Benchmarking: Durch die Isolierung der Ground Truth und die Nutzung einer indirekten Evaluierungsplattform ermöglicht DALPHIN eine kontinuierliche, langfristige Bewertung sich schnell entwickelnder Modelle, ohne die Integrität des Datensatzes zu gefährden.
Klinische Relevanz: Die Einbeziehung einer diversen menschlichen Basislinie (Experten, Semi-Experten, Nicht-Experten) bietet einen klinisch interpretierbaren Kontext für die Modellleistung und hebt hervor, dass pathologiespezifische Modelle (PathChat) zwar in bestimmten Aufgaben ein Expertenniveau erreichen können, jedoch erhebliche Lücken bestehen, insbesondere bei seltenen Krebsarten und komplexem Schlussfolgern.
Modellverhalten: Die Studie deckt unterschiedliche Verhaltensmuster bei den Modellen auf (z. B. Sensitivität von Gemini vs. Konservatismus von GPT), die für das Verständnis potenzieller Risiken beim klinischen Einsatz entscheidend sind.
Offene Wissenschaft: Die Veröffentlichung von Bildern, Fragen und Evaluierungscode fördert Transparenz und ermöglicht der Gemeinschaft, zukünftige Modelle gegen einen konsistenten, multizentrischen Standard zu benchmarken.

Die Autoren schließen, dass KI-Copilots zwar vielversprechend sind, ihre Leistung jedoch stark aufgabenabhängig ist und keine einzelne Metrik ihren klinischen Nutzen vollständig erfasst. Der Benchmark dient als Werkzeug, um die Entwicklung zuverlässigerer, klinisch fundierter KI-Assistenten voranzutreiben.