PathAgentBench: Benchmarking Evidence-Seeking Vision-Language Models on Whole-Slide Pathology Image

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein riesiges Rätsel zu lösen, das in einer Stadt verborgen ist, die Milliarden Mal größer ist als ein einzelnes Sandkorn. Diese Stadt ist ein „Whole-Slide-Image“ (WSI) einer Gewebeprobe – ein digitales Bild, das so gewaltig ist, dass ein Mensch Stunden bräuchte, um nur hindurchzuscrollen. In der realen Welt starrt ein Pathologe (ein Arzt, der Krankheiten durch das Betrachten von Zellen diagnostiziert) nicht einfach nur auf einen winzigen Punkt. Er beginnt damit, die ganze Stadt aus einem Helikopter heraus zu betrachten, um verdächtige Viertel zu finden, dann zoomt er heran, um die Straßen zu prüfen, und schließlich zoomt er ganz nah heran, um einzelne Häuser und Menschen zu inspizieren, um den Übeltäter zu finden. Dies wird als „Beweissuche“ bezeichnet.

Kürzlich haben Wissenschaftler superintelligente Computergehirne namens „Vision-Language-Modelle“ (VLMs) entwickelt. Das sind wie KI-Detektive, die gleichzeitig Bilder betrachten und Text lesen können. Sie werden immer besser darin, Rätsel zu lösen, wenn man ihnen ein spezifisches Foto gibt und fragt: „Was ist hier los?“ Aber es gibt eine große Frage: Können diese KI-Detektive das richtige Foto auch von selbst in dieser riesigen Stadt finden, oder brauchen sie erst einen Menschen, der auf die Stelle zeigt? Wenn eine KI ein Rätsel lösen kann, aber nicht den Raum findet, in dem das Rätsel versteckt ist, ist sie noch kein besonders guter Detektiv. Dies ist die Lücke, die diese neue Forschung messen möchte.

---

Der große KI-Detektiv-Test: PathAgentBench

Ein Forscherteam hat einen neuen, superherausfordernden Test namens PathAgentBench entwickelt, um zu sehen, ob eine KI wirklich wie ein menschlicher Pathologe agieren kann. Anstatt der KI einfach nur ein vorselektiertes Bild zu geben und zu fragen: „Was ist das?“ (was die meisten alten Tests tun), gaben sie der KI die gesamte riesige Stadt und baten sie, selbst nach den Hinweisen zu jagen.

Stellen Sie sich das wie ein Spiel von „Wo ist Waldo?“ vor, aber das Buch ist so groß wie ein Fußballfeld, und Sie müssen heran- und wegzoomen, um die winzigen Details zu finden, die beweisen, wer der Bösewicht ist. Die Forscher haben einen „diagnostischen Baum“ erstellt, der wie eine Karte einer Schatzsuche funktioniert. Die KI beginnt ganz oben (der gesamten Slide), wählt einen verdächtigen Bereich aus, zoomt heran, wählt einen kleineren Bereich aus, zoomt erneut heran und stellt schließlich eine Diagnose, basierend auf allen Hinweisen, die sie auf diesem Weg gesammelt hat.

Um sicherzustellen, dass der Test fair und anspruchsvoll war, verwendeten sie 1.822 echte medizinische Slides aus einer riesigen Datenbank und ließen zehn erfahrene menschliche Ärzte genau die Pfade zeichnen, die sie zur Lösung der Fälle nehmen würden. Sie testeten dann 20 verschiedene KI-Modelle (einige von großen Tech-Unternehmen, einige Open-Source und einige spezialisiert auf Medizin), um zu sehen, wie sie abschnitten.

Hier ist, was sie herausfanden, und es ist eine kleine Wendung in der Handlung:

1. Die KI ist ein Genie im Lesen, aber ein schrecklicher Navigator
Als die Forscher der KI die spezifischen Hinweise überreichten (wie zum Beispiel: „Hier ist das vergrößerte Bild der verdächtigen Zelle, sag uns jetzt, was es ist“), war die KI fantastisch. Die besten Modelle lieferten über 93 % der richtigen Antworten. Sie konnten die Beweise perfekt lesen.

Als die Forscher jedoch sagten: „Okay, jetzt musst du diese verdächtige Zelle selbst in der riesigen Stadt finden“, brach die KI völlig zusammen. Selbst die klügsten KI-Modelle erreichten einen räumlichen Überlappungswert (einen sogenannten „Mean Intersection-over-Union“) von weniger als 0,09. Das bedeutet, dass die Box, die die KI um den verdächtigen Bereich zeichnete, die echte Stelle kaum berührte. Tatsächlich funktionierte ein sehr einfacher, dummer Trick – einfach die Mitte der vorherigen Box zu raten – tatsächlich besser als die schicken KI-Modelle!

2. Das „Zoom-Out“-Problem
Die Forscher beobachteten die KI dabei, wie sie versuchte, die Slides auf eigene Faust zu erkunden. Bei der weitesten Ansicht (geringe Vergrößerung) konnte die KI etwa 52 % der Zeit verdächtige Bereiche finden. Aber als sie versuchte, heranzuzoomen, um einen genaueren Blick zu bekommen, verlor sie die Spur. Zu dem Zeitpunkt, als sie die höchste Zoomstufe erreichte (wo sie die winzigen Details sehen muss), fand sie den richtigen Ort nur noch zu 2 % der Zeit. Es ist wie ein Detektiv, der zwar das richtige Viertel findet, sich dann aber in einer falschen Gasse verirrt und das Haus niemals findet.

3. Spezialisierte KI ist nicht immer besser
Man könnte meinen, dass KI-Modelle, die speziell auf medizinischen Büchern trainiert wurden, die besten Detektive wären. Überraschenderweise schnitten die allgemeinen KI-Modelle (die auf allem von Katzen bis zu Autos trainiert wurden) besser darin ab, die Hinweise zu finden, als diejenigen, die nur für die Medizin trainiert wurden. Die spezialisierten medizinischen Modelle blieben manchmal stecken oder konnten nicht einmal die Koordinaten ausgeben, um auf einen Punkt zu zeigen.

4. Die Kosten der Jagd
Die Studie untersuchte auch, wie viel „Rechenleistung“ und Geld die Jagd kostete. Der Teil, in dem die KI die Hinweise selbstständig suchen musste („autonome Exploration“), war unglaublich teuer und langsam. Es dauerte mehrere Minuten, bis die KI nur eine einzige Slide betrachtete, während das Beantworten einer einfachen Frage zu einem vorselektierten Bild nur einen Bruchteil einer Sekunde dauerte.

Das Fazit

Die wichtigste Erkenntnis dieser Arbeit ist, dass KI zwar unglaublich gut darin geworden ist, Beweise zu interpretieren, wenn sie ihr gereicht werden, aber immer noch sehr schlecht darin ist, diese Beweise selbst zu finden. Die Forscher argumentieren, dass wir KI nicht nur feiern sollten, wenn sie Rätsel lösen kann; wir müssen ihr beibringen, ein Detektiv zu sein, der das Rätsel überhaupt erst einmal findet.

Bis eine KI in der Lage ist, zuverlässig in diesen riesigen digitalen Slides zu navigieren, ohne sich zu verirren, kann sie einen menschlichen Pathologen in der realen Welt nicht vollständig ersetzen. Die Arbeit legt nahe, dass zukünftige KIs besser „räumliches Denken“ (zu wissen, wo sie sich befinden) lernen müssen, wie sie Werkzeuge richtig nutzen, um heranzu- und wegzuzoomen, und wie sie sich erholen, wenn sie einmal eine falsche Abzweigung genommen haben. Für den Moment ist die KI ein brillanter Leser, aber sie lernt noch, wie man durch die Straßen geht.