Predicting Visual Acuity from Fundus Photographs Using a Domain-Pretrained Vision Transformer: Anatomical Alignment of Attention Patterns

Stellen Sie sich vor, Sie versuchen zu erraten, wie gut jemand sehen kann, indem Sie nur auf eine einzige, farbenfrohe Karte des Hintergrunds seines Auges schauen. Das ist die Welt der ophthalmischen KI, in der Computer lernen, Netzhautfotografien zu lesen, um die Visusqualität vorherzusagen – im Grunde also, wie scharf das Sehvermögen einer Person ist. Normalerweise erfordert die Überprüfung Ihrer Sehkraft, dass Sie in einem Arztzimmer sitzen, auf eine Tafel starren und Buchstaben laut vorlesen. Aber was wäre, wenn ein Computer ein Foto Ihres Auges betrachten und sagen könnte: „Ah, Ihr Sehen ist perfekt“ oder „Sie benötigen vielleicht eine Brille“, ohne dass Sie jemals ein Wort sagen müssen?

Um dies zu erreichen, verwenden Wissenschaftler Vision Transformer. Betrachten Sie diese als superintelligente digitale Detektive. Im Gegensatz zu älteren Computermodellen, die ein Bild einfach wie eine Kamera bei einer Momentaufnahme scannen, zerlegt ein Vision Transformer das Bild in winzige Puzzleteile und fragt: „Wie steht dieses Teil in Beziehung zu jenem Teil?“ Er lernt, auf bestimmte Details zu achten, wie ein Detektiv, der sich auf einen Fingerabdruck oder einen schlammigen Schuhabdruck konzentriert. Die große Frage, die diese Arbeit behandelt, ist: Kann ein Computer lernen, die Sehqualität allein durch den Blick auf diese Augen-Karten vorherzusagen, und noch wichtiger: Können wir darauf vertrauen, worauf der Computer schaut? Wenn der Computer sagt, dass Ihr Sehen schlecht ist, schaut er dann tatsächlich auf die geschädigten Teile Ihres Auges oder rät er nur basierend auf zufälligem Rauschen?

---

Die neue Brille des Detektivs

In dieser Studie beschloss ein Forscherteam, ihrem digitalen Detektiv eine spezielle „Brille“ namens RETFound zu geben. Stellen Sie sich vor, Sie haben einen Detektiv, der jahrelang Millionen von Tatortfotos studiert hat. Er weiß genau, wie ein Fingerabdruck aussieht, wie Blut spritzt und wo die Hinweise meistens verborgen liegen. Das ist RETFound: ein massives KI-Modell, das bereits 1,6 Millionen unbeschriftete Augenfotos „gelesen“ hat. Es ist bereits ein Experte darin, die winzigen Gefäße und Texturen der Netzhaut zu erkennen, noch bevor es versucht, das spezifische Rätsel der Visusqualität zu lösen.

Die Forscher nahmen diesen Experten-Detektiven und passten ihn an (Fine-Tuning), um ein spezifisches Rätsel zu lösen: Augenfotos in vier Visuskategorien zu sortieren.

• C0: Totale oder funktionelle Blindheit.
• C1: Schwere Beeinträchtigung (sehr verschwommen).
• C2: Moderate bis leichte Beeinträchtigung.
• C3: Normales, scharfes Sehen.

Sie testeten dies an 21.602 Fotos von 3.654 Patienten. Um sicherzustellen, dass der Detektiv nicht schummelt, indem er die Antworten auswendig lernt, waren sie sehr streng: Sie teilten die Daten nach Patienten auf, nicht nach Fotos. Das bedeutet, wenn ein Patient fünf Fotos hatte, gingen alle fünf entweder in die Trainingsgruppe oder in die Testgruppe, niemals in beide. Das ist so, als würde man sicherstellen, dass ein Schüler, der eine Prüfung ablegt, dieselbe Frage niemals in verschiedenen Formen zweimal sieht.

Die Ergebnisse: Ein „substanzieller“ Erfolg

Die Ergebnisse waren vielversprechend. Der RETFound-Detektiv hatte in 55,6 % der Fälle die richtige Antwort. Das mag vielleicht nicht wie eine perfekte Punktzahl klingen, aber in der Welt der medizinischen KI ist das eine große Sache. Wichtiger noch: Wenn er einen Fehler machte, war es meistens ein kleinerer. 89,6 % seiner Fehler lagen nur einen Schritt vom richtigen Ergebnis entfernt (wie zum Beispiel „schwere Beeinträchtigung“ zu raten, wenn die Antwort eigentlich „moderate Beeinträchtigung“ war). Er gab selten völlig absurde Tipps ab, wie etwa ein normales Auge als „blind“ zu bezeichnen.

Das Papier verglich RETFound auch mit zwei anderen Detektiven: DINOv2 (einer universellen KI, die sich nicht speziell mit Augenfotos beschäftigt hat) und EfficientNet (einem älteren Stil der Computer Vision). RETFound schlug beide um eine signifikante Marge. Die Forscher berechneten einen Wert namens Quadratic Weighted Kappa, der misst, wie gut die Vorhersagen mit der tatsächlichen Reihenfolge übereinstimmen. RETFound erreichte einen Wert von 0,612, was Experten als „substanzielle Übereinstimmung“ bezeichnen.

Das Rätsel: „Wo schaust du hin?“

Der spannendste Teil der Arbeit ist nicht nur, dass der Computer die richtige Antwort bekam, sondern wie er das Auge betrachtete, um dorthin zu gelangen. Die Forscher nutzten eine Technik namens Attention Rollout. Stellen Sie sich vor, der Computer ist ein Scheinwerfer, der auf das Augenfoto gerichtet ist. Diese Technik erlaubt es den Forschern zu sehen, wo genau der Fokus des Scheinwerfers liegt.

Sie fanden ein wunderschönes Muster, das mit dem übereinstimmt, was menschliche Ärzte seit Jahrzehnten wissen:

• Für Augen mit extrem schlechtem Sehen (C0): Der Fokus des Computers lag stark auf den Blutgefäßen am Rand des Auges. Das ergibt Sinn, da schwerer Sehverlust oft durch beschädigte oder undichte Blutgefäße verursacht wird. Der Computer lernte, auf die „unordentlichen“ Teile der Karte zu schauen.
• Für Augen mit perfektem Sehen (C3): Der Scheinwerfer bewegte sich in die Mitte des Auges (die Makula). Dies ist der Teil des Auges, der für das scharfe, zentrale Sehen verantwortlich ist. Der Computer lernte, die Ränder zu ignorieren und sich auf das Zentrum zu konzentrieren.

Es ist wie ein Detektiv, der weiß, dass er, wenn ein Haus brennt, auf den Rauch und die Flammen (die Gefäße) schauen muss, aber wenn das Haus tadellos ist, sollte er auf die Haustür und die Fenster (die Makula) schauen, um zu bestätigen, dass alles in Ordnung ist.

Der „Vertrau mir“-Test

Hier kommt die clevere Wendung: Die Forscher wollten wissen, ob dieses „Scheinwerfer“-Verhalten nur ein glücklicher Zufall war oder ob es tatsächlich bedeutete, dass der Computer korrekt dachte. Sie verglichen die Fotos, die der Computer richtig bekam, mit denen, die er falsch bekam.

• Wenn der Computer richtig lag: Das Verhalten des Scheinwerfers war perfekt. Wenn er „blind“ vorhersagte, lag das Licht auf den Gefäßen. Wenn er „normal“ vorhersagte, lag das Licht im Zentrum. Die Verbindung zwischen dem Ort des Blicks und der Antwort war sehr stark.
• Wenn der Computer falsch lag: Der Scheinwerfer war verwirrt. Er war überall gleichzeitig und suchte an zufälligen Stellen. Die Verbindung zwischen dem Ort des Blicks und der Vorhersage war schwach.

Dies deutet darauf darauf hin, dass die „Aufmerksamkeit“ des Computers ein zuverlässiger Hinweis ist. Wenn der Computer an den richtigen Stelle schaut, ist er wahrscheinlich richtig. Wenn er überall gleichzeitig hinschaut, sollte man skeptisch sein.

Das Problem mit dem „unscharfen Mittelteil“

Die Studie fand auch eine knifflige Stelle. Der Computer hatte die größten Schwierigkeiten mit der Kategorie C1 (schwere Beeinträchtigung, aber keine totale Blindheit). Er verwechselte diese Augen oft mit der Kategorie „moderat“. Die Forscher vermuten, dass dies nicht daran liegt, dass der Computer dumm ist, sondern dass die Augenfotos für dieses spezifische Sehniveau von Natur aus mehrdeutig sind. Es ist, als versuche man, den Unterschied zwischen einem leicht nebligen Tag und einem sehr bewölkten Tag zu erkennen; manchmal bietet das Bild einfach nicht genug klare Anhaltspunkte, um zu 100 % sicher zu sein.

Was das bedeutet

Dieses Paper behauptet nicht, den Sehverlust gelöst oder Ärzte ersetzt zu haben. Stattdessen zeigt es, dass wir eine KI bauen können, die nicht nur rät, sondern das Auge so „sieht“, wie es ein menschlicher Arzt tut. Sie lernt, sich auf Blutgefäße zu konzentrieren, wenn das Sehen schlecht ist, und auf das Zentrum, wenn das Sehen gut ist.

Die Autoren schlagen vor, dass wir dieses „Scheinwerfer“-Verhalten in Zukunft als Warnsystem nutzen könnten. Wenn eine KI eine Vorhersage trifft, ihr Scheinwerfer aber überall gleichzeitig herumwirbelt, könnten Ärzte diesen Fall zur menschlichen Überprüfung markieren. Dies verwandelt die KI von einer „Black Box“ in einen Partner, der einem nicht nur sagt, was er denkt, sondern auch, warum er es denkt und wie sehr man dieser Vermutung vertrauen kann.