Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine bestimmte Art von Wolke am Himmel zu erkennen. Sie zeigen ihm tausende Fotos, die mit einer hochmodernen Wetterstation und einer perfekten Linse aufgenommen wurden. Der Roboter lernt zu sagen: „Das ist eine Gewitterwolke!“, und zwar mit großer Zuversicht. Aber hier ist der knifflige Teil: Eine Wolke erkennen zu können, ist etwas anderes als zu wissen, wie wahrscheinlich es regnen wird. Wenn der Roboter sagt: „Ich bin mir zu 90 % sicher, dass dies eine Gewitterwolke ist“, muss er in 90 % der Fälle auch recht haben. Wenn er falsch liegt und Sie ihm zu sehr vertrauen, vergessen Sie vielleicht Ihren Regenschirm an einem Regentag oder tragen einen, obwohl der Himmel vollkommen klar ist.

Dieses Papier taucht ein in eine Welt, in der Computer Ärzten helfen, Augenerkrankungen namens diabetischer Retinopathie zu finden. Es stellt eine sehr praktische Frage: Wenn wir einen Computer mit Fotos trainieren, die mit großen, teuren Kameras in einem Krankenhaus aufgenommen wurden, ist er dann immer noch vertrauenswürdig, wenn wir ihn in ein Dorf bringen und eine kleine Handkamera verwenden? Die Antwort liegt nicht nur darin, ob der Computer die Krankheit sehen kann (was er kann), sondern ob seine Zuversicht in der neuen Umgebung auch Sinn ergibt. Die Forscher fanden heraus, dass die Augen des Computers zwar scharf bleiben, sein „Bauchgefühl“ darüber, wie sicher er sich ist, jedoch völlig durcheinandergerät – hauptsächlich, weil die Krankheit an dem neuen Ort häufiger vorkommt als am alten.

---

Die Geschichte des verwirrten Augenarzt-Roboters

Stellen Sie sich vor, Sie haben einen brillanten Roboter-Augenarzt namens „Dr. AI“. Sie haben Dr. AI in einem schicken, klimakontrollierten Krankenhaus mit einer riesigen, teuren Tischkamera trainiert. Dr. AI hat gelernt, auf Fotos von Augen zu schauen und eine Krankheit namens diabetische Retinopathie zu entdecken. Wenn Dr. AI ein krankes Auge sieht, gibt er einen Wert ab: „Ich bin mir zu 95 % sicher, dass dieses Auge krank ist!“ Wenn er ein gesundes Auge sieht, sagt er: „Ich bin mir zu 99 % sicher, dass dieses gesund ist.“

Nun wollen Sie Dr. AI in ein abgelegenes Dorf bringen, um Menschen zu helfen, die keinen Zugang zu großen Krankenhäusern haben. Aber im Dorf können Sie die riesige Kamera nicht mitnehmen. Sie müssen eine winzige Handkamera verwenden, die in einen Rucksack passt. Die Fotos von dieser kleinen Kamera sehen etwas anders aus – sie können heller, dunkler oder leicht verschwommen sein im Vergleich zu den Fotos aus dem Krankenhaus.

Die große Frage: Wenn Dr. AI auf diese neuen Dorf-Fotos blickt, wird er dann immer noch ein guter Arzt sein?

Die Forscher in diesem Papier haben Dr. AI einem Test unterzogen. Sie fanden zwei sehr unterschiedliche Dinge heraus:

1. Die Augen blieben scharf (Diskriminierung): Dr. AI war immer noch exzellent darin, den Unterschied zwischen einem kranken und einem gesunden Auge zu erkennen. Selbst ohne zusätzliches Training konnte er kranke Augen fast so gut höher einstufen als gesunde Augen wie ein Arzt, der speziell auf Dorf-Fotos trainiert wurde. Er verlor nicht die Fähigkeit, das Problem zu sehen.
2. Das Vertrauen geriet durcheinander (Kalibrierung): Hier ging etwas schief. Dr. AI begann darüber zu lügen, wie sicher er sich war. Wenn er sagte: „Ich bin mir zu 90 % sicher, dass dieses Auge krank ist“, hatte er in Wirklichkeit nicht in 90 % der Fälle recht. Seine Konfidenzwerte waren kaputt. Im Dorf war der Roboter vielleicht viel zu sicher bei gesunden Augen oder nicht sicher genug bei kranken Augen. Das ist gefährlich, weil Ärzte auf diese Vertrauenswerte angewiesen sind, um zu entscheiden, wer sofort einen menschlichen Spezialisten sehen muss.

Warum ist das Vertrauen kaputtgegangen?

Sie denken vielleicht: „Die Handkamera muss das Problem sein! Die Fotos sehen so anders aus.“ Die Forscher testeten diese Idee tatsächlich und fanden etwas Überraschendes heraus.

Sie entdeckten, dass die Kamera selbst nur ein kleiner Teil des Problems war (etwa 20 %). Der wahre Bösewicht war die Menschenmenge.

Denken Sie an Folgendes: In dem Krankenhaus, in dem Dr. AI trainiert wurde, hatte nur 1 von 20 Personen die Krankheit (5,7 %). Aber in dem Dorf hatte 1 von 6 Menschen sie (17,6 %). In einer anderen Testgruppe hatten fast die Hälfte der Menschen sie (40,6 %).

Dr. AI wurde in einer Welt trainiert, in der die Krankheit selten war. Er lernte, sehr vorsichtig zu sein. Als er in ein Dorf kam, in dem die Krankheit häufig vorkam, wusste er nicht, wie er sein „Butengefühl“ anpassen sollte. Es ist wie bei einem Wetterpropheten, der in der Wüste aufgewachsen ist. Wenn er in einen Regenwald zieht und sagt: „Es besteht nur eine 10-prozentige Regenwahrscheinlichkeit“, dann liegt er falsch – nicht, weil seine Augen schlecht sind, sondern weil er an eine Welt gewöhnt ist, in der Regen selten vorkommt. Die Forscher zeigten, dass etwa 80 % der Verwirrung durch diese Änderung der Häufigkeit der Krankheit entstanden sind, nicht durch die Kamera, die das Foto macht.

Wie man den Roboter repariert

Wie also reparieren wir das kaputte Vertrauen von Dr. AI? Die Forscher probierten ein paar Tricks aus:

• Der „Temperatur“-Trick: Sie versuchten eine einfache mathematische Anpassung namens „Temperature Scaling“. Das ist wie das Drehen an einem Regler, um die Antworten des Roboters etwas sanfter oder härter zu machen. Es funktionierte nicht gut, denn das Problem des Roboters war nicht nur, wie „sanft“ seine Antworten waren; er musste seinen gesamten Basiswert verschieben, weil die Krankheit häufiger vorkam.
• Die „Neu-Training“-Lösung: Sie probierten zwei andere Methoden namens Platt-Skalierung und Isotonische Skalierung aus. Das ist so, als würde man dem Roboter eine kurze, schnelle Lektion geben. Sie zeigten dem Roboter gerade einmal 100 bis 200 neue Fotos aus dem Dorf (die von Menschen beschriftet waren) und baten ihn, seine Vertrauenswerte anzupassen.
  • Das Ergebnis: Es funktionierte! Mit nur ein klein wenig neuen Daten wurde das Vertrauen von Dr. AI wieder vertrauenswürdig. Er entwickelte sich von einem Zustand, in dem er völlig falsch lag, zu einem Zustand, der fast so gut war wie ein Roboter, der von Grund auf neu auf Dorf-Fotos trainiert wurde.

Das „Winziges-Gehirn“-Problem

Es gab noch eine weitere Wendung. Um Dr. AI auf einem günstigen, handgehaltenen Gerät laufen zu lassen, muss man das Computerprogramm oft verkleinern, damit es hineinpasst. Dies nennt man „Quantisierung“.

• Halbe Genauigkeit (FP16): Das ist so, als würde man ein Foto leicht komprimieren. Es machte das Programm kleiner, aber es schadete Dr. AIs Augen oder seinem Vertrauen nicht. Es war sicher.
• 8-Bit-Ganzzahl (INT8): Das ist so, als würde man das Foto so stark komprimieren, dass es verpixelt wird. Die Forscher fanden heraus, dass dies sowohl Dr. AIs Augen als auch sein Vertrauen zerstörte. Selbst wenn sie versuchten, das Vertrauen mit dem „Neu-Training“-Trick zu reparieren, konnten sie den Schaden an den Augen nicht vollständig beheben. Der Roboter wurde weniger genau, und keine Menge an schneller Mathematik konnte das wieder rückgängig machen.

Das Fazit

Die wichtigste Lehre aus dieser Studie ist: Damit KI in der realen Welt sicher ist, können wir nicht nur darauf schauen, ob sie die Krankheit erkennen kann. Wir müssen auch prüfen, ob ihr Vertrauen an dem neuen Ort Sinn ergibt.

Wenn Sie eine medizinische KI von einem reichen Krankenhaus in ein armes Dorf bringen, nehmen Sie nicht einfach an, dass sie funktionieren wird, nur weil sie intelligent ist. Die Krankheit könnte dort häufiger vorkommen, und das wird das Vertrauen des Roboters verwirren. Aber die gute Nachricht ist: Sie brauchen keine Millionen neuer Fotos, um es zu beheben. Sie brauchen nur eine kleine, günstige Lektion (etwa 100–200 Beispiele) und den richtigen mathematischen Trick, um dem Roboter beizubringen, seinem eigenen Gefühl wieder zu vertrauen. Und wenn Sie das Programm verkleinern, um es auf ein winziges Gerät zu bringen, seien Sie vorsichtig: Das Programm zu stark zu schrumpfen, kann den Roboter auf eine Weise beschädigen, die Sie nicht einfach wieder reparieren können.