🤖 machine learning

CANDOR: Chance-Calibrated Discordance in Frozen Foundation Encoders

Das Papier führt CANDOR ein, eine chancenkalibrierte Diskordanzmetrik, die offenlegt, dass eingefrorene Foundation-Encoder nicht von Natur aus blind gegenüber medizinischen Befunden sind, sondern unter schwacher geometrischer Trennung und schlechter Kopfselektion leiden, wie die hohen Fehlerraten bei den nächsten Nachbarn selbst dann belegen, wenn leichte Köpfe eine starke Leistung erzielen.

Ursprüngliche Autoren: Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Veröffentlicht 2026-07-22

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Arten von Vögeln zu erkennen. Sie zeigen ihm Millionen von Fotos, und er lernt, einen „Rotkehlchen“ oder einen „Sperling“ zu erkennen, indem er auf die Formen und Farben in den Bildern achtet. So funktionieren moderne „Foundation Models“: Sie sind riesige, vortrainierte Gehirne, die fast alles gesehen haben, von Katzen über Autos bis hin zu Wolken. Nun stellen Sie sich vor, Sie möchten denselben Roboter nutzen, um Ärzten beim Lesen von Röntgenbildern zu helfen. Sie wollen nicht den ganzen Roboter neu trainieren; Sie wollen lediglich einen winzigen, einfachen „Kopf“ an ihn anbauen, der sagt: „Ja, da ist ein Knochenbruch“ oder „Nein, alles sieht gut aus“.

Die große Frage ist: Sieht der Roboter den Knochenbruch tatsächlich in seinem internen Gedächtnis, oder rät er nur basierend auf anderen Hinweisen? Normalerweise prüfen wir, wie gut der Roboter ist, indem wir schauen, wie oft der winzige Kopf die richtige Antwort gibt. Aber was, wenn die interne Karte des Roboters eigentlich chaotisch ist? Was, wenn ein Bild eines Knochenbruchs tief in seinem Gehirn eher wie ein Bild eines gesunden Knochens aussieht als wie ein anderes Bild eines Knochenbruchs? Wenn das der Fall ist, ist der Roboter nicht „blind“ – er ist nur verwirrt. Es ist wie ein Bibliothekar, der Bücher nach ihrer Farbe statt nach ihrer Geschichte sortiert hat; er kann zwar ein rotes Buch finden, aber er kann nicht sagen, ob es ein Krimi oder eine Romanze ist, nur indem er ins Regal schaut. Diese Arbeit stellt eine entscheidende Frage: Sind diese leistungsstarken Roboter, wenn sie in ihrer Struktur eingefroren sind, wirklich blind für medizinische Details oder sind sie nur schlecht darin, sie voneinander zu unterscheiden?

Das Problem mit der alten Methode

Lange Zeit maßen Wissenschaftler diese eingefrorenen Roboter daran, wie gut ein einfacher „Kopf“ ihre Merkmale lesen konnte. Wenn der Kopf eine hohe Punktzahl erreichte, ging man davon aus, dass der Roboter intelligent sei. Doch die Autoren dieser Arbeit, Soroosh Tayebi Arasteh und sein Team, erkannten, dass diese Messmethode so war, als würde man einen Koch danach beurteilen, wie gut er ein Essen servieren kann, ohne zu prüfen, ob das Essen tatsächlich gar ist.

Sie fanden eine versteckte Falle in der Art und Weise, wie wir „Verwirrung“ messen. Stellen Sie sich vor, Sie versuchen, einen Freund in einem überfüllten Raum zu finden. Wenn Ihr Freund einen roten Hut trägt, und es gibt 100 Leute mit roten Hüten, aber nur eine Person mit einem blauen Hut, und Sie fragen den Roboter, den Menschen mit dem blauen Hut zu finden, könnte der Roboter einfach „blau“ raten, weil es selten ist. Die alten Messwerkzeuge wurden durch die Häufigkeit oder Seltenheit einer Krankheit getäuscht. Wenn eine Krankheit selten war, sagten die Werkzeuge, der Roboter sei „kollabiert“ (völlig unbrauchbar), nur weil die Mathematik unausgewogen war, nicht weil der Roboter tatsächlich schlecht war. Es war, als würde man einen Detektiv dafür beschuldigen, keine Nadel im Heuhaufen gefunden zu haben, obwohl das eigentliche Problem darin bestand, dass der Heuhaufen zu 99 % aus Nadeln und nur zu 1 % aus Heu bestand.

CANDOR: Der faire Richter

Um dies zu beheben, erfand das Team ein neues Werkzeug namens CANDOR (Chance-Calibrated Discordance). Denken Sie an CANDOR als einen Schiedsrichter, der sicherstellt, dass das Spiel fair ist, bevor der Pfiff ertönt.

So funktioniert es: Anstatt den Roboter eine unordentliche Menge betrachten zu lassen, setzt CANDOR ein perfekt ausbalanciertes Spiel auf. Es nimmt das Bild eines Patienten mit einem spezifischen Problem (wie einem Lungenkollaps, genannt Pneumothorax) und bittet den Roboter, seine fünf nächsten „Nachbarn“ in seinem Gedächtnis zu finden. Aber hier ist der Trick: CANDOR zwingt den Roboter, zwischen zwei Gruppen von Nachbarn zu wählen, die exakt gleich groß sind. Eine Gruppe besteht aus Patienten mit dem Problem, die andere aus Patienten ohne das Problem.

Wenn der Roboter wirklich gut ist, sollten die Patienten mit dem Problem näher an der „Problem-Gruppe“ liegen. Wenn der Robbot verwirrt ist, werden die Patienten mit dem Problem näher an der „Kein-Problem-Gruppe“ liegen. Da die Gruppen gleich groß sind, hat der Roboter eine 50/50-Chance, rein durch Glück richtig zu raten. Dies gibt den Wissenschaftlern ein perfektes „Zufallsniveau“, mit dem sie vergleichen können.

Die schockierende Entdeckung: Nicht blind, nur schwach

Als das Team CANDOR auf 22 verschiedene leistungsstarke Roboter über 20 verschiedene Datensätze hinweg anwendete (einschließlich Thorax-Röntgenbildern, Augen-Scans und sogar Vogelbildern), fanden sie etwas Überraschendes heraus.

Zuerst bewiesen sie, dass die Roboter nicht blind sind. Die alten Werkzeuge hatten den Anschein erweckt, die Roboter seien für seltene Krankheiten völlig unbrauchbar, aber CANDOR zeigte, dass die Roboter die Informationen tatsächlich besitzen. Sie starren nicht gegen eine leere Wand; sie stehen lediglich in einem nebligen Raum.

Dennoch sind die Roboter sehr schwach. Selbst der beste Roboter in der Studie, genannt RAD-DINO, der speziell auf Thorax-Röntgenbildern trainiert wurde, war bei Fällen von Pneumothorax noch in 18,4 % der Fälle verwirrt. Das bedeutet, dass der interne Plan des Roboters bei fast jedem fünften Patienten mit einem Lungenkollaps diesen Patienten näher an einen gesunden Menschen als an einen anderen Menschen mit einem Lungenkollaps platzierte.

Die Zahlen waren bei anderen Erkrankungen noch drastischer. Bei Glaukom (einer Augenerkrankung) erbrachte der beste Roboter die Leistung des reinen Zufalls (50 %), was bedeutete, dass er nicht besser war als ein Münzwurf. Für Vogelarten war derselbe Roboter ein Genie und war nur in 4,5 % der Fälle verwirrt. Aber für Thorax-Röntgenbilder war er zu 42,8 % verwirrt. Es ist, als wäre der Roboter ein Meisterkoch, der eine seltene Gewürzmischung perfekt identifizieren kann, aber verwirrt ist, wenn er gefragt wird, Salz von Zucker zu unterscheiden.

Warum passiert das?

Das Team fragte sich auch: „Was bringt einen Roboter zur Verwirrung?“ Sie testeten viele Ideen. Liegt es daran, dass der Robot zu klein ist? Nein. Liegt es daran, dass er mit alten Daten trainiert wurde? Nein. Liegt es daran, dass die Krankheit selten ist? Nein.

Sie fanden eine Sache, die Verwirrung stark vorhersagt: Erasure Retention (Aufrechterhaltung nach Löschung). Stellen Sie sich vor, Sie nehmen ein Foto eines gebrochenen Knochens und benutzen dann einen magischen Radiergummi, um den gebrochenen Teil wegzuwischen, sodass nur der gesunde Knochen übrig bleibt. Wenn Sie dieses „gelöschte“ Foto dem Roboter zeigen, verändert sich sein interner Plan?

Wenn der Roboter intelligent ist, sollte sich sein Plan dramatisch verschieben, weil der wichtigste Teil weg ist.
Wenn der Roboter schwach ist, bewegt sich sein Plan kaum. Es ist, als würde eine Person auf ein Bild eines Hundes schauen, sich aber eigentlich auf das Gras im Hintergrund konzentriert; wenn man den Hund wegwischt, bemerkt sie es nicht.

Das Team fand heraus, dass die Roboter, die sich bei der Löschung der Beweise kaum veränderten, dieselben waren, die am häufigsten verwirrt waren. Dies deutet darauf hin, dass die Roboter nicht nach der Krankheit selbst suchen, sondern nach etwas anderem im Bild, wie etwa der Form des Brustkorbs oder der Beleuchtung, und dabei das eigentliche Problem übersehen.

Die gute und die schlechte Nachricht

Die Arbeit endet mit einer hoffnungsvollen, aber realistischen Wendung. Obwohl ein einzelner Roboter verwirrt sein mag, stellte das Team fest, dass es bei einem Panel von 11 verschiedenen Robotern fast immer einen gibt, der es richtig macht.

Stellen Sie sich das wie eine Gruppe von Detektiven vor. Wenn ein Detektiv einen Hinweis übersieht, wird ein anderer ihn vielleicht entdecken. Das Team zeigte, dass während ein einzelner Roboter 35,9 % der Fälle verpassen könnte, ein intelligentes System, das den besten Roboter für jedes spezifische Bild auswählt, nur 2,8 % verpassen würde. Die Information ist da; es ist nur über verschiedene Roboter verteilt. Das Problem ist nicht, dass die Daten fehlen; das Problem ist, dass wir noch kein System gebaut haben, das gut genug ist, um den richtigen Roboter für die Aufgabe auszuwählen.

Das Fazbehalten (Takeaway)

Diese Arbeit sagt nicht, dass wir unsere KI-Ärzte wegwerfen sollten. Stattdessen gibt sie uns eine neue, fairstere Methode, um zu prüfen, ob sie funktionieren. Sie zeigt uns, dass diese eingefrorenen Roboter nicht blind, sondern fragil sind. Sie lassen sich leicht täuschen und übersehen oft die feinen Details, auf die es ankommt. Durch die Nutzung von CANDOR können Ärzte und Wissenschaftler nun genau erkennen, bei welchen Krankheiten ein Roboter schwach ist, noch bevor sie ihn überhaupt einsetzen. Es ist eine Erinnerung daran, dass nur weil ein Roboter groß und leistungsstark ist, das nicht bedeutet, dass er alles klar sieht; manchmal braucht er einfach eine bessere Karte.

Technisches Resümee: CANDOR – Chance-Kalibrierte Diskordanz in gefrorenen Foundation-Encodern

Problemstellung

Die aktuelle Evaluierung von gefrorenen Foundation-Encodern stützt sich fast ausschließlich auf die Leistung eines leichtgewichtigen „Heads“ (z. B. eines linearen Klassifikators), der auf den gefrorenen Merkmalen des Encoders trainiert wurde, und misst diese typischerweise mittels der Area Under the Receiver Operating Characteristic Curve (AUROC). Diese Metrik bestimmt zwar die Entscheidungen bei der Bereitstellung, versäumt es jedoch, einen kritischen Fehlermodus aufzuzeigen: den geometrischen Kollaps.

Bestehende geometrische Maße, wie etwa die Nearest-Neighbor-Diskordanz, versuchen zu quantifizieren, wie gut ein Encoder Klassen in seinem Merkmalsraum trennt. Diese Maße werden jedoch durch die Klassenprävalenz konfundiert. Wenn die Referenzbanken (positive und negative Proben) von ungleicher Größe sind, dominiert die größere Bank die Nearest-Neighbor-Suche aufgrund ihrer Dichte statt aufgrund der geometrischen Trennung. Infolgedessen erscheinen seltene Befunde als „kollabiert“ (d. h. Positives liegt näher bei Negativen), schlichtweg weil die Negativen zahlreicher sind, und nicht, weil der Encoder keine Informationen besitzt. Dies erzeugt einen systematischen Bias, bei dem die Schwere des gemeldeten Fehlers der Seltenheit des Befundes folgt und nicht der Qualität der Kodierung.

Methodik: Das CANDOR-Framework

Die Autoren führen CANDOR (Chance-Calibrated Neighborhood DiscORdance) ein, ein Maß, das darauf ausgelegt ist, geometrisches Versagen von Prävalenz-Bias zu isolieren.

Kernoperator

CANDOR misst den Anteil der positiven Proben, die ein Encoder näher an ihre Gegenlabel-Nachbarn als an ihre eigenen Art innerhalb eines strikt abgestimmten Erwerbskontexts (z. B. gleiches Krankenhaus, gleiche Projektion, gleiche Ansicht) platziert.

Kontext-Matching: Der Datensatz wird in Kontexte $s$ basierend auf Akquisitions-Kovariaten (Standort, Projektion, Quell-Datensatz) partitioniert, um sicherzustellen, dass Vergleiche nur zwischen Bildern erfolgen, die sich ausschließlich durch den interessierenden Befund unterscheiden.
Gleich große Banken: Für eine positive Abfrage $x$ in Kontext $s$ konstruiert die Methode zwei Referenzbanken: eine positive Bank $B^+_s$ und eine negative Bank $B^-_s$ , beide mit der gleichen Größe $n$ .
Diskordanz-Metrik ( $DM_g$ ): Für eine positive Abfrage $x$ berechnet die Methode die durchschnittliche Kosinus-Ähnlichkeit zu ihren $k$ nächsten Nachbarn in der negativen Bank ( $c^-$ ) und der positiven Bank ( $c^+$ ). Die Diskordanz ist definiert als $DM_g(x) = c^-(x) - c^+(x)$ .
Der Operator ( $D$ ): Die endgültige Metrik ist die Wahrscheinlichkeit, dass $DM_g(x) > 0$ für eine zufällige positive Probe $x$ ist:
$D(g; F, s) = \Pr[DM_g(x) > 0 \mid F(x) = 1, x \in s]$
Dies stellt den Anteil der positiven Proben dar, die ein Encoder näher an das entgegengesetzte Label als an das eigene setzt.

Theoretische Garantien

Exaktes Chance-Niveau: Die Autoren beweisen (Lemma 1), dass bei Referenzbanken gleicher Größe die Label-Gruppen unter Umbeschriftung austauschbar sind. Daher ist die erwartete Diskordanzrate für einen Encoder ohne Information über den Befund (ein „blinder“ Encoder) exakt 0,5 (50 %). Dies liefert eine feste, theoretische Nullhypothese, ohne dass eine empirische Schätzung erforderlich ist.
Unkorrigierter Bias: Die Arbeit zeigt, dass ungleiche Banken ( $m > n$ ) die Diskordanzrate für blinde Encoder über 0,5 heben und so systematisch den Anschein eines Kollapses für seltene Befunde erzeugen.

Zusätzliche Instrumente

Irreduzibilitäts-Grenze: Die Autoren beweisen, dass, wenn eine positive Probe einen „diskordanten Zwilling“ (einen negativen Nachbarn, der näher liegt als jeder positive Nachbar) besitzt, die normalisierte Margin ( $m/L$ ) eines beliebigen Lipschitz-konformen Heads auf diesem Encoder begrenzt ist. Dies impliziert, dass für diese spezifischen Fälle keine Menge an Head-Kapazität die Klassen trennen kann; das Versagen ist geometrisch.
Erasure Retention (Löschungs-Retention): Eine label-freie Metrik, die misst, wie stark sich die Repräsentation ändert, wenn die annotierte Evidenzregion verdeckt (mittelwertgefüllt) wird. Eine hohe Retention (wenig Bewegung) deutet darauf hin, dass der Encoder nicht auf die Evidenz achtet.
Nachbarschaftsimpurität: Ein label-freier Score, der versucht, diskordante Zwillinge ohne Ground-Truth-Labels zu identifizieren, wobei die Arbeit feststellt, dass dies im Vergleich zu konfidenzbasierten Baselines schlecht abschneidet.

Kernbeiträge

Ein Chance-kalibrierter Operator: Die Einführung gleich großer Referenzbanken fixiert das Chance-Niveau exakt auf 0,5 und korrigiert den Prävalenz-Bias bestehender Diskordanz-Maße.
Eine Irreduzibilitäts-Grenze: Ein theoretischer Beweis, dass diskordante Zwillinge eine harte Obergrenze für die Margin eines jeden Lipschitz-konformen Heads setzen und somit zwischen „blinden“ Encodern (keine Information) und „schwachen“ Encodern (Information vorhanden, aber geometrisch komprimiert) unterscheiden.
Eine umfassende Landkarte des Versagens: Eine empirische Analyse über 22 Encoder, 20 Datensätze, 7 Domänen und 605.443 Bilder, die zeigt, dass gefrorene Encoder nicht blind sind, sondern feingliedrige Befunde schwach kodieren, wobei die Fehlerraten signifikant nach Domäne variieren.

Experimentelle Ergebnisse

Umfang

Die Studie evaluiert 22 gefrorene Encoder (darunter RAD-DINO, DINOv3, CLIP sowie domänenspezifische Modelle wie Phikon und RETFound) über:

Thorax-Radiographie: 12 Befunde über 11 Akquisitionskontexte (MIMIC-CXR, CheXpert, etc.).
Andere medizinische Domänen: Histopathologie, Fundus (Retinopathie, Glaukom), Dermatologie, Mammographie.
Natürliche Domänen: Vogelarten, Flugzeugvarianten.

Wichtigste Erkenntnisse

Nicht blind, aber schwach: Entgegen der Hypothese, dass Encoder gegenüber feingliedrigen medizinischen Befunden „blind“ seien, zeigt die korrigierte CANDOR-Metrik, dass kein Encoder wirklich blind ist (alle Scores liegen signifikant unter dem 50%-Chance-Niveau). Sie sind jedoch schwach.
- Beispiel: Das beste Thorax-Modell (RAD-DINO) erreicht einen AUROC von 84,5 für Pneumothorax, platziert aber dennoch 18,4 % der Pneumothorax-Positiven näher an einem negativen Film als an einem positiven innerhalb desselben Krankenhauses.
- Beispiel: Über 12 Thorax-Befunde hinweg liegt die durchschnittliche Diskordanzrate bei 27,7 %.
Domänen-Varianz: Die Schwäche ist nicht einheitlich.
- Gelöst: Histopathologie (Tumorkacheln) und Vogelarten sind gut aufgelöst (Diskordanzraten ~2,7 %–7,7 %).
- Schwach: Thorax-Befunde haben eine mediane Diskordanz von 42,1 %.
- Chance-Niveau: Glaukom und mammographische Malignität werden auf oder nahe am Chance-Niveau kodiert (49,8 %–50,0 %) und leisten nicht besser als ein zufällig initialisierter ViT.
Selektion vs. Information: Während ein einzelner Lipschitz-konformer Head durch die Geometrie diskordanter Zwillinge begrenzt ist, kann ein „Oracle“-Selektor, der den besten Head pro Bild wählt, signifikante Leistung zurückgewinnen. In Fällen, in denen ein einzelner Head 35,9 % der Positiven übersieht, übersieht ein Selektor aus 11 Heads nur 2,8 %. Das Defizit ist Selektion, nicht Information.
Korrelation mit Erasure Retention: Es besteht eine starke positive Korrelation (Spearman 0,855) zwischen der Erasure Retention (wie wenig sich das Embedding bewegt, wenn die Evidenz entfernt wird) und der Diskordanzrate. Encoder, die sich kaum bewegen, wenn die Evidenz entfernt wird, sind diejenigen, die Positive neben ihre Gegenspieler platzieren.
Keine Assoziation mit anderen Faktoren: Das Versagen steht nicht in Verbindung mit dem Pretraining-Ziel (SSL vs. I-T vs. Supervised), der Modellskalierung, dem Veröffentlichungsjahr oder der Größe des Befundes.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CANDOR ein Diagnosewerkzeug für das Pretraining bereitstellt, das identifizieren kann, welche Befunde ein gefrorener Encoder schlecht unterstützt, bevor überhaupt ein Head trainiert wird.

Umkehrung der Schlussfolgerungen: Die Korrektur kehrt die Interpretation des Encoder-Versagens um. Anstatt dass seltene Befunde aufgrund der Prävalenz „kollabieren“, werden sie als Ausdruck einer spezifischen, messbaren Schwäche offenbart.
Strukturelle Limitation: Das Versagen ist strukturell. Wenn ein diskordanter Zwilling existiert, verhindert die Geometrie selbst, dass irgendein Lipschitz-konformer Head eine breite Margin erreicht. Der einzige Ausweg ist eine nicht-Lipschitz-konforme Selektionsregel (Wahl verschiedener Encoder für verschiedene Bilder), was den Zugriff auf das Label während der Inferenz erfordert.
Praktische Implikation: Gefrorene Encoder sind nicht universell „blind“ gegenüber feingliedrigen klinischen Evidenzen; vielmehr kodieren sie spezifische Arten von Evidenz (wie Thorax-Befunde) schwach. Diese Schwäche ist messbar, durch die Head-Architektur irreduzibel und über Domänen hinweg kartierbar.

Die Autoren kommen zu dem Schluss, dass während die Lücke zwischen dem, was ein Panel von Encodern weiß, und dem, was ein einzelner gefrorener Encoder extrahieren kann, groß ist, der unmittelbare Wert von CANDOR darin liegt, „weichen Boden“ zu identifizieren – also spezifische Befunde, bei denen die gefrorene Geometrie für eine zuverlässige Trennung unzureichend ist.