💻 computer science

Recurrent Contrastive Learning for Imbalanced Medical Image Classification

Dieses Paper schlägt Recurrent Contrastive Learning (RCL) vor, ein neuartiges Framework, das eine Temporal Memory Queue nutzt, um Temporal Anchors zu generieren und die latente Support-Region von Tail-Klassen progressiv zu erweitern, wodurch die Klassenimbalance gemildert und die Entscheidungsgrenzen in der medizinischen Bildklassifizierung verbessert werden.

Ursprüngliche Autoren: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen

Veröffentlicht 2026-08-05

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen, Yong Jiang, Yongping Lu, Xin Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Tierarten im Zoo zu erkennen. Wenn der Zoo 1.000 Löwen, aber nur 5 Tiger hat, wird der Roboter sehr gut darin werden, Löwen aufzuspüren, und wird wahrscheinlich vergessen, wie ein Tiger aussieht, oder schlimmer noch, er könnte denken, dass jedes katzenartige Tier ein Löwe ist. Dies ist ein häufiges Problem in der Welt der medizinischen KI namens „Klassenungleichgewicht“ (Class Imbalance). Ärzte verfügen über Unmengen an Daten für häufige Krankheiten, aber nur über sehr wenige für seltene oder schwere Fälle. Wenn KI-Modelle mit diesen ungleichmäßigen Daten trainiert werden, werden sie zugunsten der häufigen Dinge voreingenommen und übersehen die seltenen, kritischen Fälle. Um dies zu beheben, versuchen Wissenschaftler normalerweise entweder, dem Roboter mehr Bilder der seltenen Tiere zu zeigen (Resampling), oder ihm beizubringen, während des Unterrichts besonders auf sie zu achten (Reweighting). Aber es gibt einen Haken: Diese Methoden führen oft nur dazu, dass der Roboter intensiver auf die wenigen Bilder der seltenen Tiere schaut, ohne den seltenen Tieren tatsächlich genug „Raum“ in seinem Gehirn zu geben, damit sie sich klar von den häufigen unterscheiden können.

Hier setzt eine neue Studie von Zhiyuan Zhu und seinem Team mit einer cleveren Idee namens Recurrent Contrastive Learning (RCL) an. Anstatt nur das Kartendeck neu zu mischen oder bei den seltenen Exemplaren lauter zu schreien, haben sie beschlossen, einen „Speicherpuffer“ zu bauen, der hilft, das Territorium der seltenen Krankheiten im Geist der KI zu erweitern. Stellen Sie sich das wie eine überfüllte Tanzfläche vor, auf der die beliebten Kids (häufige Krankheiten) den ganzen Platz einnehmen. Die seltenen Kids (seltene Krankheiten) sind in eine winzige Ecke gedrängt. Die Lösung der Forscher besteht darin, „Geistertänzer“ aus früheren Übungseinheiten einzuführen – alte Versionen der Bewegungen der seltenen Kids –, um um sie herum zu stehen und eine schützende Blase zu bilden. Diese Blase drängt die beliebten Kids weg und gibt den seltenen Krankheiten den Raum, den sie brauchen, um korrekt erkannt und unterschieden zu werden. Das Team testete dies an drei verschiedenen medizinischen Datensätzen, darunter Karotis-Ultraschallaufnahmen, Bilder zur diabetischen Retinopathie und Knie-Röntgenaufnahmen, und stellte fest, dass ihre Methode der KI konsequent half, die seltenen Zustände besser zu erkennen als bisherige Techniken.

Das Problem: Der „Beliebte-Kids“-Effekt in der medizinischen KI

In der Welt der medizinischen Bildgebung sind nicht alle Krankheiten gleich. Einige, wie eine gewöhnliche Erkältung oder ein leichter Hautausschlag, kommen ständig vor. Andere, wie seltene genetische Störungen oder spezifische Stadien von Krebs, sind viel seltener. Wenn wir eine KI darauf trainieren, diese Zustände zu diagnostizieren, ist das so, als würde man einen Schüler trainieren, der nur 1.000 Beispiele für eine Erkältung sieht, aber nur 5 Beispiele für eine seltene Krankheit. Natürlich wird der Schüler (die KI) zum Experten für die Erkältung, ist aber verwirrt, wenn er die seltene Krankheit sieht. Er könnte die seltene Krankheit sogar mit der häufigen verwechseln, weil die seltene Krankheit in der „Psyche“ der KI nicht genug Raum hat, um eigenständig zu existieren.

Das Paper weist darauf hin, dass bestehende Lösungen versuchen, dies zu beheben, indem sie der KI entweder mehr Beispiele der seltenen Krankheit zeigen (Resampling) oder ihr sagen, sie solle „mehr Aufmerksamkeit“ auf diese wenigen Beispiele richten (Reweightng). Während diese Methoden ein wenig helfen, lösen sie nicht das Grundproblem: Die seltenen Krankheiten sind immer noch in eine winzige, überfüllte Ecke des Merkmalsraums der KI gequetscht. Sie sind so kompakt, dass die häufigen Krankheiten leicht in ihr Territorium „einbrechen“ können, was zu Fehlern führt.

Die Lösung: Zeitreisende Geister und schützende Blasen

Die Autoren schlagen eine neue Strategie namens Recurrent Contrastive Learning (RCL) vor. Um zu verstehen, wie es funktioniert, stellen Sie sich den Lernprozess der KI als eine Serie von Trainingssitzungen im Laufe der Zeit vor.

1. Das zeitreisende Gedächtnis (Temporal Memory Queue)
Normalerweise erinnert sich eine KI nur an die Beispiele, die sie in der aktuellen Trainingscharge sieht. RCL führt eine spezielle „Zeitmaschine“ ein, die Temporal Memory Queue (TMQ). Diese Warteschlange hält nicht nur die aktuellen Bilder, sondern speichert auch die „Merkmalszustände“ (das Verständnis der KI für die Bilder) aus früheren Trainingssitzungen. Es ist wie das Führen eines Tagebuchs darüber, was die KI letzte Woche, letzten Monat und so weiter gelernt hat. Dies ermöglicht es der KI, zurückzublicken, wie sie die seltenen Krankheiten in der Vergangenheit verstanden hat, selbst wenn sie vor kurzem keine neuen Beispiele von ihnen gesehen hat.

2. Die Geistertänzer (Temporal Anchors)
Hier liegt der magische Trick. Wenn die KI versucht, etwas über eine seltene Krankheit (eine „Tail Class“) zu lernen, blickt sie in ihr zeitreisendes Tagebuch. Sie wählt die „Geistertänzer aus – alte Merkmalsrepräsentationen dieser seltenen Krankheit aus vorherigen Sitzungen. Diese Geister werden dann verwendet, um einen Temporal Anchor (TAR) zu erstellen.

Stellen Sie sich die seltene Krankheit als eine kleine Insel in einem riesigen Ozean vor. Die häufigen Krankheiten sind riesige Kontinente in der Nähe. Oh ohne Hilfe spülen die Ozeanwellen (die Merkmale der häufigen Krankheiten) über die Insel, was es schwierig macht, sie zu unterscheiden. Die TARs fungtieren als eine Reihe von Bojen oder einer schützenden Barriere, die um die Insel platziert wird. Diese Bojen bestehen aus den „Geisterversionen“ der Insel aus der Vergangenheit. Durch das Platzieren dieser Bojen um die seltene Krankheit erweitert die KI effektiv das Territorium der Insel. Sie schafft eine „Pufferzone“, die die häufigen Krankheiten wegdrückt und sicherstellt, dass die seltene Krankheit ihren eigenen, deutlichen Raum hat.

3. Die rekursive Schleife
Der Prozess ist „rekursiv“, was bedeutet, dass er immer und immer wieder abläuft. Während die KI trainiert, aktualisiert sie ständig ihre Speicherwarteschlange mit neuen Informationen, behält aber gleichzeitig die alten Anker bei. Dies erzeugt ein wachsendes, sich ausdehnendes Feld um die seltenen Krankheiten, was sie robuster und leichter von den häufigen zu unterscheiden macht.

Was sie herausfanden: Ein klareres Bild

Das Team testete diese Methode an drei realen medizinischen Datensätzen:

Karotis-Ultraschall: Bilder von Blutgefäßen im Hals zur Überprüfung von Plaque (3.404 Bilder).
Diabetische Retinopathie: Augenbilder zur Überprüfung des Sehverlusts (3.662 Bilder).
Knie-Osteoarthritis: Röntgenaufnahmen von Knien zur Einstufung des Schweregrads der Arthrose (8.260 Bilder).

In allen drei Fällen zeigte die RCL-Methode konsistente Verbesserungen gegenüber den besten bestehenden Methoden.

Beim Karotis-Datensatz erreichte die neue Methode eine balancierte Genauigkeit (Balanced Accuracy) von 87,10 % und schlug damit den bisherigen Bestwert.
Beim Knie-Datensatz verbesserte sie die balancierte Genauigkeit um 9,09 % im Vergleich zur Verwendung des Basis-KI-Modells ohne die speziellen Gedächtnistricks.
Beim Augen-Datensatz erreichte die Methode einen Quadratic Weighted Kappa-Wert von 0,92, was ein sehr hoher Wert ist, der eine exzellente Übereinstimmung mit menschlichen Experten anzeigt.

Die Forscher visualisierten auch, was im Inneren des „Gehirns“ der KI geschah, mithilfe einer Technik namens t-SNE (was wie eine Karte ist, die zeigt, wie nah oder weit entfernt verschiedene Dinge voneinander sind). Sie sahen, dass die seltenen Krankheiten ohne ihre Methode in winzigen, überfüllten Punkten zusammengedrängt waren. Mit RCL dehnten sich die seltenen Krankheiten zu größeren, klar definierten Bereichen mit deutlichen „Pufferzonen“ zwischen ihnen und den häufigen Krankheiten aus. Die „Geistertänzer“ (Anker) schufen erfolgreich ein schützendes Feld, das verhinderte, dass die häufigen Krankheiten die seltenen verdrängten.

Warum das wichtig ist

Dieses Paper legt nahe, dass wir nicht nur mehr Daten für seltene Krankheiten benötigen, sondern intelligentere Wege, die Daten, die wir bereits haben, zu nutzen. Indem wir die eigene Geschichte der KI nutzen, um ein Schutzfeld um seltene Zustände zu bauen, können wir medizinische KI fairer und genauer machen. Dies ist entscheidend, da das Übersehen einer seltenen, aber schweren Krankheit in der realen Welt lebensbedrohlich sein kann. Die Autoren merken an, dass ihre Methode zwar gut funktioniert, derzeit aber eine manuelle Abstimmung der Einstellungen erfordert (wie etwa, wie viele „Geister“ im Speicher zu behalten sind). Zukünftige Arbeiten werden darauf abzielen, diesen Prozess zu automatisieren. Aber für den Moment bietet dieser Ansatz des „zeitreisenden Gedächtnisses“ einen vielversprechenden neuen Weg, um sicherzustellen, dass die seltensten Patienten die Aufmerksamkeit erhalten, die sie verdienen.

Technisches Resümee: Rekurrentes Kontrastives Lernen für die unbalancierte Klassifizierung medizinischer Bilder

Problemstellung

Die Klassifizierung medizinischer Bilder sieht sich häufig mit einer schweren Klassenimbalance konfrontiert, die auf den inhärenten Disparitäten der Krankheitsinzidenz beruht, bei denen seltene Zustände (Tail-Klassen) signifikant weniger Proben aufweisen als häufig vorkommende Zustände (Head-Klassen). Bestehende Ansätze, wie etwa das Resampling von Klassen oder das Reweighting von Verlustfunktionen, operieren primär innerhalb der beobachteten Merkmalsverteilung. Während diese Methoden anpassen, wie Merkmale gewichtet oder gesampelt werden, versäumen sie es, die latente Support-Region von Tail-Klassen explizit zu vergrößern. Infolgedessen bleiben die Repräsentationen der Tail-Klassen übermäßig kompakt und werden leicht von den Head-Klassen im Merkmalsraum okkupiert, was zu verzerrten Entscheidungsgrenzen und einer reduzierten Interklassen-Separabilität führt. Dies ist besonders kritisch, da Tail-Klassen oft mit schweren oder seltenen Erkrankungen korrespondieren, bei denen eine genaue Identifizierung für klinische Entscheidungsfindungen entscheidend ist.

Methodik: Rekurrentes Kontrastives Lernen (RCL)

Die Autoren schlagen das Recurrent Contrastive Learning (RCL) vor, ein Framework, das die Klassenimbalance aus einer „Feld-Expansions-Perspektive“ angeht. Anstatt lediglich bestehende Daten umzugewichten, erweitert RCL aktiv die Support-Region von Tail-Klassen im latenten Raum. Die Methodik besteht aus drei Kernkomponenten:

1. Backbone und Merkmalsextraktion

Das Framework nutzt DINOv3 mit LoRA (Low-Rank Adaptation) Adaptern als Backbone.

Architektur: Ein Eingabebild wird verarbeitet, um einen 1280-dimensionalen Klassentoken ( $f_i$ ) zu extrahieren.
Heads: Ein Klassifizierungs-Head ( $G(\cdot)$ ) gibt Vorhersagen für die Cross-Entropy-Supervision aus, während ein Projektions-Head ( $P(\cdot)$ ) die Merkmale auf ein 256-dimensionales normalisiertes Embedding ( $z_i$ ) für das kontrastive Lernen abbildet.
Trainingsstrategie: Der DINOv3-Backbone bleibt eingefroren, und nur die LoRA-Adapter sowie die Heads werden optimiert, was eine effiziente Anpassung mit wenigen trainierbaren Parametern gewährleistet.

2. Temporale Memory Queue (TMQ)

Um die Einschränkungen des Batch-basierten oder FIFO-Queue-basierten kontrastiven Lernens zu überwinden, führt RCL eine Temporale Memory Queue (TMQ) ein.

Funktion: Die TMQ bewahrt korpusweite Merkmale über mehrere Trainingsepochen hinweg und bietet so diversifizierte globale Referenzen.
Mechanismus: In jeder Epoche $m$ aktualisiert die Projektions-Einbettung $z_i^{(m)}$ das gespeicherte Merkmal $q_i^{(m)}$ in der Memory Bank $Q^{(m)}$ mittels eines exponentiell gleitenden Durchschnitts (EMA):
$q_i^{(m)} = (1 - \lambda)q_i^{(m-1)} + \lambda z_i^{(m)}$
Speicherung: Die aktualisierten Banks werden über die Zeit in eine Warteschlange aufgenommen, wodurch die Sequenz $TMQ = \{Q^{(m)}\}_{m=0}^M$ entsteht. Dies ermöglicht dem Modell den Zugriff auf historische globale Embeddings, wodurch sichergestellt wird, dass positive und negative Paare für das kontrastive Lernen zeitlich divers und mit dem sich entwickelnden Repräsentationsraum abgestimmt sind.

3. Temporale Anker (TARs) und Rekurrenter Kontrastiver Verlust

Die zentrale Innovation ist die Konstruktion von Temporalen Ankern (TARs), um ein „Ankerfeld“ um die Tail-Klassen zu bilden.

Ankerkonstruktion: Für Tail-Klassen ruft das Modell Merkmale aus historischen Memory Banks (Epochen $m-st$) ab. Es wendet K-Means-Clustering auf die intra-klassigen Merkmale an und selektiert die untersten- $k_t$ Merkmale (jene, die am weitesten vom Cluster-Zentrum entfernt sind). Diese selektierten Merkmale werden mit Gaußschem Rauschen perturbiert, um das Anker-Set $A$ zu erstellen.
Feld-Expansion: Diese Anker werden rekurrent wiederverwendet, um die Umgebung der Tail-Klassen-Merkmale im latenten Raum zu besetzen. Dies erzeugt eine Puffer-Margin, die das Eindringen (Encroachment) der Head-Klassen unterdrückt.
Verlustfunktion: Das Framework verwendet einen rekurrenten kontrastiven Verlust ( $L_{RCL}$ ), der sowohl aktuelle Batch-Merkmale als auch die konstruierten Anker einbezieht:
$L_{RCL} = -\log \frac{\sum_{q \in Q_+^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A_+} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}{\sum_{q \in Q^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}$
Der finale Verlust ist eine Kombination aus Cross-Entropy und dem rekurrenten kontrastiven Verlust: $L = L_{ce} + \alpha L_{RCL}$ .

Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

RCL-Framework: Ein neuartiges Framework für imbalanciertes Lernen, das die Support-Regionen von Tail-Klassen durch die Injektion rekurrent konstruierter temporaler Anker in das kontrastive Lernen vergrößert und so das Eindringen von Head-Klassen effektiv mildert.
Temporale Memory Queue (TMQ): Ein Mechanismus zur Bewahrung korpusweiter historischer Embeddings über Trainingsphasen hinweg, welche zur Konstruktion von TARs für die Feld-Expansion von Tail-Klassen genutzt werden.
Empirische Validierung: Umfangreiche Experimente auf drei imbalancierten medizinischen Datensätzen (ein privater Multi-Center-Karotis-Datensatz, APTOS 2019 und KneeOA), die konsistente Verbesserungen gegenüber starken Baselines zeigen.

Experimentelle Ergebnisse

Die Methode wurde auf drei Datensätzen unter Verwendung von Balanced Accuracy (Bacc), F1-Score, Accuracy und Quadratic Weighted Kappa (QWK) evaluiert.

Leistung: RCL erzielte die beste Balanced Accuracy auf allen drei Datensätzen.
- Carotis: 87,10 % Bacc (gegenüber 79,75 % für Vanilla DINOv3).
- APTOS 2019: 69,01 % Bacc und 0,922 QWK (übertrifft die am höchsten bewertete CNN-Ensemble-Methode der ursprünglichen Challenge).
- KneeOA: 70,19 % Bacc (gegenüber 61,10 % für Vanilla DINOv3).
Backbone-Agnostik: Bei der Verwendung von ResNet50 anstelle von DINOv3 lieferte RCL dennoch substanzielle Verbesserungen und übertraf sogar die Performance des DINOv3-Fine-Tunings auf den Carotis- und KneeOA-Datensätzen.
Qualitative Analyse: t-SNE-Visualisierungen bestätigten, dass RCL eine ausgewogenere Merkmalsverteilung erzeugt. Speziell das „Ankerfeld“ erweiterte die Grenze der Tail-Klassen und besetzte Zwischenregionen zwischen Head- und Tail-Klassen, wodurch ein effektiver Puffer entstand, der die Zentren der Tail-Klassen von den Verteilungen der Head-Klassen wegdrängte.

Bedeutung und Ansprüche

Das Paper behauptet, dass RCL einen signifikanten Paradigmenwechsel in der Adressierung von Klassenimbalance darstellt, indem es über einfaches Reweighting oder Resampling hinausgeht. Durch die Interpretation des Repräsentationslernens aus einer Feld-Expansions-Perspektive vergrößert die Methode explizit die latente Support-Region von Tail-Klassen. Dieser Ansatz verhindert, dass die Repräsentationen der Tail-Klassen von den dominanten Head-Klassen „okkupiert“ werden, wodurch die Interklassen-Separation und die Fairness der Entscheidungsgrenzen verbessert werden.

Die Autoren merken an, dass das Framework zwar effektiv ist, derzeit jedoch auf manueller Hyperparameter-Optimierung (z. B. Sample-Steps und Anker-Selektionsraten) basiert. Sie identifizieren die Entwicklung einer adaptiven Anker-Selektion als zukünftige Forschungsrichtung, um diese Limitation zu adressieren. Der Code wird zur Verfügung gestellt, um weitere Forschung in diesem Bereich zu erleichtern.