💻 computer science

Recurrent Contrastive Learning for Imbalanced Medical Image Classification

Dit artikel stelt Recurrent Contrastive Learning (RCL) voor, een nieuw framework dat een Temporal Memory Queue gebruikt om Temporal Anchors te genereren en de latente ondersteuningsregio van tail-klassen progressief uit te breiden, waardoor klassenonbalans wordt verminderd en beslissingsgrenzen in medische beeldclassificatie worden verbeterd.

Oorspronkelijke auteurs: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen, Yong Jiang, Yongping Lu, Xin Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om verschillende soorten dieren in een dierentuin te herkennen. Als de dierentuin 1.000 leeuwen heeft maar slechts 5 tijgers, zal de robot heel goed worden in het spotten van leeuwen en waarschijnlijk vergeten hoe een tijger eruitziet, of erger nog, hij kan denken dat elk katachtig dier een leeuw is. Dit is een veelvoorkomend probleem in de wereld van medische AI genaamd "class imbalance" (klasse-onbalans). Artsen hebben bergen data voor veelvoorkomende ziekten, maar heel weinig voor zeldzame of ernstige ziekten. Wanneer AI-modellen worden getraind op deze ongelijkmatige data, worden ze bevooroordeeld naar de veelvoorkomende zaken en missen ze de zeldzame, kritieke gevallen. Om dit op te lossen, proberen wetenschappers meestal óf de robot meer foto's van de zeldzame dieren te laten zien (resampling), óf hem te vertellen dat hij extra goed moet opletten tijdens de lessen (reweighting). Maar er is een addertje onder het gras: deze methoden zorgen er vaak alleen voor dat de robot harder naar de weinige foto's van de zeldzame dieren kijkt, zonder dat ze de zeldzame dieren daadwerkelijk genoeg "ruimte" geven in het brein van de robot om duidelijk op te vallen.

Dit is waar een nieuwe studie door Zhiyuan Zhu en zijn team inspringt met een slim idee genaamd Recurrent Contrastive Learning (RCL). In plaats van alleen het kaartspel te herschikken of harder tegen de zeldzame dieren te schreeuwen, besloten ze een "geheugenbuffer" te bouwen die de zeldzame ziekten helpt om hun territorium in de geest van de AI uit te breiden. Denk aan een drukke dansvloer waar de populaire kinderen (veelvoorkomende ziekten) alle ruimte opeisen. De zeldzame kinderen (zeldzame ziekten) worden in een klein hoekje weggedrukt. De oplossing van de onderzoekers is om "geestdansers" uit vorige oefensessies mee te brengen—oude versies van de bewegingen van de zeldzame kinderen—om rond hen te staan en een beschermende bubbel te creëren. Deze bubbel duwt de populaire kinderen weg, waardoor de zeldzame ziekten de ruimte krijgen die ze nodig hebben om correct gezien en herkend te worden. Het team testte dit op drie verschillende medische datasets, waaronder carotis-echografiebeelden, afbeeldingen van diabetische retinopathie en knie X-rays, en vond dat hun methode de AI consequent beter hielp om de zeldzame condities te spotten dan eerdere technieken.

Het Probleem: Het "Populaire Kind"-effect in Medische AI

In de wereld van medische beeldvorming zijn niet alle ziekten gelijk aan elkaar. Sommige, zoals een gewone verkoudheid of een milde huiduitslag, komen heel vaak voor. Andere, zoals zeldzame genetische stoornissen of specifieke stadia van kanker, zijn veel minder frequent. Wanneer we een AI trainen om deze condities te diagnosticeren, is dat als het trainen van een student die slechts 1.000 voorbeelden van een gewone verkoudheid krijgt, maar slechts 5 voorbeelden van een zeldzame ziekte. Natuurlijk wordt de student (de AI) een expert in de gewone verkoudheid, maar raakt hij in de war wanneer hij de zeldzame ziekte ziet. Hij kan de zeldzame ziekte zelfs aanzien voor de gewone ziekte omdat de zeldzame ziekte in de "geest" van de AI niet genoeg ruimte heeft om op zichzelf te bestaan.

Het artikel wijst erop dat bestaande oplossingen proberen dit op te lossen door de AI meer voorbeelden van de zeldzame ziekte te tonen (resampling) of door de AI te vertellen om "extra aandacht te besteden" aan die weinige voorbeelden (reweighting). Hoewel deze methoden een beetje helpen, lossen ze het fundamentele probleem niet op: de zeldzame ziekten zijn nog steeds samengeperst in een klein, druk hoekje van de feature-ruimte van de AI. Ze zijn zo compact dat de veelvoorkomende ziekten gemakkelijk hun territorium kunnen "binnendringen", wat leidt tot fouten.

De Oplossing: Tijdreizende Geesten en Beschermende Bubbels

De auteurs stellen een nieuwe strategie voor genaamd Recurrent Contrastive Learning (RCL). Om te begrijpen hoe dit werkt, stel je het leerproces van de AI voor als een reeks trainingssessies door de tijd heen.

1. Het Geheugen van de Tijdreis (Temporal Memory Queue)
Normaal gesproken onthoudt een AI alleen de voorbeelden die hij ziet in de huidige batch van de training. RCL introduceert een speciale "Tijdmachine" genaamd de Temporal Memory Queue (TMQ). Deze wachtrij houdt niet alleen de huidige afbeeldingen vast; het slaat de "feature states" (het begrip van de AI van de afbeeldingen) op van eerdere trainingssessies. Het is alsof je een dagboek bijhoudt van wat de AI vorige week, vorige maand, enzovoort heeft geleerd. Dit stelt de AI in staat om terug te kijken naar hoe hij de zeldzame ziekten in het verleden begreep, zelfs als hij onlangs niet veel nieuwe voorbeelden van hen heeft gezien.

2. De Geestdansers (Temporal Anchors)
Hier zit de magische truc. Wanneer de AI probeert te leren over een zeldzame ziekte (een "tail class"), kijkt hij in zijn tijdreizende dagboek. Hij kiest de "geestdansers uit—oude feature-representaties van die zeldzame ziekte uit eerdere sessies. Deze geesten worden vervolgens gebruikt om een Temporal Anchor (TAR) te creëren.

Stel je voor dat de zeldzame ziekte een klein eiland is in een enorme oceaan. De veelvoorkomende ziekten zijn enorme continenten in de buurt. Zonder hulp spoelen de golven van de oceaan (de features van de veelvoorkomende ziekten) over het eiland heen, waardoor het moeilijk is om het eiland te onderscheiden. De TARs fungeren als een reeks boeien of een beschermende barrière rond het eiland. Deze boeien zijn gemaakt van de "geestversies" van het eiland uit het verleden. Door deze boeien rond de zeldzame ziekte te plaatsen, zorgt de AI er effectief voor dat het territorium van het eiland wordt uitgebreid. Het creëert een "bufferzone" die de veelvoorkomende ziekten wegduwt, zodat de zeldzame ziekte haar eigen duidelijke ruimte heeft.

3. De Recurrente Lus
Het proces is "recurrent", wat betekent dat het keer op keer gebeurt. Terwijl de AI traint, blijft hij zijn geheugenwachtrij bijwerken met nieuwe informatie, maar hij behoudt ook de oude ankers. Dit creëert een groeiend, uitbreidend veld rond de zeldzame ziekten, waardoor ze robuuster en gemakkelijker te onderscheiden zijn van de veelvoorkomende ziekten.

Wat Ze Hebben Gevonden: Een Helderder Beeld

Het team heeft deze methode getest op drie echte medische datasets:

Carotis Echografie: Afbeeldingen van bloedvaten in de nek om plaque te controleren (3.404 afbeeldingen).
Diabetische Retinopathie: Oogafbeeldingen om visusverlies te controleren (3.662 afbeeldingen).
Knie Osteoartritis: X-rays van knieën om de ernst van artrose te beoordelen (8.260 afbeeldingen).

In alle drie de gevallen toonde de RCL-methode consistente verbeteringen ten opzichte van de beste bestaande methoden.

Op de Carotis-dataset behaalde de nieuwe methode een Balanced Accuracy van 87,10%, waarmee het de vorige beste methode versloeg.
Op de Knie-dataset verbeterde de Balanced Accuracy met 9,09% vergeleken met het gebruik van enkel het basis AI-model zonder de speciale geheugentrucs.
Op de Oog-dataset behaalde de methode een Quadratic Weighted Kappa score van 0,92, wat een zeer hoge score is die wijst op een uitstekende overeenstemming met menselijke experts.

De onderzoekers visualiseerden ook wat er binnen het brein van de AI gebeurde met een techniek genaamd t-SNE (wat een kaart is die laat zien hoe dicht of ver verschillende dingen bij elkaar liggen). Ze zagen dat zonder hun methode, de zeldzame ziekten werden samengeperst in kleine, drukke puntjes. Met RCL hadden de zeldzame ziekten zich uitgebreid tot grotere, goed gedefinieerde gebieden met duidelijke "bufferzones" tussen hen en de veelvoorkomende ziekten. De "geestdansers" (ankers) hadden succesvol een beschermend veld gecreëerd dat voorkwam dat de veelvoorkomende ziekten de zeldzame ziekten wegdrongen.

Waarom Dit Belangrijk Is

Dit artikel suggereert dat we niet alleen meer data nodig hebben voor zeldzame ziekten; we hebben slimmere manieren nodig om de data die we al hebben te gebruiken. Door de geschiedenis van de AI zelf te gebruiken om een beschermend veld rond zeldzame condities te bouwen, kunnen we medische AI eerlijker en nauwkeuriger maken. Dit is cruciaal omdat het in de echte wereld levensbedreigend kan zijn om een zeldzame maar ernstige ziekte te missen. De auteurs merken op dat hoewel hun methode goed werkt, het momenteel enige handmatige afstelling van instellingen vereist (zoals hoeveel "geesten" er in het geheugen moeten worden gehouden). Toekomstig werk zal gericht zijn op het automatiseren van dit proces. Maar voor nu biedt deze "tijdreizende geheugen"-aanpak een veelbelovende nieuwe manier om ervoor te zorgen dat de zeldzaamste patiënten de aandacht krijgen die ze verdienen van onze AI-artsen.

Technische Samenvatting: Recurrent Contrastive Learning voor Imbalanced Medische Beeldclassificatie

Probleemstelling

Medische beeldclassificatie wordt frequent geconfronteerd met ernstige klassenimbalans door de inherente verschillen in ziekteincidentie, waarbij zeldzame condities (tail classes) aanzienlijk minder monsters hebben dan veelvoorkomende condities (head classes). Bestaande benaderingen, zoals klassenresampling of loss reweighting, opereren primair binnen de geobserveerde feature-distributie. Hoewel deze methoden aanpassen hoe features worden gewogen of gesampled, slagen ze er niet in om de latente support-regio van tail-klassen expliciet te vergroten. Als gevolg hiervan blijven de representaties van tail-klassen overmatig compact en worden ze gemakkelijk overgenomen door head-klassen in de feature-ruimte, wat leidt tot bevooroordeelde beslissingsgrenzen en verminderde inter-klasse scheidbaarheid. Dit is bijzonder kritiek omdat tail-klassen vaak overeenkomen met ernstige of zeldzame ziekten waar een nauwkeurige identificatie essentieel is voor klinische besluitvorming.

Methodologie: Recurrent Contrastive Learning (RCL)

De auteurs stellen Recurrent Contrastive Learning (RCL) voor, een framework dat klassenimbalans aanpakt vanuit een "veld-expansie" perspectief. In plaats van enkel bestaande data te herwegen, vergroot RCL actief de support-regio van tail-klassen in de latente ruimte. De methodologie bestaat uit drie kerncomponenten:

1. Backbone en Feature Extractie

Het framework maakt gebruik van DINOv3 met LoRA (Low-Rank Adaptation) adapters als backbone.

Architectuur: Een invoerbeeld wordt verwerkt om een 1280-dimensionale class token ( $f_i$ ) te extraheren.
Heads: Een classifier head ( $G(\cdot)$ ) geeft voorspellingen voor cross-entropy supervisie, terwijl een projectie head ( $P(\cdot)$ ) features naar een 256-dimensionale genormaliseerde embedding ( $z_i$ ) mapt voor contrastive learning.
Trainingsstrategie: De DINOv3 backbone is bevroren, en alleen de LoRA-adapters en de heads worden geoptimaliseerd, wat zorgt voor efficiënte adaptatie met weinig trainbare parameters.

2. Temporal Memory Queue (TMQ)

Om de beperkingen van batch-niveau of FIFO queue-gebaseerde contrastive learning te overwinnen, introduceert RCL een Temporal Memory Queue (TMQ).

Functie: De TMQ bewaart corpus-niveau features over meerdere trainingsepochs, wat gediversifieerde globale referenties biedt.
Mechanisme: In elke epoch $m$ werkt de projectie embedding $z_i^{(m)}$ de opgeslagen feature $q_i^{(m)}$ in de memory bank $Q^{(m)}$ bij via een Exponential Moving Average (EMA):
$q_i^{(m)} = (1 - \lambda)q_i^{(m-1)} + \lambda z_i^{(m)}$
Opslag: De bijgewerkte banks worden over de tijd toegevoegd aan de queue, waardoor een sequentie ontstaat: $TMQ = \{Q^{(m)}\}_{m=0}^M$ . Dit stelt het model in staat om historische globale embeddings te benaderen, waardoor de positieve en negatieve paren voor contrastive learning temporeel divers zijn en in lijn zijn met de evoluerende representatieruimte.

3. Temporal Anchors (TARs) en Recurrent Contrastive Loss

De kerninnovatie is de constructie van Temporal Anchors (TARs) om een "ankerveld" rond tail-klassen te vormen.

Anchor Constructie: Voor tail-klassen haalt het model features op uit historische memory banks (epochs $m-st$). Het past K-means clustering toe op intra-klasse features en selecteert de onderste- $k_t$ features (deze die het verst van het clustercentrum liggen). Deze geselecteerde features worden geperturbeerd met Gaussische ruis om de anker-set $A$ te creëren.
Veld-expansie: Deze ankers worden recursief hergebruikt om de omliggende regio van tail-klasse features in de latente ruimte te bezetten. Dit creëert een bufferzone die de encroachement (overname) door head-klassen onderdrukt.
Loss Functie: Het framework gebruikt een recurrent contrastive loss ( $L_{RCL}$ ) die zowel huidige batch-features als de geconstrueerde ankers incorporeert:
$L_{RCL} = -\log \frac{\sum_{q \in Q_+^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A_+} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}{\sum_{q \in Q^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}$
De uiteindelijke loss is een combinatie van cross-entropy en de recurrent contrastive loss: $L = L_{ce} + \alpha L_{RCL}$ .

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

RCL Framework: Een nieuw imbalanced learning framework dat de support-regio's van tail-klassen vergroot door recursief geconstrueerde temporele ankers in de contrastive learning te injecteren, wat de encroachement door head-klassen effectief mitigeert.
Temporal Memory Queue (TMQ): Een mechanisme om corpus-niveau historische embeddings te bewaren over trainingsfasen, die worden gebruikt voor de constructie van TARs voor de veld-expansie van tail-klassen.
Empirische Validatie: Uitgebreide experimenten op drie imbalanced medische datasets (een privaat multi-center carotid dataset, APTOS 2019, en KneeOA) die consistente verbeteringen laten zien ten opzichte van sterke baselines.

Experimentele Resultaten

De methode werd geëvalueerd op drie datasets met behulp van Balanced Accuracy (Bacc), F1-score, Accuracy en Quadratic Weighted Kappa (QWK).

Prestaties: RCL behaalde de beste Balanced Accuracy op alle drie de datasets.
- Carotid: 87,10% Bacc (tegenover 79,75% voor vanilla DINOv3).
- APTOS 2019: 69,01% Bacc en 0,922 QWK (superieur aan de hoogst geplaatste CNN-Ensemble methode uit de originele challenge).
- KneeOA: 70,19% Bacc (tegenover 61,10% voor vanilla DINOv3).
Backbone Agnosticisme: Wanneer RCL ResNet50 gebruikte in plaats van DINOv3, leverde het nog steeds substantiële verbeteringen op, zelfs superieur aan de prestaties van DINOv3 fine-tuning op de Carotid en KneeOA datasets.
Kwalitatieve Analyse: t-SNE visualisaties bevestigden dat RCL een meer gebalanceerde feature-distributie creëert. Specifiek heeft het "ankerveld" de grens van de tail-klasse uitgebreid en de tussenliggende regio's tussen head en tail klassen bezet, waardoor een effectieve buffer is gevormd die de centra van de tail-klassen wegduwt van de distributies van de head-klassen.

Betekenis en Claims

Het artikel claimt dat RCL een significante verschuiving biedt in het aanpakken van klassenimbalans door verder te gaan dan eenvoudige herweging of resampling. Door representatie-leren te interpreteren vanuit een veld-expansie perspectief, vergroot de methode expliciet de latente support-regio van tail-klassen. Deze aanpak voorkomt dat de representaties van tail-klassen worden "overgenomen" door dominante head-klassen, waardoor de inter-klasse scheidbaarheid en de eerlijkheid van de beslissingsgrenzen worden verbeterd.

De auteurs merken op dat hoewel het framework effectief is, het momenteel afhankelijk is van handmatige hyperparameter-tuning (bijv. sample stappen en anker-selectieratio's). Zij identificeren de ontwikkeling van adaptieve anker-selectie als een richting voor toekomstig werk om deze beperking aan te pakken. De code wordt beschikbaar gesteld om verder onderzoek in dit domein te faciliteren.