Handling Supervision Scarcity in Chest X-ray Classification: Long-Tailed and Zero-Shot Learning

Dit artikel presenteert een oplossing voor het CXR-LT 2026-challenge die onbalans in veelvoorkomende ziektepatronen en het ontbreken van annotaties voor zeldzame aandoeningen in borstfoto's aanpakt door middel van een onbalansbewuste multi-label leermethode en een zero-shot benadering, wat resulteerde in de eerste plaats op de publieke leaderboard.

De kern

🩺 Het Probleem: De "Zeldzame Ziekte"-Dilemma

Stel je voor dat je een super slimme medische assistent (een computerprogramma) wilt trainen om longfoto's (röntgenfoto's van de borstkas) te lezen. Het probleem is dat de wereld niet eerlijk verdeeld is.

1. De "Populaire" Ziektes: Sommige ziektes komen heel vaak voor, zoals een verkoudheid of een lichte ontsteking. In de trainingsdata zijn er duizenden foto's van deze gevallen. Dit zijn de hoofdklassen.
2. De "Zeldzame" Ziektes: Andere ziektes komen heel weinig voor, misschien maar een paar keer per jaar. Er zijn maar een handjevol foto's van deze gevallen. Dit zijn de staartklassen (long-tailed).

De uitdaging: Als je een computer leert met deze ongelijke data, wordt hij een "bully". Hij wordt heel goed in het herkennen van de populaire ziektes, maar hij negeert de zeldzame. Alsof een leraar alleen de leerlingen helpt die al slim zijn, en degenen die extra hulp nodig hebben, in de steek laat.

Daarnaast is er nog een tweede probleem: Onbekende Ziektes. Wat moet de computer doen als er een ziekte op de foto staat die hij nog nooit heeft gezien? Hij heeft er geen voorbeelden van gekregen. Dit is als een detective die een moord moet oplossen, maar de dader is iemand die nog nooit in zijn dossier heeft gestaan.

🏆 De Oplossing: De CXR-LT 2026 Wedstrijd

De auteurs van dit paper hebben meegedaan aan een grote wedstrijd (de CXR-LT 2026 challenge) om precies deze problemen op te lossen. Ze hebben twee verschillende strategieën bedacht, alsof ze twee verschillende gereedschapskisten hebben.

Opdracht 1: Het Herkennen van de Zeldzame Ziektes (Long-Tailed Learning)

Om de computer te leren om ook de zeldzame ziektes goed te zien, hebben ze een slimme truc gebruikt:

• De "Gewichtsverdeling": Stel je voor dat je een weegschaal hebt. Normaal gesproken wegen de populaire ziektes heel zwaar (want er zijn er zoveel). De auteurs hebben de weegschaal gekanteld. Ze hebben de zeldzame ziektes zwaarder laten wegen in het leerproces. Als de computer een fout maakt bij een zeldzame ziekte, krijgt hij een enorme "schop onder zijn kont" om het goed te maken.
• Meer Kansen: Ze hebben ervoor gezorgd dat de computer tijdens het leren vaker foto's ziet van die zeldzame gevallen. Het is alsof je een student die slecht is in wiskunde, extra oefenbladen geeft, terwijl je de goede student gewoon laat doen wat hij al kan.
• De "Normale Check": Soms denkt de computer dat er iets mis is, terwijl alles gewoon normaal is. Om dit te voorkomen, hebben ze een "veiligheidsnet" gelegd. Als de computer heel zeker is dat de foto "normaal" is, dan worden alle waarschuwingen voor ziektes automatisch een beetje gedempt. Dit voorkomt dat hij onzin gaat roepen.

Het resultaat: Hun computer werd de beste in het vinden van zowel de veelvoorkomende als de zeldzame ziektes. Ze wonnen de eerste plaats!

Opdracht 2: Het Raadsel van de Onbekende Ziektes (Zero-Shot Learning)

Hier komt het magische deel. Voor de 6 ziektes die de computer nooit heeft gezien tijdens het trainen, mochten ze geen enkele foto gebruiken. Hoe kun je iets herkennen dat je niet kent?

• De Vertaler: Ze gebruikten een slimme "vertaler" (een model genaamd WhyXrayCLIP). Dit model is getraind om te begrijpen wat er op een foto staat én wat er in een medisch verslag staat.
• De Beschrijving: In plaats van foto's te laten zien, gaven ze de computer een tekstuele beschrijving van de onbekende ziekte. Bijvoorbeeld: "Een holte in de long die lijkt op een blaas" (voor een 'Bulla').
• De Match: De computer kijkt dan naar de foto en vraagt zich af: "Lijkt dit beeld op de tekst die ik zojuist heb gelezen?" Het is alsof je een vreemde fruitsoort ziet en vraagt: "Zie ik hier de kenmerken van een 'ananas' die ik in mijn woordenboek heb gelezen?" Zelfs als je de ananas nooit eerder hebt gezien, kun je hem herkennen aan de beschrijving.

Het resultaat: Zelfs zonder training op deze specifieke ziektes, wist hun computer ze te vinden. Ook hier werden ze nummer 1.

🏅 De Einduitslag

De auteurs hebben bewezen dat je een computer kunt leren om eerlijk te zijn naar alle ziektes toe, en zelfs slimme raadsels op te lossen zonder dat je de antwoorden van tevoren kent.

• Taak 1 (Zeldzame ziektes): Ze werden 1e in de ranglijst.
• Taak 2 (Onbekende ziektes): Ze werden ook 1e in de ranglijst.

🚀 Wat betekent dit voor de toekomst?

Dit onderzoek is een grote stap voorwaarts voor de medische wereld. Het betekent dat we in de toekomst computers kunnen hebben die:

1. Niet alleen kijken naar de "bekende" ziektes, maar ook alert zijn op zeldzame, levensbedreigende aandoeningen.
2. Kunnen omgaan met nieuwe ziektes die nog niet in hun database staan, gewoon door te lezen wat artsen erover schrijven.

Het is alsof we een medische superheld hebben gecreëerd die nooit moe wordt, nooit vergeten wat hij heeft gelezen, en altijd eerlijk is naar elke patiënt, of hun ziekte nu populair of zeldzaam is.

Technische samenvatting

Titel: Omgaan met schaarste aan supervisie bij classificatie van thoraxfoto's: Langstaart- en Zero-Shot Learning

1. Het Probleem

De classificatie van thoraxfoto's (CXR) in de klinische praktijk wordt vaak beperkt door onvolmaakte supervisie. Dit manifesteert zich in twee hoofdproblemen:

• Extreme langstaartverdeling (Long-tailed distribution): In grote datasets domineren een paar veelvoorkomende aandoeningen de data, terwijl veel klinisch belangrijke maar zeldzame afwijkingen (de "tail" classes) slechts weinig voorbeelden hebben. Standaard leeralgoritmes neigen hierdoor om de veelvoorkomende klassen te favoriseren en presteren slecht op zeldzame aandoeningen.
• Ontbrekende annotaties voor zeldzame of nieuwe bevindingen: Er zijn vaak geen labels beschikbaar voor zeldzame aandoeningen of voor aandoeningen die niet in de trainingsset voorkomen (Out-of-Distribution of OOD).
• Multi-label complexiteit: Een enkele thoraxfoto kan meerdere gelijktijdige afwijkingen bevatten, wat het leren van gebalanceerde en goed gekalibreerde voorspellingen bemoeilijkt.

De CXR-LT 2026 challenge adresseert deze uitdagingen met een benchmark gebaseerd op het PadChest-dataset, verdeeld in twee taken:

1. Taak 1: Langstaart multi-label classificatie voor 30 in-distribution (ID) klassen.
2. Taak 2: Zero-shot herkenning van 6 out-of-distribution (OOD) klassen zonder gebruik van labels of voorbeelden van deze klassen tijdens het trainen.

2. Methodologie

De auteurs presenteren taakspecifieke oplossingen die zijn ontworpen om robuust te zijn tegen label-ongelijkheid en onvolledige supervisie.

Taak 1: Langstaart Multi-label Classificatie
De aanpak combineert onbalans-bewust trainen met een verfijnde inferentie-pijplijn:

• Preprocessing: Beelden worden geresizeerd naar 512x512, omgezet naar 3-kanaals RGB en genormaliseerd.
• Architectuur: Er wordt gebruikgemaakt van ConvNeXtV2-Base als backbone, vooraf getraind op MIMIC-CXR. Twee varianten worden gefinetuned: een standaard MLP-head en een CSRA-head (Class-Specific Spatial Attention) die ruimtelijke aandacht voor specifieke klassen integreert.
• Onbalans-bewuste Doelfunctie (Distribution-Balanced Loss): Om de extreme onbalans aan te pakken, wordt een DB-loss gebruikt. Deze combineert:
  • Class-dependent reweighting: Gebaseerd op het "effective number" van samples om de bijdrage van zeldzame klassen te verhogen.
  • Margin adjustment: Een aanpassing voor positieve labels om de scheiding te verbeteren.
• Class-Aware Sampling (CAS): Een herhaal-factormethode oversamplet afbeeldingen die zeldzame positieve labels bevatten, zonder de data-distributie te sterk te verstoren.
• Ensemble Inferentie:
  • Weighted Ensembling: Combinatie van twee checkpoints.
  • Test-Time Augmentation (TTA): Gemiddelde voorspellingen over transformaties zoals horizontale spiegeling, rotatie en zoom.
  • Post-processing (Normal gating): Een lichte correctie waarbij de waarschijnlijkheid van abnormale klassen wordt onderdrukt als het model zeer zeker is dat de afbeelding "Normaal" is. Dit vermindert valse positieven.

Taak 2: Zero-Shot OOD Detectie
Voor de 6 OOD-klassen (zoals Scoliosis, Goiter, etc.) wordt geen supervisie gebruikt.

• Model: Gebruik van WhyXrayCLIP, een vision-language model specifiek getraind op thoraxfoto's en rapporten (gebaseerd op OpenCLIP ViT-L/14). Dit model leert de semantische relatie tussen afbeeldingen en radiologische tekst.
• Prompt Ensembling: Voor elke OOD-klasse worden meerdere generieke radiologische tekstbeschrijvingen (prompts) gedefinieerd.
• Zero-Shot Scoring: De afbeelding wordt vergeleken met de tekst-embeddings van de prompts via cosine similarity. De scores worden gemiddeld en gemapt naar een waarschijnlijkheid via een geschaalde sigmoid-functie. Dit stelt het model in staat om nieuwe concepten te herkennen op basis van tekstuele prototypes zonder extra training.

3. Belangrijkste Bijdragen

• Integrale aanpak voor supervisie-schaarste: Het paper biedt een oplossing die zowel extreme class-ongelijkheid (Taak 1) als het volledig ontbreken van labels voor nieuwe klassen (Taak 2) adresseert binnen dezelfde domein.
• Nieuwe state-of-the-art prestaties: De methode bereikte de eerste plaats op de publieke leaderboard van de CXR-LT 2026 challenge voor beide taken.
• Robuuste strategieën: De combinatie van Distribution-Balanced loss, Class-Aware Sampling en Vision-Language matching voor zero-shot learning bewijst effectief te zijn in realistische klinische scenario's.
• Openbaarheid: Code en vooringestelde modellen zijn openbaar beschikbaar gemaakt.

4. Resultaten

De prestaties werden beoordeeld met Macro-averaged Mean Average Precision (mAP), wat de prestaties op zeldzame klassen even zwaar weegt als op veelvoorkomende klassen.

• Taak 1 (Langstaart Classificatie):

  • De auteurs behaalden een mAP van 0,583, wat een aanzienlijke verbetering is ten opzichte van de tweede plaats (0,535).
  • Ze behaalden ook de beste mAUC (0,919) en mF1 (0,376).
  • De kalibratie (mECE) was echter minder optimaal (0,928), wat aangeeft dat er nog ruimte is voor verbetering in het betrouwbaar maken van de voorspelde kansen.

• Taak 2 (Zero-Shot OOD):

  • De methode behaalde een mAP van 0,467, ruim boven de tweede plaats (0,365).
  • Ze behaalden de beste mAUC (0,779) en een van de beste kalibratiescores (mECE 0,516) onder de top-10.
  • Dit bevestigt de kracht van vision-language modellen voor het overbrengen van kennis naar onbekende ziekteconcepten.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het de kloof tussen academische modellen en de klinische realiteit dicht, waar data vaak onvolledig en onbalans is. De succesvolle toepassing van zero-shot learning via vision-language modellen op thoraxfoto's opent de deur voor het detecteren van zeldzame aandoeningen zonder kostbare handmatige annotatie.

Beperkingen: De resultaten zijn gebaseerd op de publieke ontwikkelset; de definitieve generalisatie op de verborgen testset moet nog worden geverifieerd.
Toekomstig werk: De auteurs plannen om de kalibratie te verbeteren, de robuustheid over verschillende ziekenhuizen en opname-instellingen te vergroten, en het raamwerk uit te breiden naar andere radiologische vision-language taken zoals rapportgeneratie en medische VQA (Visual Question Answering).