REN: Anatomically-Informed Mixture-of-Experts for Interstitial Lung Disease Diagnosis

1. Probleemstelling

Interstitiële longziekte (ILD) omvat meer dan 200 verschillende longaandoeningen. De diagnose vereist vaak de analyse van hoogwaardige CT-scans (HRCT). Bestaande deep learning-methoden behandelen de long vaak als een homogene eenheid, wat leidt tot het verliezen van region-specifieke pathologische signalen.
De huidige Mixture-of-Experts (MoE)-architecturen, die inputs dynamisch routeren naar gespecialiseerde subnetwerken, maken twee aannames die slecht aansluiten bij medische beeldvorming:

1. Homogene expertcapaciteit: Experts worden gezien als gelijkwaardig.
2. Domein-agnostische routing: De routering is puur data-gedreven zonder rekening te houden met anatomische structuren.

In de longgeneeskunde volgen ziektepatronen echter voorspelbare regionale distributies (bijvoorbeeld dat ILD vaak begint in de onderste longkwabben). Het gebrek aan anatomische prioriteiten in bestaande MoE-modellen leidt tot suboptimale prestaties en beperkte interpreteerbaarheid, wat cruciaal is voor klinische adoptie.

2. Methodologie: Regional Expert Networks (REN)

De auteurs introduceren REN, het eerste anatomisch geïnformeerde MoE-framework voor medische beeldclassificatie. Het framework volgt een vierstaps-pijplijn:

• A. Anatomische Regionextractie:
  CT-scans worden voorgepreprocesserd en gesegmenteerd in zeven specifieke anatomische regio's: de vijf individuele longkwabben (LUL, LLL, RUL, RML, RLL) en twee gecombineerde regio's (linker- en rechterlong).
• B. Training van Regionale Experts:
  Er worden zeven gespecialiseerde experts getraind, elk toegewijd aan één van de zeven regio's. De auteurs vergelijken drie verschillende deep learning-architecturen voor deze experts:
  • CNN: Een aangepaste 3D-convolutionele architectuur.
  • ViT (Vision Transformer): Een 3D-versie van de Vision Transformer.
  • Mamba: Een state-space model.
  • Radiomics: Een traditionele machine learning-benadering (XGBoost) die handgemaakte kenmerken (textuur, vorm, intensiteit) extrahert.
• C. Multi-Modale Gating-mechanismen:
  In plaats van een enkele routeringsstrategie, worden dynamische wegingen toegepast om de bijdrage van elke expert te bepalen. Er worden drie strategieën onderzocht:
  1. Performance-based: Gewichten gebaseerd op de validatie-AUC van de experts.
  2. Feature-based: Gewichten gebaseerd op tussenliggende representaties.
  3. Learned Gating: Lichtgewicht netwerken die input-afhankelijke gewichten leren.
     Een unieke innovatie is de radiomics-gestuurde gating, waarbij handgemaakte biomerkers worden gebruikt om de weging van de deep learning-experts te sturen.
• D. End-to-End Integratie:
  De output van de experts wordt gefuseerd met globale contextuele features (geëxtraheerd door een SwinUNETR backbone) voor de uiteindelijke patiënt-classificatie.

Belangrijkste ontwerpkeuze: De auteurs tonen aan dat een gestageerde ensemble-benadering (waarbij experts onafhankelijk worden getraind en vervolgens met vaste gewichten worden gecombineerd) superieur is aan een volledig end-to-end gezamenlijke training. Gezamenlijke training leidt tot "expert collapse", waarbij de specifieke anatomische specialisatie verloren gaat.

3. Belangrijkste Bijdragen

1. Anatomisch Beperkte MoE-Architectuur: Het eerste framework dat experts expliciet koppelt aan anatomische longregio's in plaats van ze impliciet te laten leren, wat de interpretatie en klinische relevantie verhoogt.
2. Multi-Modale Gating: Een nieuwe strategie die deep learning-features combineert met traditionele radiomics-biomerkers voor dynamische weging, waardoor complementaire informatiebronnen optimaal worden benut.
3. Uitgebreide Architectuurvergelijking: Een systematische evaluatie van CNN, ViT en Mamba over verschillende anatomische regio's, waarbij blijkt dat CNN en Radiomics beter presteren in de onderste kwabben (waar ILD vaak begint), terwijl transformers complementaire sensitiviteit bieden.
4. End-to-End Trainbaar Framework: Een volledig differentieerbaar systeem dat de optimalisatie van experts en gating mogelijk maakt, maar met behoud van interpreteerbaarheid via bijdrage-analyse.

4. Resultaten

De studie werd uitgevoerd op een longitudinale cohort van 597 patiënten met in totaal 1.898 CT-scans (voornamelijk met systemische sclerose).

• Prestatieverbetering: De radiomics-gestuurde ensemble bereikte een gemiddelde AUC van 0,8646. Dit is een statistisch significante verbetering van +12,5% ten opzichte van de beste single-model baseline (SwinUNETR, AUC 0,7685, p=0,031).
• Regionale Prestaties: Experts voor de onderste longkwabben (LLL/RLL) bereikten AUC's van 0,88-0,90, wat overeenkomt met de klinische kennis dat ILD vaak in de longbasis begint.
• Vergelijking Architecturen: Radiomics-experts presteerden over het algemeen beter dan de pure deep learning-modellen (CNN, ViT, Mamba) op individuele regio's, wat wijst op de waarde van handgemaakte kenmerken voor het detecteren van subtiele pathologieën in beperkte datasets.
• Staged vs. End-to-End: De gestageerde ensemble (onafhankelijk getrainde experts) presteerde significant beter dan de end-to-end gezamenlijk getrainde MoE-modellen. Dit bevestigt dat het behoud van onafhankelijke anatomische specialisatie cruciaal is voor dit type taak.
• Efficiëntie: De inferentietijd ligt rond de 46-62 ms per patiënt, wat geschikt is voor real-time klinische ondersteuning.

5. Betekenis en Conclusie

Het REN-framework biedt een doorbraak in de toepassing van AI voor medische beeldvorming door domeinspecifieke kennis (anatomie) expliciet in de modelarchitectuur te integreren.

• Klinische Impact: De 12,5% verbetering in AUC kan leiden tot vroegtijdige detectie van ILD, wat essentieel is voor het vertragen van ziekteprogressie.
• Interpreteerbaarheid: Omdat de modeloutput per longkwab wordt gegenereerd, kunnen artsen zien welke specifieke regio's de diagnose hebben beïnvloed. Dit sluit naadloos aan bij de radiologische workflow.
• Hybride Aanpak: Het artikel demonstreert dat het combineren van traditionele radiomics met moderne deep learning, binnen een anatomisch gefixeerd MoE-framework, superieure resultaten oplevert dan het gebruik van één van beide methoden alleen.

De auteurs concluderen dat REN een schaalbaar, anatomisch geleid framework is dat potentieel uitbreidbaar is naar andere gestructureerde medische beeldvormingstaken, mits er verdere validatie plaatsvindt op multi-centrische datasets.