Reducing Annotation Burden for Femoral Cartilage Segmentation in Knee MRI via Cross-Sequence Transfer Learning

Technische Samenvatting: Vermindering van het Annotatie-omvang voor Segmentatie van Femorale Kraakbeen in Knie-MRI via Cross-Sequence Transfer Learning

Probleemstelling
Accurate segmentatie van femorale kraakbeen in knie-magnetische resonantiebeeldvorming (MRI) is cruciaal voor het kwantificeren van de progressie van osteoartritis. Hoewel deep learning (DL) de efficiëntie van segmentatie heeft verbeterd, worden de meeste bestaande modellen getraind en geëvalueerd op één enkele MRI-sequentie, voornamelijk de dual-echo steady-state (DESS)-sequentie van het Osteoarthritis Initiative (OAI). De klinische praktijk maakt echter vaak gebruik van andere sequenties, zoals proton-dichtheid-gewogen 3D fast spin-echo (Cube), die verschillende weefselcontrasten en ruimtelijke resoluties bieden. Het direct toepassen van modellen die op één sequentie zijn getraind op een andere sequentie leidt vaak tot prestatieverlies. Het opnieuw trainen van modellen vanaf nul op doelsequentie vereist grote hoeveelheden handmatig geannoteerde data, een proces dat arbeidsintensief is en vaak onuitvoerbaar vanwege de schaarste aan gelabelde klinische datasets. De kernvraag die wordt aangepakt, is of cross-sequence transfer learning prestaties kan bereiken die vergelijkbaar zijn met training binnen dezelfde sequentie, terwijl het aantal vereiste annotaties in de doel-domein aanzienlijk wordt verminderd.

Methodologie
De studie hanteerde een retrospectief ontwerp met gebruikmaking van twee datasets: 507 DESS-afbeeldingen van het OAI en 44 Cube-afbeeldingen verkregen bij het IRCCS Istituto Ortopedico Rizzoli. De Cube-cohort werd gematcht met de OAI-cohort op basis van leeftijd, geslacht, body mass index (BMI), laterality en Kellgren–Lawrence-graad (KLG), gestratificeerd in niet-gelesioneerde en gelesioneerde subgroepen.

• Architectuur: Een gemodificeerde 2D U-Net werd geïmplementeerd. De architectuur beschikte over een encoder met vier resolutieniveaus (64 tot 512 kanalen) en een bottleneck (1024 kanalen), gevolgd door een decoder met skip-verbindingen. Wijzigingen omvatten het vervangen van 'valid' convoluties door 'same'-gepadded convoluties om ruimtelijke dimensies te behouden, het toevoegen van batch-normalisatie en het introduceren van dropout-regulatie.
• Trainingsstrategie:
  1. Optimalisatie: Hyperparameters (verliesfunctie, leersnelheid, batchgrootte, dropout) en parameters voor data-augmentatie werden geoptimaliseerd met behulp van een Tree-structured Parzen Estimator (Optuna) op de volledige OAI DESS-dataset.
  2. Benchmarks binnen dezelfde sequentie: Modellen werden vanaf nul getraind op subsets van DESS- en Cube-afbeeldingen met gebruikmaking van cross-validatie op subjectniveau (70% train, 20% validatie, 10% test) om prestatiebenchmarks vast te stellen.
  3. Cross-Sequence Transfer Learning: Voorgeregelde modellen werden fijn afgestemd (fine-tuned) op de doelsequentie. De encoder werd bevroren om laag-niveau kenmerken te behouden, terwijl de bottleneck en decoder werden bijgewerkt. Fijnafstelling maakte gebruik van een verlaagde leersnelheid ($1 \times 10^{-5}$) en kleinere batchgroottes.
• Convergentie-analyse: Om de minimale annotatie-omvang te bepalen, werd de trainingssetgrootte voor het doel-domein stapsgewijs verhoogd (van 1 tot het maximum beschikbaar) terwijl de validatie- en testsets constant werden gehouden. Convergentie werd gedefinieerd als een absolute verbetering van minder dan 0,003 in de Dice Similarity Coefficient (DSC) over vier opeenvolgende verhogingen.
• Evaluatie: Prestaties werden gemeten met DSC en Average Surface Distance (ASD). Statistische significantie met betrekking tot lesie-effecten werd beoordeeld met tweezijdige Mann–Whitney U-tests met Bonferroni-correctie.

Belangrijkste Bijdragen en Resultaten
De studie toont aan dat cross-sequence transfer learning de annotatie-eisen aanzienlijk kan verminderen, hoewel de prestaties sterk afhankelijk zijn van de richting van de overdracht en de specifieke kenmerken van de MRI-sequentie.

• Prestaties binnen dezelfde sequentie: Training op DESS leverde een hogere nauwkeurigheid op (DSC: 0,900) in vergelijking met Cube (DSC: 0,830), waarschijnlijk vanwege het superieure kraakbeen-achtergrondcontrast in DESS-afbeeldingen.
• Richting van Overdracht:
  • Cube-naar-DESS: Transfer learning van Cube (bron) naar DESS (doel) resulteerde in een DSC van 0,903, wat overeenkomt met de benchmark voor DESS binnen dezelfde sequentie (0,900). Dit prestatieplateau werd bereikt met slechts 9 trainingsonderwerpen uit het doel-domein.
  • DESS-naar-Cube: Transfer van DESS (bron) naar Cube (doel) resulteerde in een lagere DSC (0,802) in vergelijking met de benchmark voor Cube binnen dezelfde sequentie (0,830). Deze richting vereiste 24 onderwerpen uit het doel-domein om een prestatieplateau te bereiken, wat aangeeft dat kennisoverdracht van sequenties met hoog contrast naar sequenties met laag contrast minder efficiënt is.
• Impact van Lesies: De aanwezigheid van femorale kraakbeen-lesies had geen significant effect op de segmentienauwkeurigheid in DESS (P ≥ .39). Lesies verminderden echter de nauwkeurigheid significant in Cube-sequenties (DSC 0,805 versus 0,856 in niet-gelesioneerde gevallen; P < .001), wat suggereert dat prestatieverlies gerelateerd aan lesies sequentie-afhankelijk is.
• Efficiëntie van Annotatie: De studie kwantificeerde dat minder dan 10 handmatig geannoteerde onderwerpen uit het doel-domein voldoende zijn om prestaties te bereiken die vergelijkbaar zijn met training binnen dezelfde sequentie bij overdracht van Cube naar DESS.

Betekenis en Claims
De auteurs claimen dat cross-sequence transfer learning een levensvatbare strategie is om de annotatie-omvang te verminderen voor het ontwikkelen van modellen voor segmentatie van femorale kraakbeen over verschillende institutionele MRI-protocollen. De bevindingen benadrukken dat:

1. Richting uitmaakt: Overdracht van een sequentie met lager contrast (Cube) naar een sequentie met hoger contrast (DESS) effectiever is dan het omgekeerde, waarschijnlijk omdat de decoder- en bottleneck-lagen kenmerken effectief kunnen verfijnen wanneer ze worden fijn afgestemd op goed gecontrasteerde data.
2. Sequentie-afhankelijkheid: De impact van kraakbeen-lesies op de segmentienauwkeurigheid varieert per sequentie, waarbij DESS robuustheid toont waar Cube moeite heeft.
3. Praktisch nut: Door transfer learning te benutten, kunnen instituten nauwkeurige segmentatiemodellen ontwikkelen voor hun specifieke protocollen met een minimaal aantal handmatig gelabelde gevallen (bijv. <10 onderwerpen), in plaats van te vertrouwen op grootschalige hertraining.

Het artikel concludeert bescheiden, met vermelding van beperkingen zoals het gebruik van een 2D U-Net met 3D-reconstructie, de focus uitsluitend op femorale kraakbeen, en de beperking tot 3 T-scanners, wat suggereert dat generaliseerbaarheid naar 1,5 T en 3D-architecturen nader onderzoek vereist.