How Far Has AI Come in Liver Fibrosis Staging? A Large-Scale Real-World Dataset and Benchmark

Technische Samenvatting: LiFS-benchmark voor het stadiumbepaling van leverfibrose

Probleemstelling
Ondanks aanzienlijke methodologische vooruitgang in diep leren voor medische beeldanalyse, blijft de klinische inzetbaarheid van kunstmatige intelligentie (KI) voor het stadiumbepalen van leverfibrose onder real-world omstandigheden ongekwantificeerd. Bestaande benchmarks zijn doorgaans beperkt tot single-center, gecontroleerde omgevingen met gecureerde data, waardoor ze de heterogeniteit van de klinische praktijk met meerdere scanners niet vastleggen. Bovendien ontbreekt het aan grote datasets met volledige gadoxetische zuur-versterkte (GED) sequenties (inclusief de hepatobiliaire fase, HBP) die gekoppeld zijn aan histopathologisch bevestigde stadiëringlabels. Bijgevolg is het onduidelijk hoe ver huidige KI is gevorderd in het benaderen van de prestaties van praktiserende radiologen, en hoe robuust deze systemen zijn voor domeinverschuivingen tussen centra, labelongelijkgewichten en ontbrekende modaliteiten.

Methodologie en Datasetconstructie
Om deze hiaten aan te pakken, introduceren de auteurs LiFS (Liver Fibrosis Staging), een grootschalige, multicenter dataset en benchmark afgeleid van de CARE-Liver-uitdaging die werd gehouden in het kader van MICCAI 2025.

• Dataset-samenstelling: LiFS omvat 610 patiënten uit drie klinische centra en vier verschillende MRI-scanners (variërende leveranciers en veldsterkten: 1,5T en 3,0T). De dataset bevat 4.174 3D-MRI-volumes en meer dan 218.000 slices.
• Beeldvormingsprotocollen: De data dekken multi-sequentiële MRI af: T1-gewogen (T1W), T2-gewogen (T2W), Diffusie-gewogen beeldvorming (DWI) en vierfasige GED-beeldvorming (arteriële, portale veneuze, vertraagde en hepatobiliaire fasen).
• Ground Truth: Stadiëringlabels zijn gebaseerd op het Scheuer-graderingssysteem (S1–S4), bevestigd door histopathologie van biopsies of chirurgische resecties die binnen drie maanden na de MRI-scan werden uitgevoerd.
• Real-world onvolkomenheden: De dataset bevat opzettelijk ruimtelijke misalignement tussen sequenties, ontbrekende modaliteiten door acquisitiefouten en aanzienlijke heterogeniteit tussen centra.
• Experimenteel ontwerp: De benchmark evalueert 9 onafhankelijk ontwikkelde methoden geselecteerd uit 96 geregistreerde teams. De evaluatie wordt uitgevoerd op:
  • In-Distribution (ID) Testset: Data uit dezelfde verdeling als de training.
  • Out-of-Distribution (OOD) Testset: Data van een volledig onbekende scanner en een ander centrum (leverancier C) om generalisatie te beoordelen.
  • Subtaken: Detectie van cirrose (S4 vs. S1–3) en detectie van significante fibrose (S1 vs. S2–4).
  • Instellingen: Contrast-versterkt (alle sequenties) en Niet-contrast-versterkt (alleen T1W, T2W, DWI).
• Klinische referentie: Twee erkende radiologen (met 3 en 8 jaar ervaring) scoorden onafhankelijk dezelfde gevallen met een kwalitatief MRI-scoresysteem van 7 punten, waardoor een in-cohort referentie werd geboden voor de vergelijking KI versus mens.

Belangrijkste bijdragen

1. LiFS-dataset: De eerste grootschalige, multicenter dataset met volledige GED-sequenties (inclusief HBP) en histopathologisch bevestigde fibrose-stadiëring van diverse real-world scanners.
2. Uitgebreide benchmark: Een unificatie-evaluatiekader dat KI-methoden vergelijkt met de prestaties van radiologen onder zowel gematchte (ID) als verschoven (OOD) omstandigheden.
3. Empirische analyse: Een systematische analyse van negen top-presterende methoden om factoren te identificeren die de klinische inzetbaarheid beïnvloeden, waaronder input-dimensionaliteit, fusiestrategieën en backbone-architecturen.

Resultaten

• KI versus Radiologen:
  • Onder ID-omstandigheden bereikten de beste KI-methoden AUC's die vergelijkbaar waren met de senior radioloog (Expert-8Y) en presteerden ze significant beter dan de junior radioloog (Expert-3Y). Bijvoorbeeld, in de contrast-versterkte ID-instelling bereikte de beste KI een AUC van 86,16% (Subtaak 1), wat de 81,83% van Expert-8Y overtrof.
  • Onder OOD-omstandigheden werd de prestatie heterogeen. Hoewel de beste KI-methoden in verschillende instellingen vergelijkbaar bleven met de senior radioloog, daalde de mediane KI-prestatie over het algemeen naar het niveau van een junior radioloog of lager.
  • Betekenis: Top-tier KI kan de prestaties van een senior radioloog benaderen in gematchte instellingen, maar klinische consistentie is nog niet bereikt over distributieverschuivingen heen.
• Uitdagingen vanuit data-perspectief:
  • Heterogeniteit tussen centra: De meeste methoden leden aan aanzienlijke prestatiedegradatie bij de overstap van ID- naar OOD-sets.
  • Labelongelijkgewicht: In Subtaak 2 (S1 vs. S2–4) leidde een ernstig class-ongelijkgewicht (S2–4 vormden ongeveer 93% van de OOD-data) tot "modelinstorting", waarbij veel methoden een hoge nauwkeurigheid (>85%) bereikten door de meerderheidsklasse te voorspellen, maar faalden in het behalen van een hoge AUC.
  • Contrast-versterkte sequenties: De opname van GED-sequenties (met name HBP) leverde gemengde resultaten op. Hoewel sommige methoden aanzienlijk verbeterden onder OOD-omstandigheden (wat suggereert dat HBP functionele informatie vastlegt die invariant is voor scanner-verschuivingen), degradeerden andere, wat wijst op een praktisch dilemma bij het benutten van HBP zonder gestandaardiseerde acquisitie.
• Uitdagingen vanuit technisch perspectief:
  • Pre-registratie: Methoden die rigide ruimtelijke registratie incorporateerden, behaalden hogere ID-prestaties, wat suggereert dat uitlijning cruciaal is voor multi-modale fusie.
  • Input-dimensionaliteit: 3D-volumetrische benaderingen behaalden hogere ID-prestaties maar leden aan grotere OOD-dalingen in vergelijking met 2D patch-gebaseerde methoden, waarschijnlijk als gevolg van overfitting op leveranciers-specifieke ruimtelijke priors.
  • Fusiestrategie: Vroege fusie (gezamenlijk representatieleren) toonde de kleinste OOD-daling, terwijl late fusie (aggregatie op beslissingsniveau) de grootste degradatie leed.
  • Backbone-architectuur: Transformer-gebaseerde modellen toonden iets betere OOD-robustheid in vergelijking met CNN's, mogelijk vanwege hun vermogen om lange-afstand afhankelijkheden te vangen.

Betekenis en claims
Het artikel claimt dat LiFS de eerste rigoureuze, real-world benchmark biedt om de huidige staat van KI in het stadiumbepalen van leverfibrose te meten. De auteurs concluderen dat KI, hoewel het in geselecteerde, gematchte instellingen een klinisch betekenisvol niveau heeft bereikt – wat mogelijk niet-invasieve stadiëring ondersteunt en de afhankelijkheid van biopsie in specifieke scenario's vermindert – zijn robuustheid nog onvoldoende is voor betrouwbare implementatie in heterogene klinische omgevingen.

De benchmark blootlegt een kritiek gat tussen hoge prestaties op gecureerde testdata en klinisch betrouwbare KI. De auteurs benadrukken dat toekomstig onderzoek prioriteit moet geven aan generalisatie tussen centra, het hanteren van labelongelijkgewichten en het ontwikkelen van robuuste multi-modale modelleringstrategieën die de variabiliteit van contrast-versterkte sequenties en scanner-verschillen kunnen navigeren. LiFS dient als platform om deze volgende fase van onderzoek te sturen naar klinisch inzetbare oplossingen.