Leveraging a Statistical Shape Model for Efficient Generation of Annotated Training Data: A Case Study on Liver Landmarks Segmentation

Probleemstelling

Binnen het domein van computergestane interventies (CAI) is multimodale registratie (het uitlijnen van pre-operatieve 3D-modellen met intra-operatieve data) cruciaal. Een veelbelovende aanpak hiervoor is de segmentatie van anatomische landmarks (zoals de anterior ridge en het ligamentum teres van de lever).
De huidige uitdagingen zijn:

1. Afhankelijkheid van Deep Learning: Moderne methoden vertrouwen zwaar op deep learning, wat enorme hoeveelheden gelabelde trainingsdata vereist.
2. Manuele Labeling: Het handmatig labelen van anatomische landmarks op 3D-modellen (bijv. afgeleid van CT-scans) is tijdrovend, kostbaar, afhankelijk van de expertise van de annotator en vereist speciale software.
3. Beperkingen van bestaande netwerken: Bestaande modellen voor puntwolken (zoals PointNet) zijn vaak gevoelig voor rotaties, wat problematisch is bij 3D-modellen die variëren in oriëntatie en anatomie.

Methodologie

De auteurs stellen een innovatieve pijplijn voor die een Statistisch Vormmodel (SSM) gebruikt om een groot, automatisch gelabeld trainingsdataset te genereren, waarmee de noodzaak voor massale handmatige labeling wordt geëlimineerd.

1. Generatie van Data via SSM:

   • Er wordt een SSM opgebouwd op basis van 48 bestaande 3D-levervormen (o.a. uit het IRCAD-dataset).
   • Er wordt slechts één keer handmatig een set anatomische landmarks gelabeld op het gemiddelde vormmodel (mean shape) dat uit het SSM is afgeleid.
   • De labels worden vervolgens automatisch overgedragen naar willekeurig veel gegenereerde synthetische levervormen. Omdat de SSM de topologie behoudt, worden de vertex-indices van het gemiddelde model direct gekopieerd naar de gegenereerde vormen.
   • De gegenereerde vormen worden beschreven door de formule: $x = \bar{x} + \Lambda^{1/2}Va$, waarbij $\bar{x}$ het gemiddelde is, en $V$ en $\Lambda$ de hoofdcomponenten en eigenwaarden zijn.

2. Netwerkarchitectuur (SPRIN):

   • Voor de segmentatie wordt het SPRIN-netwerk gebruikt. Dit is een deep-learning architectuur die specifiek is ontworpen voor 3D-puntwolken.
   • Rotatie-invariantie: SPRIN is roteringsinvariant (SO(3) invariant), wat essentieel is omdat levervormen in de praktijk in willekeurige hoeken kunnen voorkomen.
   • Het netwerk gebruikt sparse spherical correlation en k-nearest neighbors (kNN) om lokale geometrische relaties te analyseren zonder afhankelijk te zijn van de absolute oriëntatie van de puntwolk.

3. Dataset Opbouw:

   • Er zijn in totaal 11.500 synthetische levervormen gegenereerd door parameters uniform te sample binnen een bereik van -2,75 tot +1,75 standaardafwijkingen.
   • De dataset is opgesplitst in: 8.800 vormen voor training, 2.200 voor validatie en 500 voor testing.
   • De puntwolken zijn downgesampled naar 4.096 punten en de indices zijn gerandomiseerd om te voorkomen dat het netwerk de indices uit het hoofd leert in plaats van de geometrie.

Belangrijkste Bijdragen

• Efficiënte Data-Generatie: Een strategie om een enorm gelabeld dataset te creëren door slechts één keer handmatig te labelen op een gemiddeld model, wat de arbeidsintensiteit drastisch verlaagt.
• Validatie van Hypothesen:
  1. Er bestaat anatomische consistentie in door SSM gegenereerde vormen, waardoor labels van het gemiddelde model betrouwbaar kunnen worden overgebracht.
  2. Een synthetisch gelabeld dataset is voldoende om een deep-learning netwerk te trainen dat robuust presteert op onzichtbare, klinische vormen.
• Rotatie-invariante Segmentatie: Toepassing van SPRIN voor de specifieke taak van het segmenteren van de anterior ridge en het ligamentum teres (falciform ligament) op 3D-leverpuntwolken.

Resultaten

De prestaties van het getrainde netwerk werden geëvalueerd op zowel synthetische als realistische data:

1. Validatie van Label-Overdracht:

   • Een kleine studie met vier niet-experts toonde aan dat handmatige labeling van gegenereerde vormen redelijk overeenkwam met de automatisch overgedragen labels (totale nauwkeurigheid: 82,45%). De anterior ridge werd beter gelabeld (87,05%) dan het falciform ligament (66,06%), wat de complexiteit van het laatste onderstreept.

2. Kwantitatieve Evaluatie (Synthetische Testdata):

   • Op 500 onbekende, willekeurig geroteerde synthetische vormen behaalde het netwerk een mean Intersection over Union (mIoU) van 91,4%.
   • Opdeling per landmark: 87,4% voor de anterior ridge en 87,6% voor het falciform ligament.

3. Kwalitatieve Evaluatie (Klinische Data - MedShapeNet):

   • Toepassing op echte patiëntvormen uit het MedShapeNet-dataset leverde veelbelovende resultaten op.
   • De segmentatie van het falciform ligament was robuust.
   • Bij de anterior ridge werden enkele onvolledige segmentaties waargenomen bij vormen die niet de typische "M-vorm" vertoonden (zoals vaak in de synthetische data), wat aangeeft dat extreme anatomische variatie nog een uitdaging blijft.

Betekenis en Conclusie

De studie bewijst dat het gebruik van een Statistisch Vormmodel een krachtige en efficiënte methode is om de "data-honger" van deep learning voor medische beeldanalyse aan te pakken.

• Tijdsbesparing: Het elimineert de noodzaak voor duizenden manuren aan handmatige annotatie.
• Generalisatie: De methode toont aan dat synthetische data, gegenereerd vanuit een enkel gemiddeld model, kan leiden tot modellen die goed generaliseren naar echte klinische patiëntdata.
• Toekomstperspectief: Hoewel de huidige studie zich richt op de lever, is de methode breed toepasbaar voor andere anatomische structuren. De auteurs wijzen wel op beperkingen, zoals de vereiste van voldoende punten in de puntwolk (huidige down-sampling beperkt geometrische details) en de variabiliteit in de kwaliteit van 3D-reconstructies uit CT-scans.

Kortom, deze aanpak biedt een schaalbare oplossing voor het trainen van robuuste 3D-segmentatiemodellen, wat essentieel is voor de verdere ontwikkeling van nauwkeurige computergestane chirurgische systemen.