LinGuinE: Longitudinal Guidance Estimation for Volumetric Tumour Segmentation

LinGuinE is een PyTorch-framework dat registratie en geleide segmentatie combineert om longitudinale volumetrische tumorsegmentatie en tracking te realiseren met minimale degradatie en zonder training op longitudinale data, waardoor radiologen met één prompt nauwkeurige maskers over alle scans kunnen genereren.

De kern

Wat is het probleem?

Stel je voor dat een arts een tumor in een patiënt moet volgen. De patiënt krijgt verschillende scans (foto's van binnenin het lichaam) op verschillende momenten: vandaag, over een maand, over twee maanden.

Het probleem is dat de meeste slimme computerprogramma's (kunstmatige intelligentie) die nu bestaan, vergeten hoe ze moeten kijken. Ze kijken naar elke foto alsof het een nieuwe, onbekende persoon is. Ze zien de tumor op foto A, en de tumor op foto B, maar ze weten niet dat het dezelfde tumor is. Ze kunnen niet zeggen: "Ah, dit is diezelfde klomp die we gisteren zagen, maar nu is hij iets verschoven."

Daarnaast willen artsen vaak zelf kunnen kiezen welke tumor ze willen volgen. De huidige automatische systemen laten de arts weinig ruimte om in te grijpen of te zeggen: "Kijk eens naar deze specifieke plek."

Wat is LinGuinE?

LinGuinE (uitgesproken als Lingwijn) is een nieuwe manier om deze tumors te volgen. De naam is een knipoog naar de Gouden Vrijheid (Gingko), maar in dit geval staat het voor Longitudinal Guidance Estimation (Lange-termijn gids-schatting).

Je kunt LinGuinE zien als een slimme "volgsysteem" voor een verhuizing.

De Analogie: De Verhuizing

Stel je voor dat je een grote, zware doos (de tumor) verplaatst van kamer 1 naar kamer 2, en dan naar kamer 3.

• De oude methode: Iemand kijkt naar kamer 1, ziet de doos, en maakt een foto. Dan kijkt hij naar kamer 2, ziet een doos, en maakt een nieuwe foto. Hij weet niet of het dezelfde doos is. Misschien is het wel een andere doos die er net zo uitziet!
• De LinGuinE-methode:
  1. De arts wijst met de vinger op de doos in kamer 1 (dit is de "prompt" of aanwijzing).
  2. LinGuinE gebruikt een virtuele lijm (dit heet image registration of beeldregistratie). Deze lijm "plakt" de positie van de doos in kamer 1 vast aan de muren van kamer 1.
  3. Vervolgens rekent het systeem uit: "Als kamer 2 eruitziet als kamer 1, maar dan iets gedraaid, waar zou die lijm dan zitten in kamer 2?"
  4. Het systeem schuift de aanwijzing van de arts automatisch mee naar kamer 2.
  5. Nu kijkt het systeem naar kamer 2, ziet de aanwijzing, en zegt: "Ah, daar is de doos!" en maakt een perfecte omtrek (segmentatie) om de doos heen.

Het mooie is: je kunt dit in elke richting doen. Je kunt beginnen bij de eerste foto en naar de laatste gaan, of juist beginnen bij de laatste foto en terug naar de eerste. Het maakt niet uit; het systeem is "tijd-onafhankelijk".

Waarom is dit zo cool?

1. Geen nieuwe school nodig: De meeste slimme systemen moeten eerst duizenden voorbeelden zien van "verhuisde tumors" om te leren hoe dat werkt. LinGuinE heeft dat niet nodig. Het gebruikt bestaande, slimme hulpmiddelen (zoals een GPS voor beelden en een tekenprogramma) en plakt ze gewoon op elkaar. Het werkt dus direct, zonder dat je eerst jarenlang data moet verzamelen.
2. De arts heeft de leiding: De arts hoeft niet te wachten tot de computer alles heeft bedacht. De arts zegt: "Kijk hier," en LinGuinE doet de rest voor alle volgende foto's.
3. Het blijft goed, zelfs na lange tijd: Als er veel tijd zit tussen twee foto's (bijvoorbeeld een jaar), veranderen tumors vaak van vorm of plek. Andere systemen raken dan de draad kwijt en worden onnauwkeurig. LinGuinE blijft echter stabiel, alsof het een zeer sterke lijm heeft die niet loslaat, zelfs als de kamer er heel anders uitziet.

Wat hebben ze bewezen?

De onderzoekers hebben LinGuinE getest op vier verschillende groepen patiënten met longkanker en andere vormen van kanker.

• Ze zagen dat LinGuinE beter presteerde dan de beste bestaande methoden.
• Het maakte minder fouten in het "volgen" van de tumor.
• Zelfs als de arts alleen maar een klein stipje op de foto zette (in plaats van de hele tumor uit te tekenen), wist het systeem de rest van de tumor op de volgende foto's perfect te vinden.

Conclusie

LinGuinE is als een onvermoeibare assistent voor artsen. Het helpt hen om te zien hoe een tumor zich gedraagt tijdens een behandeling, zonder dat de arts urenlang elke foto handmatig hoeft te tekenen. Het maakt het makkelijker om te beslissen of een behandeling werkt of niet, en het doet dit op een manier die flexibel, snel en betrouwbaar is.

Kortom: Het zorgt ervoor dat de computer eindelijk "weet" dat de tumor op maandag en de tumor op vrijdag, hetzelfde persoon is.

Technische samenvatting

Probleemstelling

De volumetrische segmentatie van tumoren is essentieel voor de planning van radiotherapie en het beoordelen van het respons op oncologische behandelingen. Bestaande diepe-leermethodes zijn echter grotendeels beperkt tot:

1. Enkele tijdstippen: Ze genereren semantische maskers voor één scan, zonder de mogelijkheid om laesies over tijd te volgen (tracking).
2. Volledige automatisering: Ze laten geen ruimte voor input van een radioloog (bijv. het selecteren van specifieke laesies), wat de klinische adoptie beperkt.
3. Gebrek aan longitudinaliteit: Methodes die wel tracking proberen, vereisen vaak specifieke longitudinale trainingsdata (die schaars is) of kunnen geen nauwkeurige segmentaties genereren op basis van radioloog-prompten.
4. Tijdsafhankelijkheid: Bestaande methodes presteren vaak slechter naarmate het tijdsinterval tussen scans groter wordt.

Het doel is een framework te ontwikkelen dat longitudinale tracking en volumetrische segmentatie mogelijk maakt vanuit één radioloog-prompt, zonder dat er specifieke longitudinale trainingsdata nodig is.

Methodologie: Het LinGuinE Framework

LinGuinE (Longitudinal Guidance Estimation) is een aanpasbaar PyTorch-framework dat beeldregistratie combineert met geleide segmentatie. Het werkt als volgt:

1. Bron en Doel: Gegeven een set scans $S$ van dezelfde patiënt, kiest de radioloog één bronscan ($I_i$) en plaatst een prompt (bijv. een punt of een masker) op een tumor.
2. Puntpropagatie: Het framework gebruikt een beeldregistratie-algoritme om de coördinaten van de tumor ($P^k_i$) van de bronscan naar alle andere scans in de longitudinale reeks ($I_j$) te projecteren. Dit resulteert in een geprojecteerde punt $P^k_{i \to j}$.
   • Het framework is tijdsrichting-agnostisch: de radioloog kan een prompt op elk tijdstip geven (begin, midden of einde), wat retrospectieve analyse mogelijk maakt.
3. Geleide Segmentatie: Het geprojecteerde punt wordt gebruikt als input voor een semi-automatisch segmentatie-algoritme (GuidedSeg) om het masker $M_j(k)$ op de doelscan te genereren.
   • Geëvalueerde algoritmen: nnInteractive, Vista3D, en LesionLocator Segmentation (LLSeg).
   • Geëvalueerde registratie-modellen: UniGradICON (UGI) en LungGradICON (LGI).
4. Boosting (Optioneel): Om fouten te corrigeren als de geprojecteerde punt niet perfect in het midden van de tumor valt (door morfologische veranderingen), kan een "boosting"-techniek worden toegepast. Hierbij wordt het centrum van een eerste ruwe segmentatie (gebaseerd op de geprojecteerde punt) gebruikt als nieuwe prompt voor de definitieve segmentatie.
5. Aanpassing: Het framework vereist geen training op longitudinale data. Bestaande, vooraf getrainde modellen voor registratie en segmentatie kunnen direct worden hergebruikt.

Belangrijkste Bijdragen

1. State-of-the-art prestaties met minimale input: LinGuinE bereikt uitstekende resultaten op basis van slechts één radioloog-prompt.
2. Tijdsrichting-agnostisch: Het is het eerste framework dat het mogelijk maakt om prompts op willekeurige tijdstippen te plaatsen, wat retrospectieve studies vergemakkelijkt.
3. Onafhankelijkheid van longitudinale data: Het combineert publieke algoritmen om state-of-the-art resultaten te boeken zonder dat er een specifiek longitudinaal dataset nodig is om het model te trainen.
4. Robuustheid: Het framework is minder gevoelig voor prestatiedegradatie naarmate het tijdsinterval tussen scans toeneemt.
5. Open Source & Benchmark: De auteurs publiceren de code en het eerste publieke benchmark voor longitudinale segmentatie over meerdere kankertypes en datasets.

Resultaten

Het framework werd geëvalueerd op vier datasets met in totaal 456 longitudinale studies (o.a. NSCLC, melanoom, 4DCBCT):

• Segmentatiekwaliteit: LinGuinE overtrof bestaande methoden (zoals LesionLocator en Hering et al.) consistent op de Dice-score en de Euclidische afstand (ED) tussen het voorspelde en het ground-truth masker.
• Prestaties per dataset:
  • Voor longkanker-datasets leverde de combinatie van LungGradICON (LGI) en een voor longtumoren fijngefine-tuned LLSeg de beste resultaten op (Dice > 0.75).
  • Zelfs met algemene modellen (zonder fijnafstemming) presteerde LinGuinE beter dan gespecialiseerde methoden die op longitudinale data getraind moesten worden.
• Tijdsdegradatie: Er was een minimale correlatie tussen de prestaties en het verstreken tijd. LinGuinE vertoonde een gemiddelde daling van slechts 0,126% per week in de Dice-score, vergeleken met 2,591% voor LesionLocator en 0,457% voor Hering et al.
• Ablatiestudies:
  • Auto-regressie: Het propageren van de vorige voorspelling (zoals bij LesionLocator) leidde niet tot betere resultaten en veroorzaakte soms cumulatieve fouten. De directe propagatie vanuit de radioloog-prompt bleek superieur.
  • Boosting: Dit verbeterde de tracking-precisie (ED) op drie van de vier datasets, vooral wanneer de registratie moeilijk was.
  • Input: Het gebruik van een volledige masker als startpunt gaf iets betere resultaten dan een enkele klik, maar beide lagen binnen het bereik van inter-radioloog variabiliteit.

Significantie

LinGuinE biedt een praktische, "out-of-the-box" oplossing voor een lang onopgelost probleem in de medische beeldvorming. Door de afhankelijkheid van schaarse longitudinale trainingsdata te elimineren en de controle aan de radioloog terug te geven, maakt het framework de integratie van volumetrische biomarkers in de klinische praktijk haalbaar. Het stelt artsen in staat om nauwkeurig te volgen hoe tumoren reageren op therapie over tijd, ongeacht het tijdstip van de initiële beoordeling. De publicatie van de code en de benchmarkdata vormt een belangrijke stap voor verdere onderzoek en standaardisatie in dit domein.