TARDis: Time Attenuated Representation Disentanglement for Incomplete Multi-Modal Tumor Segmentation and Classification

Deze paper introduceert TARDis, een nieuw fysiek bewust kader dat ontbrekende tijdsfasen in CT-tumorsegmentatie en -classificatie effectief aanpakt door hemodynamische dynamiek te modelleren als continue tijd-attenuatiecurves via een ontvleesde representatie van statische anatomie en dynamische perfusie, waardoor robuuste prestaties worden behaald zelfs bij extreme data-schaarste.

De kern

Stel je voor dat je een arts bent die een tumor in een patiënt moet vinden en beoordelen. Normaal gesproken gebruiken ze een CT-scan, waarbij ze een contrastvloeistof in het bloed spuiten. Deze vloeistof stroomt door het lichaam, en op verschillende momenten (bijvoorbeeld direct na de injectie, een paar minuten later, en nog later) maken ze foto's.

Het probleem is dat het lichaam van elke patiënt anders werkt. Soms is de hartslag te snel, soms te langzaam, of heeft de patiënt niet genoeg tijd om alle foto's te maken vanwege stralingsrisico's. Hierdoor missen artsen vaak belangrijke momenten in de "tijdlijn" van de vloeistof. Het is alsof je een film probeert te bekijken, maar er ontbreken hele scènes. Bestaande computersystemen raken dan in de war, omdat ze denken: "Oh, deze scène ontbreekt, dus ik kan het niet zien."

TARDis (de naam is een knipoog naar de tijdmachine uit Doctor Who) is een nieuwe, slimme manier om dit op te lossen. In plaats van de ontbrekende scènes als "leegte" te behandelen, leert TARDis hoe de film er helemaal uitziet, zelfs als er stukjes ontbreken.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Grote Geheim: Sieraden vs. De Verlichting

De kern van TARDis is een slim idee: ze splitsen de informatie in twee delen, net als bij een toneelstuk.

• De Sieraden (Anatomie): Dit is de vaste structuur van het lichaam. Een nier ziet er altijd ongeveer hetzelfde uit, of je nu een foto maakt met of zonder licht. Dit verandert niet in de tijd.
• De Verlichting (Perfusie): Dit is hoe het contrastvloeistof door het weefsel stroomt. Dit verandert continu. Op het ene moment is het helder, op het andere moment donkerder.

Bestaande computers proberen alle foto's door elkaar te gooien. TARDis zegt: "Nee, laten we de sieraden (de vorm van de tumor) en de verlichting (de vloeistofstroom) uit elkaar halen."

2. De Twee Slimme Wegen

TARDis gebruikt twee speciale "wegen" om dit te doen:

• Weg 1: De Woordenboek-Scanner (Voor de Sieraden)
  Stel je voor dat je een enorme map met tekeningen van nieren hebt. Als de computer een scan ziet, zoekt hij in dit woordenboek naar de tekening die het meest lijkt op wat hij ziet. Omdat hij alleen kijkt naar de vorm en niet naar de tijdstippen, maakt het niet uit of de scan helder of donker is. Hij vindt altijd dezelfde "vorm" terug. Dit zorgt ervoor dat de computer weet: "Oké, dit is een nier, ongeacht wanneer de foto is gemaakt."

• Weg 2: De Tijd-Reiziger (Voor de Verlichting)
  Dit is het magische deel. De computer schat in op welk moment in de tijd de scan is gemaakt (bijvoorbeeld: "dit is net na de injectie"). Vervolgens gebruikt hij een slimme gokmachine (een wiskundig model) om te voorspellen hoe de vloeistof er had moeten uitzien op dat moment.

  • Het voorbeeld: Stel je voor dat je een film kijkt en er ontbreekt een scène waar de held een deur opent. Een slimme regisseur (TARDis) kan zeggen: "Op basis van hoe de held liep in de vorige scène, en hoe de deur eruitziet, weet ik precies hoe die opening eruit moet zien." TARDis "droomt" de ontbrekende vloeistof-beelden in, gebaseerd op de vorm van de tumor en de geschatte tijd.

3. Waarom is dit zo geweldig?

Stel je voor dat je een puzzel moet leggen, maar er ontbreken stukjes.

• De oude manier: Als er een stukje ontbreekt, laat je de puzzel half leeg of plakt je er een grijs vlak op. De afbeelding is onherkenbaar.
• De TARDis-methode: TARDis kijkt naar de randen van de ontbrekende stukjes en zegt: "Op basis van de rest van de puzzel en de regels van de natuur, weet ik precies hoe dit stukje eruit moet zien." Het vult de gaten in met een zeer nauwkeurige gok.

Het Resultaat in het Dagelijkse Leven

Dit heeft drie grote voordelen voor patiënten en artsen:

1. Minder Straling: Omdat de computer de ontbrekende momenten kan "invullen", hoeven artsen niet altijd alle mogelijke scans te maken. Ze kunnen minder foto's nemen, wat betekent dat de patiënt minder straling krijgt.
2. Minder Stress: Niet elke ziekenhuisafdeling heeft dezelfde apparatuur of protocollen. TARDis werkt goed, of je nu 1 scan hebt of 4, en of die 10 minuten of 30 minuten na de injectie is gemaakt. Het maakt de diagnose robuust.
3. Betere Diagnose: Zelfs als er maar één scan is (bijvoorbeeld zonder contrastvloeistof), kan TARDis de tumor nog steeds goed vinden en bepalen of het kwaadaardig is, omdat het de "ontbrekende" dynamiek slim heeft gereconstrueerd.

Kortom: TARDis is als een slimme regisseur die een film kan afmaken, zelfs als de cameraman maar een paar fragmenten heeft opgenomen. Hij gebruikt zijn kennis van de plot (de anatomie) en de regels van de natuurkunde om de ontbrekende scènes te bedenken, zodat de arts een volledig en duidelijk beeld krijgt.

Technische samenvatting

1. Probleemstelling

De nauwkeurige diagnose en segmentatie van tumoren in contrastversterkte Computertomografie (CT) is fundamenteel afhankelijk van de tijdsafhankelijke hemodynamische profielen van contrastmiddelen. In de klinische praktijk is het echter vaak onmogelijk om een volledig tijdsverloop van fasen (bijv. arterieel, veneus, vertraagd) te verkrijgen vanwege:

• Stralingsdosisbeperkingen: Artsen moeten soms fasen overslaan om de stralingsbelasting voor de patiënt te minimaliseren.
• Inconsistente protocollen: Verschillen in opnameprotocollen tussen ziekenhuizen en variaties in hartslag of scannerhardware leiden tot tijdsverschillen. Een scan die in het ene ziekenhuis als "arterieel" wordt gelabeld, kan in een ander ziekenhuis feitelijk een "late arteriële" of "vroege veneuze" fase zijn.

Bestaande diepe leer-methoden behandelen ontbrekende fasen vaak als lege kanalen of onafhankelijke invoer. Ze negeren de inherente temporale continuïteit van de hemodynamiek, wat leidt tot suboptimale prestaties bij incomplete data.

2. Methodologie: TARDis

De auteurs stellen TARDis (Time Attenuated Representation Disentanglement) voor, een fysiek bewust framework dat ontbrekende modaliteiten niet ziet als lege data, maar als ontbrekende steekproeven op een continue Tijd-Verzwakkingscurve (Time-Attenuation Curve - TAC).

Kernhypothese

De auteurs hypotheseren dat de Hounsfield Unit (HU) intensiteit expliciet kan worden ontkoppeld (disentangled) in twee componenten:

1. Statische component ($H_s$): Tijd-invariant, vertegenwoordigt de anatomische structuur en basisdichtheid van het weefsel (gelijk aan de niet-contrastwaarde).
2. Dynamische component ($H_d$): Tijd-afhankelijk, vertegenwoordigt de perfusie en versterking door het contrastmiddel.

De relatie wordt als volgt geformuleerd: $H(p, \tau) = H_s(p) + H_d(p, \tau)$.

Architectuur

TARDis gebruikt een gedeelde encoder en een dual-path disentangling mechanisme:

1. Modale-onafhankelijke pad (Anatomie):

   • Gebruikt een Vector Quantized-VAE (VQ-VAE) met een leerbaar embedding-woordenboek.
   • Dit pad extrahere consistente, statische anatomische kenmerken die onafhankelijk zijn van de specifieke contrastfase.
   • Het zorgt ervoor dat de anatomische representatie consistent blijft, ongeacht welke fasen er beschikbaar zijn.

2. Modale-specifiek pad (Dynamiek):

   • Gebruikt een Hemodynamische Conditionele Variational Autoencoder (HCVAE).
   • Dit pad modelleert de dynamische versterking als een probabilistische verdeling, geconditioneerd op de geschatte anatomie en een geschatte relatieve tijd ($\tau$).
   • De relatieve tijd wordt geregresseerd vanuit de invoer.
   • Generatieve inferentie: Bij ontbrekende fasen kan het netwerk dynamische kenmerken genereren door te sample uit de geleerde latente verdeling, geconditioneerd op de bekende anatomie en de geschatte tijd.

3. Adaptieve Assemblage:

   • De statische en dynamische representaties worden samengevoegd via een attention-mechanisme dat leert welke modaliteit op welk punt het belangrijkst is voor de segmentatie.

Training en Optimisatie

• Modality Dropout: Tijdens het training worden willekeurig modaliteiten weggehaald om het model te trainen op incomplete data.
• Verliesfuncties: Het model wordt getraind met een combinatie van:
  • Segmentatieverlies (Dice + Cross-Entropy).
  • Consistentieverlies (zorgt dat anatomie over fasen heen gelijk blijft).
  • Rangordeverlies (zorgt dat de geschatte tijden logisch zijn).
  • Disentanglement-verlies (CLUB loss) om te voorkomen dat informatie lekt tussen de statische en dynamische latent spaces.

3. Belangrijkste Bijdragen

• Fysiek bewuste Disentanglement: De eerste methode die CT-tumoren expliciet ontkoppelt in statische anatomie en dynamische perfusie, in plaats van modaliteiten als onafhankelijke kanalen te behandelen.
• Generatieve Inferentie voor Ontbrekende Data: Het vermogen om ontbrekende hemodynamische informatie probabilistisch te reconstrueren op basis van een geleerde TAC, zelfs bij extreme data-schaarste (bijv. slechts één scan).
• Flexibiliteit: Het framework accepteert een variabel aantal invoer-modaliteiten zonder de architectuur te hoeven aanpassen, wat ideaal is voor de klinische realiteit.
• Robuustheid: De methode presteert stabiel over verschillende datasets en modaliteiten (CT en MRI), ongeacht de beschikbaarheid van specifieke fasen.

4. Resultaten

De methode is getest op drie datasets:

1. Changhai (CH) Dataset: Een groot privé-dataset met 2.282 patiënten (abdominale CT).
2. C4KC-KiTS: Publieke dataset voor nierkanker.
3. BraTS 2018: Publieke dataset voor hersentumoren (MRI), gebruikt om de generaliseerbaarheid te testen.

Kernbevindingen:

• Superieure Prestaties: TARDis overtreft state-of-the-art methoden (zoals RFNet, mmFormer, M3AE) significant in zowel segmentatie (Dice-score) als classificatie (AUC).
• Prestaties bij Enkele Modaliteit: Zelfs wanneer slechts één fase beschikbaar is (bijv. alleen niet-contrast), behoudt TARDis een hoge nauwkeurigheid (bijv. Dice ~0.86 in CH-dataset), terwijl concurrenten sterk dalen.
• Subtype Diagnose: TARDis toont een opvallende superioriteit bij het onderscheiden van subtiele histologische subtypes (AUC 0.923 vs. <0.760 voor concurrenten), wat wijst op het succesvolle ontkoppelen van dynamische versterking.
• Generalisatie naar MRI: Hoewel gebaseerd op CT-hemodynamiek, werkt het framework ook effectief voor MRI-segmentatie, wat aantoont dat het de tijdsafhankelijke afhankelijkheden tussen sequenties succesvol heeft geleerd.

5. Betekenis en Impact

De studie heeft belangrijke klinische en technische implicaties:

• Reductie van Stralingsdosis: Omdat TARDis robuust is tegen ontbrekende fasen, kunnen artsen in de toekomst mogelijk minder fasen scannen zonder in te leveren op diagnostische precisie. Dit verlaagt de stralingsbelasting voor patiënten aanzienlijk.
• Verbeterde Workflow: Het maakt het mogelijk om bestaande, incomplete datasets (vaak het gevolg van verschillende protocollen tussen ziekenhuizen) effectief te gebruiken voor AI-training en diagnose.
• Nieuw Paradigma: Het introduceert een "continuous-time disentanglement" paradigma dat verder kan worden toegepast op andere medische uitdagingen, zoals lage-dosis diagnose en data-harmonisatie tussen verschillende centra.

Samenvattend biedt TARDis een fundamenteel nieuwe aanpak die de fysica van contrastversterking integreert in de diepe leer-architectuur, waardoor het een oplossing biedt voor het veelvoorkomende probleem van incomplete multi-modale data in de radiologie.