Stop Holding Your Breath: CT-Informed Gaussian Splatting for Dynamic Bronchoscopy

1. Probleemstelling

De Kernuitdaging: Bronchoscopische navigatie is afhankelijk van het registreren van real-time endoscopische video op preoperatieve CT-scans. Echter, respiratoire beweging veroorzaakt significante luchtwegdeformatie (5–20 mm), wat een "CT-naar-lichaam-divergentie" creëert die de localisatieprecisie ernstig beperkt.
Huidige Beperkingen:

• Ademhoudingsprotocollen: Klinici vragen patiënten momenteel hun adem in te houden om te matchen met de statische CT. Dit is moeilijk consistent te reproduceren, verstoort de workflow en verhoogt het ongemak voor de patiënt.
• Statische aannames: Bestaande video-naar-CT-registratiemethoden gaan vaak uit van een statische luchtweg of gebruiken rigide modellen, waardoor ze geen rekening houden met de coherente globale verplaatsing van de luchtweg veroorzaakt door ademhaling.
• Ambiguïteit: Bij bronchoscopie zijn camerabeweging en luchtwegdeformatie intrinsiek gekoppeld, waardoor het moeilijk is om perspectiefveranderingen te onderscheiden van anatomische beweging met behulp van onbeperkte deformatievelden.
• Gebrek aan Evaluatie: Er zijn geen bestaande datasets met dichte ground truth voor geometrie, pose en ademhalingsfase om deformatiebewuste reconstructiemethoden in dit domein kwantitatief te evalueren.

2. Methodologie

De auteurs stellen een kader voor dat de noodzaak tot adem inhouden elimineert door gebruik te maken van patiëntspecifiek respiratoir modeling afgeleid van gekoppelde inademing/uitademing CT-scans (standaard voor planning).

A. CT-Informeerd Deformatieruimte

In plaats van onbeperkte per-frame deformatievelden te leren, beperkt de methode de luchtweggeometrie tot een 1D-onderruimte gedefinieerd door de eigen beeldvorming van de patiënt:

• Input: Gekoppelde inspiratie ($V_{insp}$) en expiratie ($V_{exp}$) CT-scans.
• Deformatieveld: Een vast verplaatsingsveld $\Delta = V_{exp} - V_{insp}$ wordt vooraf berekend via deformatieve CT-naar-CT-registratie.
• Schaalparameter: De toestand van de luchtweg op elk tijdstip $t$ wordt bepaald door een enkele schaalparameter ademhalingsfase $\hat{\alpha}_t \in [0, 1]$, waarbij 0 volledige inspiratie is en 1 volledige expiratie.
• Mesh-interpolatie: De mesh-vertices worden lineair geïnterpoleerd: $V(\hat{\alpha}_t) = V_{insp} + \hat{\alpha}_t \cdot \Delta$. Dit zorgt ervoor dat alle gereconstrueerde configuraties liggen op een anatomisch waargenomen traject.

B. Mesh-verankerde Gaussian Splatting

De aanpak bouwt voort op BridgeSplat maar past deze aan voor het bronchoscopische regime:

• Representatie: 3D-Gaussians zijn verankerd aan een ouderdriehoek van de luchtwegmesh met behulp van leerbare barycentrische coördinaten.
• Voordelen van verankering: Naarmate de mesh deformeert volgens $\hat{\alpha}_t$, erven de Gaussians automatisch de lokale rek, rotatie en translatie. Dit elimineert de noodzaak voor per-Gaussian deformatieparameters en voorkomt "off-surface drift".
• Optimalisatie: Een lichtgewicht schatter infereert de ademhalingsfase $\hat{\alpha}_t$ direct uit de endoscopische RGB-video.
• Activeringsfunctie: Een op cosinus gebaseerde parametrisatie met een lineaire gradiëntlekkage wordt gebruikt om $\hat{\alpha}_t$ te schatten. Dit voorkomt gradiëntverdwijning bij de uitersten (volledige in- of uitademing), waardoor stabiele optimalisatie gedurende de ademhalingscyclus wordt gewaarborgd.

C. Trainingsstrategie

De optimalisatie volgt een schema van drie fasen om te voorkomen dat verschijningsparameters geometrische fouten absorberen:

1. Optimaliseer ademhalingsfase ($\theta_t$) met verschijning bevroren.
2. Optimaliseer verschijning met fase bevroren.
3. Gezamenlijke optimalisatie.
   De verliesfunctie combineert fotometrische fideliteit (L1 + SSIM) en temporele regularisatie, waardoor de noodzaak voor complexe geometrische regularisatietermen (zoals ARAP) die door onbeperkte methoden worden vereist, wordt verwijderd.

3. Belangrijkste Bijdragen

A. Het RESPIRE Simulatie Kader

Om kwantitatieve evaluatie mogelijk te maken, introduceerden de auteurs RESPIRE (Respiratory Endoscopic Scenes with Paired Inspiration-expiration CTs for REconstruction):

• Fysisch Onderbouwd: Genereert realistische synthetische bronchoscopievideo's uit elk paar inspiratie/expiratie CT-scans.
• Dichte Ground Truth: Biedt per-frame annotaties voor geometrie, pose, ademhalingsfase en deformatie.
• Realisme: Gebruikt Physically Based Rendering (PBR) in Blender met subsurface scattering, speculaire reflecties en variabele verlichting om klinisch weefselverschijning en cameragedrag na te bootsen.
• Betekenis: Dit is het eerste kader dat rigoureuze benchmarking van deformatiebewuste bronchoscopische reconstructie mogelijk maakt.

B. CT-Informeerd Gaussian Splatting

• Nieuwheid: Eerste toepassing van Gaussian Splatting op dynamische bronchoscopie die respiratoire beweging expliciet modelleert met behulp van klinische CT-gegevens.
• Efficiëntie: Vervangt complexe, onbeperkte deformatieleer door een enkele schaalparameter, wat de rekenkosten drastisch verlaagt.
• Klinische Workflow: Verwijdert de noodzaak voor ademhoudingsprotocollen, waardoor continue navigatie tijdens normale ademhaling mogelijk wordt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op 9 gevallen uit de COPDGene-dataset met behulp van de RESPIRE-pijplijn.

Metriek	Prestaties ten opzichte van Baselines (BridgeSplat)
Dieptenauwkeurigheid	Verminderde RMSE met 94% (van 53,8 mm naar 3,2 mm).
Renderkwaliteit	Verbeterde PSNR met 32% en SSIM met 20% ten opzichte van onbeperkte baselines.
Ademhalingsfase	Bereikte MAE van 0,158 en Pearson $r$ van 0,833 bij het schatten van ademhalingsfase uitsluitend op basis van RGB.
Doelllocalisatie	Bereikte 1,22 mm doelllocalisatiefout (contour RMSE: 1,24 mm). Dit ligt ruim binnen de ~3 mm klinische tolerantie voor biopsiedoelstelling.
Trainingssnelheid	22× snellere trainingstijd (17,4 min versus 383,4 min) in vergelijking met onbeperkte BridgeSplat.

Belangrijkste Bevinding: De methode slaagt erin geometrisch trouwe reconstructies en accurate ademhalingsfasen te herstellen zonder adem inhouden, en presteert beter dan single-CT-baselines die geen rekening houden met deformatie.

5. Betekenis en Impact

• Klinische Relevantie: Door localisatieprecisie binnen de 3 mm klinische tolerantie te bereiken, lost deze methode effectief het "CT-naar-lichaam-divergentie"-probleem op dat wordt veroorzaakt door ademhaling. Dit zou de noodzaak voor moeilijke en ongemakkelijke ademhoudingsprotocollen tijdens longbiopsieën kunnen elimineren.
• Workflow-integratie: Aangezien gekoppelde inademing/uitademing CT-scans al standaard zijn voor preoperatieve planning, vereist de methode slechts een bescheiden extra acquisitie (de tweede fase) om navigatie met hoge precisie mogelijk te maken.
• Benchmarking: De introductie van RESPIRE vult een kritiek gat in het veld, en biedt de eerste dataset met dichte ground truth voor het evalueren van dynamische bronchoscopische reconstructie.
• Generaliseerbaarheid: De aanpak toont aan dat het beperken van reconstructie tot een fysiologisch geldige, laagdimensionale onderruimte (afgeleid van patiëntgegevens) superieur is aan het leren van onbeperkte deformaties in scenario's met grote cameraverschuivingen en coherente globale beweging.

Beperkingen & Toekomstig Werk:

• Afhankelijkheid van accurate luchtwegsegmentatie (kan handmatige verfijning vereisen).
• Het huidige lineaire deformatiemodel vangt niet-lineaire druk-volume-dynamiek in tussenliggende fasen niet op.
• Gaat uit van een bekende camerapose; toekomstig werk richt zich op gezamenlijke schatting van pose en ademhalingsfase voor volledig zelftoezichtende navigatie.