TR-GS: High-Fidelity Sparse-View CT Volumetric Rendering via t-Distribution Gaussian Splatting and Ray-Confidence Modeling

Medische beeldvorming leunt al lang op een delicaat evenwicht tussen helderheid en veiligheid. Om in het menselijk lichaam te kunnen kijken zonder het open te snijden, gebruiken artsen computertomografie, of CT, die een driedimensionaal beeld opbouwt uit honderden platte röntgenfoto's die vanuit verschillende hoeken zijn genomen. Hoe meer hoeken er worden vastgelegd, hoe duidelijker het uiteindelijke beeld, maar elke extra röntgenfoto draagt bij aan de stralingsbelasting van de patiënt. Decennialang is het doel geweest om een scherp, bruikbaar beeld te krijgen met zo min mogelijk röntgenstraling, een uitdaging die bekend staat als sparse-view reconstructie. Wanneer er te weinig hoeken worden gebruikt, lijden de resulterende beelden vaak aan strepen en onscherpte, wat het moeilijk maakt om kleine tumoren op te sporen of delicate operaties te plannen. Hoewel moderne computers nu 3D-scènes kunnen genereren uit foto's, is het toepassen van deze technieken op medische scans lastig gebleken omdat de wiskunde die voor natuurlijke objecten wordt gebruikt, niet altijd om kan gaan met de onzekerheid en de ontbrekende gegevens die voorkomen bij medische scans met een lage dosis.

Een team onderzoekers aan de Shenzhen University heeft een nieuwe methode ontwikkend genaamd TR-GS om dit specifieke probleem op te lossen. In plaats van de standaard wiskundige vormen waarop de meeste 3D-beeldvormingssoftware vertrouwt, hebben zij deze vervangen door een andere, flexibelere vorm die van nature beter is in het negeren van fouten. In de wereld van computergraphics worden 3D-scènes vaak opgebouwd uit miljoenen kleine, vage ellipsoïden, of ovaalvormige wolken, die fungeren als pixels in drie dimensies. Standaardmethoden gebruiken vormen die zeer strikt en 'thin-tailed' zijn, wat betekent dat ze ervan uitgaan dat elk stukje data perfect is en proberen de vorm exact aan die data aan te passen. Wanneer de data incompleet of ruisachtig is, zoals bij CT-scans met een lage dosis, worstelen deze strikte vormen hiermee, wat leidt tot gekartelde artefacten en vervormde structuren. De onderzoekers hebben deze vervangen door een vorm met "heavy tails", een statistische eigenschap die de vorm toestaat om toleranter te zijn voor slechte datapunten zonder de algemene structuur van het object te verliezen.

Om dit systeem nog beter te laten werken, voegde het team een slimme laag van oordeelsvorming toe aan het proces. Ze creëerden een systeem dat controleert hoeveel informatie elke kleine 3D-vorm heeft ontvangen van de röntgencamera's. Als een vorm wordt omringd door veel röntgenstralen die vanuit verschillende richtingen komen, beschouwt het systeem dit als zeer betrouwbaar en houdt het de vorm precies. Als een vorm zich in een plek bevindt waar slechts weinig röntgenstralen doorheen gaan, herkent het systeem de onzekerheid en staat het die vorm toe om flexibeler en robuuster te worden, waardoor het geen valse details creëert. Deze dynamische aanpassing vindt automatisch plaats tijdens het leerproces van de computer, waardoor wordt gewaarborgd dat goed geobserveerde gebieden scherp blijven terwijl slecht geobserveerde gebieden geen verwarrende ruis introduceren.

De onderzoekers hebben ook een techniek geïntroduceerd om de fijne details van de anatomie te beschermen, zoals de randen van botten of de textuur van zacht weefsel, die soms kunnen worden gladgestreken door de flexibele vormen. Ze gebruikten een wiskundig hulpmiddel dat het beeld opsplitst in verschillende detaillagen, waardoor de computer de scherpe, hoogfrequente kenmerken kan versterken in gebieden waar de data betrouwbaar is, terwijl de willekeurige ruis wordt onderdrukt in gebieden waar de data zwak is. Dit zorgt ervoor dat het uiteindelijke beeld de scherpte behoudt die nodig is voor een medische diagnose, zonder de statische ruis te versterken die voortkomt uit het gebruik van minder röntgenstraling.

Wanneer getest op zowel computergegenereerde modellen als echte patiëntenscans, produceerde deze nieuwe aanpak aanzienlijk duidelijkere beelden dan eerdere methoden. In tests waarbij slechts 18 röntgenopnames werden gebruikt, een zeer laag aantal voor een standaard scan, reconstrueerde de nieuwe methode de interne structuren met een helderheidsscore van 35,30, een metriek die meet hoe dicht het beeld bij het perfecte origineel ligt. Dit was een opvallende verbetering ten opzichte van de beste bestaande technieken, die lager scoorden en meer strepen en onscherpte vertoonden. De methode bleek ook veerkrachtiger wanneer de röntgengegevens willekeurige ruis bevatten, een veelvoorkomend probleem bij scans met een lage dosis, waarbij de nauwkeurigheid behouden bleef terwijl andere methoden begonnen te falen.

De resultaten suggereren dat deze aanpak een levensvatbaar pad biedt naar veiligere medische beeldvorming. Door artsen hoogwaardige 3D-weergaven te laten verkrijgen van minder röntgenopnamen, zou deze technologie de stralingsbelasting die patiënten ontvangen tijdens routinematige scans kunnen verminderen, terwijl het nog steeds de gedetailleerde informatie biedt die nodig is voor chirurgische planning en ziektebeoordeling. De onderzoekers hebben hun code publiekelijk beschikbaar gesteld, in een uitnodiging voor verdere ontwikkeling om deze principes toe te passen op zelfs complexere medische scenario's, zoals scans die vanuit beperkte hoeken worden gemaakt of specifieke lichaamsregio's waar het verzamelen van data het moeilijkst is.