OSCAR: Occupancy-based Shape Completion via Acoustic Neural Implicit Representations

Deze paper introduceert OSCAR, een labelvrije methode die op basis van akoestische neurale impliciete representaties onvolledige ultrasone beelden van de wervelkolom omzet in volledige 3D-anatomische modellen om zo de uitdagingen van akoestische schaduwvorming tijdens minimaal invasieve ingrepen te overwinnen.

De kern

Stel je voor dat je een arts bent die een rugoperatie moet uitvoeren. Om de wervels (de botten in je rug) goed te zien, gebruikt hij een echo-apparaat. Dit is geweldig omdat er geen straling is, maar er is een groot probleem: echo's zijn als een raam met een sterke schaduw.

Wanneer de geluidsgolven van de echo op een bot slaan, worden ze volledig geblokkeerd. Achter dat bot ontstaat er een "akustische schaduw" – een zwart gat op het scherm waar de arts niets kan zien. In het echt moet de arts nu zijn hersenen gebruiken en op basis van zijn ervaring de rest van het bot "in zijn hoofd" invullen. Dat is lastig en foutgevoelig.

Deze paper introduceert OSCAR, een slim computerprogramma dat dit invulwerk voor de arts doet, maar dan op een heel slimme manier.

Hier is hoe OSCAR werkt, vertaald naar alledaagse taal:

1. De "Twee-in-één" Geheime Code

Stel je voor dat elke wervel een unieke geheime code heeft. Normale computerprogramma's kijken alleen naar de vorm van het bot (de geometrie) of alleen naar het beeld (de echo). OSCAR doet iets anders: het leert dat de vorm van het bot en de manier waarop de echo eruitziet, onlosmakelijk met elkaar verbonden zijn.

• De Analogie: Denk aan een ijsje. Als je de vorm van het ijsje kent (kegel), weet je ook hoe het eruitziet als het smelt (de vloeibare vorm). Als je de vloeibare vorm ziet, kun je de kegel er weer uit halen. OSCAR leert deze "twee-in-één" code. Het begrijpt dat als het bot er zo uitziet, de echo er ook zo moet uitzien, en andersom.

2. Het "Spooklicht" van de Schaduw

Wanneer de echo een bot raakt, verdwijnt het signaal erachter. Voor een gewone computer is dat een gat in de data. Voor OSCAR is dat echter een aanwijzing.

• De Analogie: Stel je voor dat je in een donkere kamer staat en een lamp op een muur richt. Achter een stoel is het donker. Een gewone camera ziet alleen de stoel en denkt: "Hier is niets." Maar OSCAR is als een slimme detective die zegt: "Ik zie dat het licht hier stopt. Dat betekent dat er iets moet staan dat het licht blokkeert. En omdat ik weet hoe stoelen eruitzien, kan ik de rest van de stoel achter het donkere gedeelte 'in mijn hoofd' tekenen."

OSCAR gebruikt de fysica van geluid (hoe het bot het geluid absorbeert) om te weten waar de schaduw begint. Het gebruikt die kennis om de onzichtbare delen van het bot te reconstrueren zonder dat iemand het bot ooit heeft hoeven te labelen of te tekenen.

3. Het "Puzzel" Spel zonder Randstukken

Bij de operatie heeft de arts vaak maar een paar fragmenten van de echo (verschillende hoeken). De computer moet deze stukjes samenvoegen tot één compleet 3D-bordje.

• De Analogie: Stel je voor dat je een puzzel maakt, maar je mist 50% van de stukjes en de randen zijn weg. Normaal gesproken zou je vastlopen. Maar OSCAR heeft een "geheugen" van duizenden andere puzzels (wervels) die het eerder heeft gezien. Het weet hoe een wervel er gemiddeld uitziet. Als het een paar stukjes ziet, past het de geheime code aan zodat de puzzel perfect past, zelfs op de plekken waar de stukjes ontbreken. Het vult de gaten in met wat logisch is, gebaseerd op de fysica van geluid.

Waarom is dit zo geweldig?

1. Geen "Kleurplaat" nodig: Andere methodes hebben vaak een arts nodig die eerst de contouren van het bot inkleurt (labelt) voordat de computer kan werken. OSCAR doet dit zonder labels. Het kijkt gewoon naar het ruwe echo-beeld en lost het zelf op.
2. Veel accurater: De paper toont aan dat OSCAR 80% beter is dan de beste bestaande methodes. Het maakt de "schaduw" niet meer tot een probleem, maar gebruikt het als een hint.
3. Twee kanten op: Het werkt ook omgekeerd. Als je de vorm van het bot kent, kan OSCAR zelfs voorspellen hoe de echo eruit zou zien. Dit is handig om te oefenen of om nieuwe beelden te maken.

Kortom: OSCAR is als een super-slimme assistent die, terwijl de arts naar een vlek op het scherm kijkt, direct de volledige, onzichtbare wervel in 3D voor hem "tekent" in de lucht, zodat de operatie veiliger en preciezer kan verlopen. Het maakt van een onvolledig beeld een compleet plaatje, puur door te begrijpen hoe geluid en botten met elkaar praten.

Technische samenvatting

Titel: OSCAR: Occupancy-based Shape Completion via Acoustic Neural Implicit Representations

Auteurs: Magdalena Wysocki et al. (TU München & MCML)

---

1. Probleemstelling

Precieze 3D-reconstructie van wervel-achtige anatomie vanuit ultrasone (US) beelden is cruciaal voor het leiden van minimaal invasieve rugoperaties. Echter, deze taak is uiterst uitdagend vanwege:

• Acoustische schaduwen en reverberatie: Deze fenomenen degraderen de beeldkwaliteit drastisch, waardoor vaak alleen het nabijgelegen oppervlak van hard weefsel direct zichtbaar is.
• Onvolledige data: Chirurgische beeldvorming levert vaak gefragmenteerde B-mode beelden op met grote occlusies (verduisterde gebieden).
• Afhankelijkheid van labels: Bestaande methoden voor vormcompletie (shape completion) vertrouwen vaak op expliciet gelabelde puntwolken of segmentatiemaskers. Dit negeert het fysieke proces van beeldvorming en behandelt schaduwen simpelweg als ontbrekende data, zonder rekening te houden met de view-afhankelijke eigenschappen van ultrasone golven.

Het doel is om een robuuste, fysica-gedreven methode te ontwikkelen die de volledige 3D-geometrie van de wervel kan reconstrueren uit gefragmenteerde B-mode beelden, zonder dat er tijdens de inferentie (tijdens de operatie) anatomische labels nodig zijn.

---

2. Methodologie

De auteurs stellen OSCAR voor, een raamwerk dat een Neurale Impliciete Representatie (NIR) combineert met een gekoppeld latente ruimte voor zowel akoestische eigenschappen als geometrische vorm.

Kerncomponenten:

1. Gekoppelde Latente Ruimte:

   • Het netwerk gebruikt een gedeelde achtersteun (backbone) $f_\theta$ die een gezamenlijke feature-representatie leert uit een 3D-coördinaat $x$ en een subject-specifieke latente code $z$.
   • Deze representatie wordt verwerkt door twee hoofdcomponenten:
     • Akoestische Head ($g_\phi$): Voorspelt fysieke weefseleigenschappen voor golfvoortplanting: reflectie ($\beta$), verstrooiing ($\sigma$) en attenuatie ($\mu$).
     • Occupancy Head ($s_\psi$): Voorspelt de continue volumetrische bezettingskans $o(x)$ (de vorm van het bot).

2. Fysica-bewuste Ray-based Rendering:

   • In plaats van standaard optische rendering, modelleert OSCAR het ultrasone proces als een straaltraceerproces (ray-tracing).
   • De straal $r(t)$ vertegenwoordigt een complete 1D-scanlijn. De transmissie $T(t)$ van akoestische energie wordt berekend door integratie van attenuatie en reflectie langs de straal:
     $$T(t) = \exp\left(-\int_0^t (\mu(r(s)) + \beta(r(s))) ds\right)$$
   • De gesynthetiseerde B-mode intensiteit is de som van reflectie en verstrooiing, gemoduleerd door de resterende energie $T(t)$.
   • Cruciaal mechanisme: Wanneer een straal bot raakt, neemt de attenuatie en reflectie sterk toe, waardoor $T(t)$ exponentieel daalt naar nul. Dit creëert automatisch een "akoestische schaduw". Het netwerk leert hierdoor impliciet dat gebieden achter bot niet zichtbaar zijn, zonder dat er expliciete schaduw-labels nodig zijn.

3. Optimalisatiestrategie (Training en Inference):

   • Training: Het netwerk wordt getraind op een dataset met zowel B-mode beelden als ground-truth segmentaties. De loss-functie combineert fotometrische fout (verschil tussen gesynthetiseerde en echte beelden) en geometrische fout (verschil met ground-truth vorm).
   • Test-Time Optimization (TTO) - Label-vrij: Tijdens inferentie worden de netwerkweights bevroren. Voor een nieuw, onbekend patiënt wordt een nieuwe latente code $z^*$ geoptimaliseerd puur op basis van de zichtbare B-mode intensiteiten (zonder vorm-labels). Omdat de akoestische en geometrische ruimten strikt gekoppeld zijn, dwingt het optimaliseren op de zichtbare anatomie het netwerk om de volledige, verborgen 3D-geometrie af te leiden via de geleerde prior.

---

3. Belangrijkste Bijdragen

• Label-vrije Vormcompletie: OSCAR kan de volledige 3D-geometrie van de wervel reconstrueren zonder dat er tijdens de operatie annotaties of segmentatiemaskers nodig zijn.
• Fysica-gedreven Akoestisch Bewustzijn: Door akoestische parameters (reflectie, attenuatie) expliciet te modelleren in de NIR, wordt het netwerk "impliciet bewust" van occlusies en schaduwen. Dit lost het probleem op van tegenstrijdige informatie uit meerdere viewpoints.
• Bidirectionele Optimalisatie: Het gekoppelde latente ruimte maakt het mogelijk om niet alleen vorm uit beelden te halen, maar ook realistische akoestische ruimtes (B-mode beelden) te synthetiseren vanuit een bekende vorm.
• State-of-the-Art Prestaties: De methode overtreft bestaande methoden aanzienlijk, zelfs bij generalisatie naar fysieke fantomen (sim-to-real).

---

4. Resultaten

De methode werd geëvalueerd op gesimuleerde data (53 wervels) en op data van een fysiek fantoom (3D-geprinte wervels in gelatine).

• Kwantitatieve Prestaties:
  • Vergelijkend met de huidige state-of-the-art (SITD) en de basisarchitectuur (NISF), behaalde OSCAR een verbetering van 80% in de HD95-score (95% Hausdorff Distance) op gesimuleerde data.
  • Op het fysieke fantoom bereikte OSCAR vergelijkbare resultaten met SITD, terwijl SITD expliciete labels vereist en OSCAR dat niet doet.
• Kwalitatieve Analyse:
  • Visuele analyses tonen aan dat OSCAR structureel bewuster is en onzichtbare anatomie accurater aanvult dan NISF of SITD.
  • Latente Interpolatie: Lineaire interpolatie tussen latent codes resulteert in gladde, anatomisch plausibele overgangen, wat aantoont dat de geleerde prior een continue manifold van wervelvormen vastlegt.
  • Sim-to-Real: Ondanks het domeinverschil tussen simulatie en echte scans, slaagde het framework erin om vormen op fysieke fantomen correct te completeren.

---

5. Betekenis en Conclusie

OSCAR vertegenwoordigt een belangrijke doorbraak in de toepassing van AI voor ultrasone chirurgische beeldvorming.

• Klinische Impact: Het biedt een oplossing voor het probleem van onvolledige zichtbaarheid tijdens minimaal invasieve rugoperaties, wat de veiligheid en precisie van robot-gestuurde ingrepen kan verhogen.
• Technologische Innovatie: Door de integratie van fysica (akoestiek) direct in de neurale impliciete representatie, vermijdt de methode de beperkingen van puur datagedreven benaderingen die worstelen met schaduwen en occlusies.
• Toekomstperspectief: De mogelijkheid om akoestische ruimtes te synthetiseren vanuit bekende vormen opent de deur voor schaalbare registratietechnieken en data-synthese, wat de ontwikkeling van nieuwe medische beeldvormingssystemen kan versnellen.

Kortom, OSCAR beweegt verder dan alleen het reconstrueren van zichtbare oppervlakken; het creëert een "digitale tweeling" van de anatomie door gebruik te maken van de onderliggende fysica van het ultrasone signaal.