💻 computer science

NeuVolEx: Implicit Neural Features for Volume Exploration

In dit artikel wordt NeuVolEx voorgesteld, een nieuwe methode voor volumeverkenning die implicit-neurale-voorstellingen (INRs) gebruikt om robuuste, ruimtelijk coherente kenmerken te leren die de effectiviteit en bruikbaarheid verbeteren bij het ontwerpen van transferfuncties en het aanbevelen van viewpoints, zelfs onder beperkte gebruikerssupervisie.

Oorspronkelijke auteurs: Haill An, Suhyeon Kim, Donghyuk Choo, Younhyun Jung

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haill An, Suhyeon Kim, Donghyuk Choo, Younhyun Jung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe 3D-bak vol met honderden miljoenen kleine blokjes (voxels) hebt. Dit kan een scan van een menselijk lichaam zijn, een motorblok of zelfs een wervelwind. Je wilt erin duiken om specifieke onderdelen te vinden, zoals een gebroken bot, een verstopte ader of een klein scheurtje in de motor.

Het probleem is: hoe vind je die specifieke stukjes in die zee van data zonder urenlang te zoeken?

Dit is waar NeuVolEx komt. Het is een slimme nieuwe manier om die 3D-data te verkennen, bedacht door onderzoekers. Laten we het uitleggen met een paar alledaagse vergelijkingen.

1. Het oude probleem: De "Lijst" vs. De "Grote Duiding"

Vroeger hadden mensen twee manieren om deze blokken te begrijpen:

Manier A (De Lijst): Je kijkt naar elk blokje afzonderlijk. Je zegt: "Dit blokje is wit, dus het is bot." "Dit blokje is grijs, dus het is spier." Dit werkt goed voor simpele dingen, maar het is alsof je een boek probeert te lezen door alleen naar de letters te kijken zonder naar de zinnen te kijken. Je mist de context. Een ader kan eruitzien als een bot als je alleen naar de kleur kijkt.
Manier B (De Grote Duiding): Je gebruikt een super-slimme computer (een AI) die het hele boek in één keer probeert te begrijpen. Dit is krachtig, maar het heeft een groot nadeel: het heeft een enorme hoeveelheid instructies nodig om te leren. Als je de AI maar een paar hints geeft (bijvoorbeeld: "hier is een ader"), raakt hij in de war en maakt hij veel fouten. Het is alsof je iemand vraagt een heel complex schilderij te maken, maar je geeft hem maar één streepje verf.

2. De Oplossing: NeuVolEx (De "Slimme Architect")

NeuVolEx is een nieuwe methode die het beste van beide werelden combineert. Het gebruikt een technologie die INR (Implicit Neural Representations) heet.

Stel je voor dat INR niet kijkt naar de blokjes zelf, maar leert hoe het geheel eruitziet. Het is alsof je een architect bent die niet elke steen apart bekijkt, maar het hele gebouw in zijn hoofd heeft.

De Slimme Truc: In het verleden gebruikten mensen deze architecten alleen om het gebouw op te slaan (comprimeren) zodat het minder ruimte inneemt. NeuVolEx zegt: "Wacht even! Die architect heeft al een heel goed beeld van hoe de muren en deuren eruitzien terwijl hij aan het bouwen is. Laten we die kennis gebruiken om de onderdelen te vinden!"
De Extra Hulp: Om het nog beter te maken, geven ze de architect twee extra hulpmiddelen:
1. Een Structuur-Scanner: Deze kijkt niet alleen naar het blokje, maar ook naar de buren. "Ah, dit blokje zit in een buisvormige structuur, dus het is waarschijnlijk een ader, niet een bot."
2. Meerdere Oefeningen: In plaats van alleen te leren hoe de kleuren zijn, leert het systeem ook hoe de randen eruitzien en hoe de vormen zich gedragen. Dit zorgt ervoor dat de grenzen tussen verschillende onderdelen (bijvoorbeeld tussen een hart en een long) heel scherp blijven.

3. Wat kun je er mee doen?

NeuVolEx helpt je op twee belangrijke manieren:

A. Het "Kleurpotlood" (Transfer Functie Design)

Stel je voor dat je een potlood hebt waarmee je op een foto van een orgaan kunt tekenen.

Vroeger: Als je een lijntje trok om een ader aan te geven, zag de computer dat als een losse lijn en probeerde hij de rest van de ader te raden. Vaak mislukte dit, en zag je de ader als een gebroken lijntje.
Met NeuVolEx: Je tekent een paar streepjes op een foto. Omdat het systeem de structuur begrijpt, "snapt" het dat die streepjes deel uitmaken van een lange, doorlopende ader. Het vult de rest automatisch in, zelfs de heel dunne takjes, zonder dat je die hoeft aan te wijzen. Het is alsof je een schets maakt en de computer tekent het perfecte schilderij voor je.

B. De "Beste Foto's" (Viewpoint Recommendation)

Soms wil je niet weten wat er in de data zit, maar waar je moet kijken om het beste beeld te krijgen.

Vroeger: Je moest zelf rondlopen in de 3D-ruimte en hopen dat je een goed hoekje vond.
Met NeuVolEx: Het systeem kijkt naar de data en zegt: "Als je hier van bovenaf kijkt, zie je het centrum van de wervelwind. Als je hier van opzij kijkt, zie je de draaiing." Het kiest automatisch een paar perfecte hoekjes uit die samen alles laten zien wat belangrijk is, zonder dat je zelf hoeft te zoeken. Het is alsof een fotograaf die voor je bepaalt welke 3 foto's je nodig hebt om een heel museum te laten zien.

Waarom is dit zo cool?

Je hoeft niet veel te doen: Je hoeft maar heel weinig te tekenen (soms maar op één plaatje) om het hele 3D-model te laten begrijpen.
Het is snel: Het leert de data in minuten, niet in dagen.
Het werkt overal: Of het nu een menselijke hersenen, een motorblok of een wervelwind is, het systeem past zich aan.

Kortom: NeuVolEx is als een super-slimme assistent die niet alleen kijkt naar de losse puzzelstukjes, maar het hele plaatje ziet. Hij helpt je om snel de belangrijkste stukjes te vinden en te zien, zodat je niet verdwaalt in de data.

Probleemstelling

Direct Volume Rendering (DVR) is essentieel voor het visualiseren en interpreteren van volumetrische data (bijv. medische scans of wetenschappelijke simulaties). Een centrale uitdaging is het identificeren en exploreren van Gebieden van Interesse (ROIs). Hiervoor zijn twee fundamentele taken cruciaal:

Ontwerp van Transferfuncties (TF): Het interactief classificeren van voxels om specifieke structuren te benadrukken.
Aanbeveling van Viewpoints: Het automatisch voorstellen van camera-hoeken die verschillende ROIs onthullen.

Bestaande methoden voor feature-representatie (de manier waarop data wordt gekarakteriseerd voor deze taken) hebben twee grote beperkingen:

Expliciete lokale features: Methoden die handmatig ontworpen features gebruiken (zoals intensiteit, gradiënt, textuur) missen vaak het vermogen om bredere geometrische patronen en ruimtelijke correlaties te vangen. Dit leidt tot inconsistente classificatie van samenhangende structuren.
Implicit convolutie-features: Methoden die diepe neurale netwerken gebruiken om features te leren, kunnen wel ruimtelijke context vangen, maar leiden vaak tot zeer hoge dimensionaliteit (bijv. 75D tot 387D). Dit maakt robuuste classificatie moeilijk onder beperkte gebruikerssupervisie (weinig "scribbles" of annotaties) en veroorzaakt hoge reken- en geheugenkosten.

Er is dus behoefte aan een feature-representatie die zowel ruimtelijk coherent is als efficiënt leert met weinig gebruikersinput.

Methodologie: NeuVolEx

De auteurs stellen NeuVolEx voor, een benadering die de rol van Implicit Neural Representations (INRs) uitbreidt van louter volumecompressie naar volume-exploratie. In plaats van te focussen op de gereconstrueerde intensiteit (de output van een INR), gebruikt NeuVolEx de feature-representaties die tijdens het trainen van de INR worden geleerd als basis voor exploratie.

De architectuur bestaat uit de volgende componenten:

Volume Exploration-Optimized INR:
- Dual-Pathway Design: Het systeem verwerkt twee ingangen:
  - Positieve representatie: 3D-coördinaten worden omgezet in features via een multi-resolution hash encoding.
  - Structurele representatie: Een lokaal patch van $n^3$ voxels (centreren op de coördinaat) wordt verwerkt door een structurele encoder om lokale context te vangen.
- FiLM (Feature-wise Linear Modulation): In plaats van de features simpelweg te concateneren, gebruikt het systeem FiLM om de structurele representatie te gebruiken als voorwaarde (conditioning) voor de positieve representatie. Dit verrijkt de positieve features met lokale structurele context, wat helpt bij het scheiden van gebieden met vergelijkbare intensiteiten en het behouden van fijne grenzen.
- Multi-Task Learning: De hoofd-MLP wordt getraind om niet alleen de intensiteit te voorspellen, maar ook vier doelen tegelijkertijd: intensiteit, gradiënt, lokale gemiddelde en lokale standaardafwijking. Dit dwingt het netwerk om een feature-representatie te leren die gevoelig is voor structurele grenzen en lokale homogeniteit, wat essentieel is voor het groeperen van samenhangende ROIs.
Toepassingen (Tasks):
- Image-based TF Design: Gebruikers tekenen eenvoudige "scribbles" (streepjes) op 2D-slices. Een Random Forest-classificator gebruikt de geleerde INR-features om de waarschijnlijkheid te berekenen dat elke voxel tot een bepaalde ROI behoort. Dit resulteert in een probabilistische volume-rendering waarbij de gebruiker transparantie en kleur kan toewijzen op basis van deze waarschijnlijkheid.
- Viewpoint Recommendation: Zonder gebruikersinput worden de voxel-features geklusterd (bijv. met K-means). Vervolgens worden viewpoints geselecteerd die een maximale dekking bieden van deze verschillende clusters, gebruikmakend van een entropie-map en een set-cover algoritme.

Belangrijkste Bijdragen

Nieuwe INR-based Feature Representatie: Het introduceren van INR-features als een robuuste basis voor volume-exploratie, in plaats van alleen voor reconstructie.
Uitbreiding van INR in DVR: Het verschuiven van de focus van INR-outputs (intensiteit) naar INR-features (interne representaties) voor exploratietaken.
Geoptimaliseerde INR Architectuur: De ontwikkeling van een specifieke architectuur met een structurele encoder en multi-task learning om ruimtelijke coherentie te maximaliseren voor ROI-karakterisering.
Uitgebreide Validatie: Demonstratie van effectiviteit en bruikbaarheid op twee fundamentele taken (TF-design en viewpoint-recommendation) over diverse datasets met verschillende modaliteiten en complexiteiten.

Resultaten

De auteurs hebben NeuVolEx getest op tien verschillende volumedatasets (medisch, industrieel, synthetisch) en vergeleken met bestaande methoden (expliciete lokale features en impliciete convolutie-features).

Kwaliteit van ROI-classificatie: NeuVolEx behaalde consistent de hoogste F1-scores. Bijvoorbeeld, op de CT-Tooth dataset behaalde NeuVolEx een score van 0.8795, vergeleken met 0.8388 voor de lokale feature-methode en 0.8271 voor de convolutie-methode.
Robuustheid bij beperkte supervisie: Een cruciale bevinding is dat NeuVolEx al zeer goede resultaten behaalt met extreem weinig gebruikersinput (bijv. slechts 756 scribble-punten op één slice, wat 0.05% van het volume is). De convolutie-methode vereiste hierbij 39 keer meer annotaties om vergelijkbare resultaten te bereiken.
Visualisatiekwaliteit: In kwalitatieve tests (bijv. CTA-Head, MRA-Brain) behield NeuVolEx de continuïteit van fijne structuren (zoals bloedvaten en takken) veel beter dan de concurrenten, die vaak onderbroken lijnen of verkeerde classificaties vertoonden.
Berekeningskosten: De feature-training is efficiënt. Voor een groot volume (512x512x452) kostte het trainen ongeveer 15 minuten en 18.75 GB VRAM. Dit is aanzienlijk sneller en lichter dan de convolutie-methode, die voor vergelijkbare data dagen zou kunnen duren en meer geheugen vereist.

Betekenis en Conclusie

NeuVolEx markeert een paradigmaverschuiving in Direct Volume Rendering. Het toont aan dat Implicit Neural Representations, die traditioneel worden gezien als een compressietechniek, ook krachtige feature-extractoren zijn voor interactieve exploratie.

De belangrijkste implicaties zijn:

Efficiëntie: Het systeem werkt goed met minimale gebruikersinput, wat de interactieve workflow versnelt.
Robuustheid: Het leert ruimtelijk samenhangende features die beter bestand zijn tegen de complexiteit van volumetrische data dan handmatige of standaard diepe-learning features.
Toekomstperspectief: De methode opent de deur voor verdere toepassingen, zoals het analyseren van multimodale data, tijdsvariërende series, en het vinden van clipping planes, hoewel verdere optimalisatie nodig is voor de schaal van toekomstige datasets.

Kortom, NeuVolEx biedt een robuust, efficiënt en gebruiksvriendelijk framework dat de kwaliteit van volume-exploratie aanzienlijk verbetert door slim gebruik te maken van de interne representaties van neurale netwerken.