Regularizing INR with diffusion prior self-supervised 3D reconstruction of neutron computed tomography data

Dit artikel introduceert Diffusive INR (DINR), een framework dat generatieve diffusiepriors combineert met impliciete neurale representaties om hoogwaardige 3D-reconstructies van neutronencomputertomografiedata te realiseren, zelfs bij extreme data-beperkingen zoals een beperkt aantal projectiehoeken.

De kern

Stel je voor dat je een heel complexe, driedimensionale puzzel moet oplossen, maar je hebt slechts een paar losse stukjes van de rand. Dat is precies wat er gebeurt bij het scannen van materialen met neutronen (een soort onzichtbare straling die door veel dingen heen kan kijken).

Normaal gesproken heb je duizenden foto's nodig vanuit verschillende hoeken om een scherp 3D-beeld te maken. Maar in de echte wereld is dat vaak te langzaam of te duur. Als je maar een paar foto's hebt (bijvoorbeeld 5 of 9 in plaats van duizenden), krijgen de oude methoden het niet voor elkaar: het beeld wordt wazig, vol ruis en met vreemde strepen.

De auteurs van dit paper hebben een nieuwe, slimme manier bedacht om deze "onvolledige puzzel" toch perfect op te lossen. Ze noemen hun methode DINR. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Twee Helden: De "Sneltekenaar" en de "Schilder"

Om het beeld te maken, gebruiken ze twee krachtige hulpmiddelen die samenwerken:

• De Sneltekenaar (INR): Dit is een slim computerprogramma dat het 3D-object niet opslaat als een raster van pixels (zoals een oude foto), maar als een oneindig vloeiende formule. Denk aan een kunstenaar die een tekening maakt met een pen die nooit stopt; hij kan inzoomen op elk detail zonder dat het beeld korrelig wordt. Deze "tekenaar" is snel en licht, maar hij heeft een zwakheid: hij houdt van eenvoudige, gladde lijnen en heeft moeite met de fijne, ruwe details (zoals kleine gaatjes in beton).
• De Schilder (Diffusie-model): Dit is een kunstmatige intelligentie die is getraind op duizenden voorbeelden van hoe objecten eruitzien. Het is alsof je een schilder hebt die duizenden foto's van beton, botten en metalen heeft gezien. Hij weet precies hoe de textuur eruit moet zien, zelfs als hij het origineel niet heeft gezien.

2. Het Probleem: De "Onvolledige Foto"

Stel je voor dat je een foto van een betonblok maakt, maar je hebt maar 5 flitslichten gebruikt in plaats van duizenden. De foto is nu erg donker en onscherp.

• De oude methoden proberen dit beeld te "scherpen" door wiskundige formules te gebruiken, maar ze maken er vaak een rommel van met rare strepen (artefacten).
• De Sneltekenaar alleen zou het beeld te glad maken; de kleine steentjes en gaatjes in het beton zouden verdwijnen.

3. De Oplossing: DINR (De Samenwerking)

De genialiteit van DINR is dat ze deze twee krachten laten samenwerken in een reconstructie-dans:

1. De Start: Ze beginnen met de slechte, wazige foto (de 5-flitsfoto).
2. De Gids: De "Schilder" (het diffusie-model) kijkt naar die wazige foto en zegt: "Hé, op basis van wat ik heb geleerd, zou dit hier een steen moeten zijn en daar een gaatje."
3. De Aanpassing: De "Sneltekenaar" luistert naar de Schilder. Hij past zijn formule aan zodat hij niet alleen de ruwe foto volgt, maar ook de "visie" van de Schilder overneemt.
4. De Herhaling: Ze doen dit steeds opnieuw. De Sneltekenaar maakt een schets, de Schilder corrigeert de details, de Sneltekenaar past het weer aan.

Het resultaat is als het reconstrueren van een verbrand manuscript: je hebt maar een paar brandplekken over, maar door te weten hoe de taal eruitziet (de "Schilder"), kun je de ontbrekende woorden (de "Sneltekenaar") zo invullen dat de tekst weer perfect leesbaar is.

4. Wat is het Resultaat?

In hun test met beton (waar water en kleine gaatjes in zitten, belangrijk voor bouwveiligheid en batterijen):

• De oude methoden gaven een wazige, onherkenbare brij bij weinig foto's.
• DINR leverde een kristalhelder beeld op, zelfs met slechts 5 foto's. Je kon de kleine poriën en de structuur van het beton perfect zien, alsof je duizenden foto's had gebruikt.

Waarom is dit belangrijk?

Dit is een doorbraak voor situaties waar je snel moet scannen of waar de straling zwak is (zoals bij neutronen).

• In de bouw: Je kunt snel controleren of beton niet beschadigd is, zonder urenlang te moeten scannen.
• In de industrie: Je kunt batterijen of brandstofcellen controleren terwijl ze nog in productie zijn.

Kortom: DINR is als een super-slimme detective die met heel weinig aanwijzingen (weinig foto's) toch het volledige, perfecte plaatje kan reconstrueren, omdat hij de "regels van het spel" (hoe objecten eruitzien) uit zijn hoofd kent.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Regularizing INR with Diffusion Prior for Self-Supervised 3D Reconstruction of Neutron Computed Tomography Data", geschreven in het Nederlands.

Titel

Regularisatie van INR met Diffusie-voorwaarde voor Zelftoezichtende 3D-reconstructie van Neutron Computertomografie-data

1. Het Probleem

Neutron Computertomografie (CT) is een cruciale beeldvormingstechniek voor het karakteriseren van volumes op basis van waterstofverdeling, met toepassingen in brandstofcellen, batterijen en betononderzoek. Een groot obstakel is echter dat neutronenbundels een lage flux hebben, wat lange blootstellingstijden vereist voor een acceptabel signaal-ruisverhouding (SNR). Om dit te omzeilen, wordt vaak gekozen voor sparse-view sampling (weinig projectiehoeken), wat leidt tot een slecht gesteld (ill-posed) invers probleem.

Traditionele methoden zoals Filtered Back Projection (FBP) falen bij extreme onderbemonstering (onder de Nyquist-frequentie) en produceren ernstige artefacten. Modelgebaseerde iteratieve reconstructie (MBIR) met handgemaakte priors (zoals Total Variation of qGGMRF) kan helpen, maar is vaak beperkt in het modelleren van complexe beeldkwaliteiten. Recentere diepe leerbenaderingen, zoals Implicit Neural Representations (INR), bieden een compacte, resolutie-onafhankelijke representatie, maar lijden vaak onder een sterke spectrale bias naar lage frequenties en instabiel gedrag bij schaarse supervisie.

2. Methodologie: Diffusive INR (DINR)

De auteurs stellen DINR (Diffusive INR) voor, een hybride raamwerk dat de kracht van INR combineert met een getrainde diffusie-voorwaarde (diffusion prior) om hoge kwaliteit reconstructies te bereiken vanuit zeer weinig projectiehoeken.

Kerncomponenten:

• Implicit Neural Representation (INR): Een neurale netwerk (meestal een SIREN-architectuur) die continue coördinaten in een 3D-rooster mapt naar dempingscoëfficiënten. Dit zorgt voor een memory-efficient en resolutie-onafhankelijke representatie.
• Diffusie-voorwaarde (Diffusion Prior): Het model maakt gebruik van een Steerable Conditional Diffusion (SCD) framework, specifiek gebaseerd op DD3IP (3D Deep Diffusion Image Prior). Een vooraf getrainde diffusiemodel (op synthetische data) fungeert als een krachtige regularisator die complexe beeldkwaliteiten kan modelleren.
• Proximale Loss-functie: De INR wordt geoptimaliseerd via een aangepaste loss-functie die twee termen combineert:
  1. Data-fideliteit: De fout tussen de projectie van de INR-uitvoer en de gemeten data ($MSE(AF_\phi, y)$).
  2. Regularisatie: De fout tussen de huidige INR-uitvoer en de geschatte uitkomst van het diffusiemodel ($MSE(\hat{x}_t, F_\phi)$).
     Een parameter $\rho$ reguleert de invloed van de diffusie-voorwaarde.

Het Algorithmische Proces:
Het algoritme werkt in een iteratieve cyclus (van $t=T$ tot $1$):

1. De INR-weights ($\phi$) worden geüpdatet om de proximale loss te minimaliseren.
2. De diffusiemodel-weights ($\theta$) worden aangepast voor out-of-distribution (OOD) data.
3. Een DDIM-sampling-stap genereert een nieuwe schatting die de INR-uitvoer en de diffusie-richting combineert.
4. Het proces start met een FBP-schatting ($A^*y$) als initieel punt, verstoord met ruis, en convergeert naar een hoogwaardige reconstructie.

3. Belangrijkste Bijdragen

1. DINR Framework: De formulering van een geregulariseerde INR Inverse Problem Solver (DIS) binnen het DD3IP-raamwerk, specifiek ontworpen voor neutron CT.
2. Verbeterde Implementatie: Een nieuwe software-implementatie die gebruikmaakt van een distance-driven parallel beam projector (via Tomosipo/ASTRA-toolbox) voor betere data-consistentie en modulariteit.
3. Vergelijking met Realistische Priors: Een uitgebreide vergelijking met MBIR die gebruikmaakt van een qGGMRF-prior (een complexer en realistischer model dan de gebruikelijke Total Variation prior).
4. Zelftoezichtende Aanpak: Het model is puur getraind op synthetische data, maar presteert uitstekend op zowel gesimuleerde als experimentele neutron CT-data zonder extra training op de doeldata.

4. Resultaten

De methode is getest op zowel gesimuleerde als experimentele data van betonmicrostructuren.

• Synthetische Data: DINR overtreft FBP, standaard INR (Siren) en DD3IP significant in termen van PSNR en SSIM, vooral bij extreme onderbemonstering (bijv. 4 tot 8 views).
  • Bij 4 views behaalde DINR een PSNR van ~26.27 dB, terwijl FBP slechts 19.31 dB haalde.
• Experimentele Data (Real Neutron CT):
  • DINR produceert visueel superieure reconstructies die randen en microstructuren (poriën) veel scherper behouden dan MBIR en DD3IP, zelfs bij slechts 5 views.
  • Hoewel MBIR soms vergelijkbare globale PSNR-waarden behaalt (vaak door een betere prestatie in de achtergrondgebieden), presteert DINR overtuigend beter in de microstructurele gebieden (kleine ROI's < 48x48 pixels).
  • De auteurs tonen aan dat traditionele metrics (PSNR) misleidend kunnen zijn bij microstructuren en pleiten voor ROI-gestuurde evaluatie.

5. Betekenis en Conclusie

Dit paper demonstreert dat het combineren van Implicit Neural Representations met generatieve diffusie-priors een krachtige oplossing biedt voor het reconstructieprobleem van neutron CT bij extreme data-beperkingen.

• Kwaliteit: DINR reduceert artefacten aanzienlijk en behoudt fijne microstructurele details die door traditionele methoden verloren gaan.
• Generalisatie: Het bewijst dat een model getraind op synthetische data effectief kan worden toegepast op complexe, experimentele neutron CT-data.
• Toekomstperspectief: De auteurs plannen uitbreidingen naar andere CT-bronnen (Röntgen, elektron CT), ondersteuning voor multi-GPU implementaties voor grotere datasets, en toepassing op complexere geometrieën (kegelbundel, helical CT).

Kortom, DINR stelt onderzoekers in staat om snellere scans uit te voeren met minder projectiehoeken, terwijl de reconstructiekwaliteit voor microstructurele analyse behouden blijft of zelfs verbetert ten opzichte van de state-of-the-art.