Neural Field-Based 3D Surface Reconstruction of Microstructures from Multi-Detector Signals in Scanning Electron Microscopy

Deze paper introduceert NFH-SEM, een hybride framework op basis van neurale velden dat hoge-fideliteit 3D-oppervlakken reconstrueert uit multi-detector SEM-beelden door de beeldvormingsfysica te integreren, waardoor problemen zoals schaduwartefacten en kalibratieafhankelijkheid worden opgelost.

De kern

Stel je voor dat je een microscopisch kleine wereld wilt verkennen, zoals de textuur van een stuifmeelkorrel of de breuklijn in een stukje steen. Normaal gesproken geeft een Scanning Electron Microscope (SEM) je alleen een plat, 2D-foto van deze wereld. Het is alsof je naar een schaduw op de muur kijkt en probeert te raden hoe het object er echt uitziet. Je ziet de contouren, maar je mist de diepte en de fijne details.

De onderzoekers van deze paper hebben een slimme oplossing bedacht, genaamd NFH-SEM. Laten we uitleggen hoe dit werkt met een paar creatieve vergelijkingen.

1. Het Probleem: De "Blinde" Camera

Stel je voor dat je een sculptuur in een donkere kamer hebt. Je hebt één lamp, maar die lamp schijnt vanuit één hoek. Je ziet de schaduw, maar je weet niet precies hoe diep de gaten zijn of hoe ruw het oppervlak is.

• De oude methoden:
  • De "Meerdere Foto's" methode: Je loopt rond het object en maakt 37 foto's. Als het object glad is of geen patronen heeft (zoals een gladde stuifmeelkorrel), raken de computers de draai kwijt. Ze weten niet hoe ze de foto's aan elkaar moeten plakken.
  • De "Schaduw-analyse" methode: Je gebruikt de schaduwen om de vorm te raden. Maar als er een echte schaduw is (bijvoorbeeld omdat een piek een andere piek blokkeert), denkt de computer dat het een diepe kuil is. Het resultaat is vaak een vervormde, rare vorm.

2. De Oplossing: NFH-SEM als een "Slimme Architect"

NFH-SEM is als een super-intelligente architect die niet alleen naar de foto's kijkt, maar ook begrijpt hoe het licht (of in dit geval, de elektronen) werkt.

Hier is hoe het werkt, stap voor stap:

A. De "Neurale Veld" (Het Dromen van de Vorm)

In plaats van een statisch 3D-model te bouwen, laat de computer een dromerig, continu netwerk (een "neuraal veld") de vorm van het object "dromen". Dit netwerk weet dat een oppervlak niet uit losse blokjes bestaat, maar een gladde, doorlopende lijn is. Het is alsof je niet probeert een beeldhouwwerk te maken van bakstenen, maar het uit één stuk klei vormt die je steeds fijner kunt bewerken.

B. De "Leerbaar Lichtmodel" (De Eigenwijsheid van de Camera)

Dit is het meest ingenieuze deel. Normaal gesproken moet je de camera eerst kalibreren met een perfect bekend voorwerp (een "referentiesteen").
NFH-SEM doet dit niet. Het heeft een eigen lichtmodel dat het zelf leert tijdens het proces.

• De Analogie: Stel je voor dat je een blindenleertje hebt dat probeert een sculptuur te voelen. In het begin voelt het de vormen verkeerd. Maar elke keer dat het een fout maakt, past het zijn "gevoel" (de instellingen van de camera) aan. Het leert: "Oh, als ik dit signaal zie, betekent dat niet dat het een kuil is, maar dat de elektronen hier net anders botsen."
• Hierdoor hoeft de machine zich niet meer te laten kalibreren door mensen; het kalibreert zichzelf terwijl het kijkt.

C. Het "Schaduw-Filter" (De Kunst van het Ignoreren)

Schaduwen zijn de vijand van 3D-reconstructie. Als een piek een schaduw werpt, denkt de computer vaak dat het een diepe afgrond is.
NFH-SEM heeft een slimme truc: Iteratieve Schaduwscheiding.

• De Analogie: Stel je voor dat je een schilderij bekijkt dat bedekt is met modderige vlekken. De computer kijkt eerst naar het hele schilderij, maar merkt op: "Hier klopt de fysica niet. Dit is waarschijnlijk modder (een schaduw), geen echte vorm."
• Het markeert die vlekken als "niet belangrijk" en kijkt ze weg. Dan bouwt het de vorm opnieuw op, zonder die vlekken. Dan kijkt het weer, en markeert het nog meer vlekken weg. Na een paar rondes heeft het een perfect, schoon beeld van het object, zelfs als het oorspronkelijk vol schaduwen zat.

3. Wat kan dit nu doen? (De Resultaten)

De onderzoekers hebben dit getest op heel verschillende dingen:

• Stuifmeelkorrels: Ze konden de microscopisch kleine haartjes en groeven zien die insecten helpen om te blijven plakken. Dit is belangrijk om te begrijpen hoe bestuiving werkt.
• Breuklijnen in steen: Ze zagen de stapjes en strepen waar een stuk steen is gebroken. Dit helpt ingenieurs om te begrijpen waarom materialen falen.
• 3D-geprinte mini-objecten: Ze konden de laagjes zien die zo klein zijn dat ze nauwelijks te meten zijn (kleiner dan een mensenhaar).

Samenvattend

Vroeger was het reconstrueren van 3D-beelden uit een elektronenmicroscoop als het proberen om een 3D-puzzel te maken met stukjes die half ontbreken en waarvan de randen niet passen.

NFH-SEM is als een meester-puzzellegger die:

1. Begrijpt hoe de puzzelstukjes (de elektronen) zich gedragen.
2. Zelf leert hoe de puzzel eruit moet zien zonder dat iemand hem de oplossing vertelt.
3. De stukjes die niet passen (de schaduwen) er slim uithaalt en ignoreert.

Het resultaat is een kristalhelder, 3D-kaartje van de microscopische wereld, wat wetenschappers helpt om nieuwe materialen te ontwerpen en de natuur beter te begrijpen.

Technische samenvatting

Probleemstelling

De 3D-karakterisering van microstructuren is essentieel voor het begrijpen en ontwerpen van functionele materialen en biologische specimen. De Scanning Electron Microscope (SEM) is een krachtig instrument voor het verkrijgen van hoge-resolutie 2D-beelden, maar deze beelden vertegenwoordigen slechts intensiteitsverdelingen van verstrooide elektronen en onthullen niet direct de onderliggende 3D-oppervlakgeometrie.

Bestaande methoden voor 3D-reconstructie uit SEM-beelden hebben ernstige beperkingen:

1. Multi-view methoden (SfM/MVS): Gebaseerd op fotogrammetrie, maar faalt vaak bij microstructuren met weinig textuur of repetitieve patronen, wat leidt tot onbetrouwbare feature-correspondenties.
2. Single-view methoden (Photometric Stereo): Gebruiken signalen van meerdere detectoren om oppervlaknormaal te schatten, maar zijn afhankelijk van complexe kalibratie met referentie-monsters en zeer gevoelig voor schaduwartefacten (door zelfocclusie), wat leidt tot vervormde geometrie.
3. Learning-based methoden: Bestaande AI-modellen getraind op macroscopische RGB-gegevens generaliseren niet naar het microscopische SEM-domein vanwege het grote domeinverschil (schaal en uiterlijk) en het gebrek aan fysische priors. Daarnaast ontbreken er grote, gelabelde datasets voor SEM.

Methodologie: NFH-SEM

De auteurs introduceren NFH-SEM, een hybride raamwerk op basis van neurale velden (Neural Fields) dat 3D-oppervlakken reconstrueert uit multi-view en multi-detector SEM-signaals. De kern van de methode is het integreren van de fysica van elektronenverstrooiing direct in de optimalisatie van het neurale veld.

De workflow bestaat uit de volgende stappen:

1. Data Acquisitie: Een monster wordt op een gemotoriseerd stage geplaatst en getild/gedraaid om meerdere hoeken te verkrijgen. Tegelijkertijd worden Secondary Electron (SE) beelden en vier Backscattered Electron (4Q-BSE) beelden (van een kwadrantdetector) vastgelegd.
2. Initialisatie: Een ruwe geometrie wordt gegenereerd via conventionele multi-view reconstructie op de SE-beelden. Dit dient als startpunt, hoewel het beperkt is in textuurloze gebieden.
3. Neuraal Veld en Learnable Forward Model:
   • De 3D-geometrie wordt implicit gemodelleerd als een Signed Distance Function (SDF) via een Multi-Layer Perceptron (MLP).
   • In plaats van te vertrouwen op vereenvoudigde analytische formules voor BSE-intensiteit, introduceert NFH-SEM een leerbare forward model ($F$). Dit model schat de relatie tussen de voorspelde oppervlaknormaal en de gemeten 4Q-BSE-intensiteit.
   • Het model vervangt de standaard emissiefunctie door een flexibele vierde-orde polynoom en leert detector-specifieke parameters (zoals $c$ en $d$) voor elk kwadrant, waardoor kalibratie met referentie-monsters overbodig wordt.
4. Iteratieve Schaduwscheiding:
   • Schaduwen in BSE-beelden (waar het signaal wordt geblokkeerd door geometrie) worden niet gemodelleerd door de oppervlaknormaal en verstoren de reconstructie.
   • NFH-SEM gebruikt een iteratieve maskeringsstrategie: gebieden waar het voorspelde signaal sterk afwijkt van het gemeten signaal, worden geïdentificeerd als schaduwen en uitgesloten van de verliesfunctie tijdens het trainen. Dit creëert een feedbacklus die de geometrie en het forward model steeds nauwkeuriger maakt.
5. Optimalisatie: Het proces verloopt in drie fasen:
   • Fase 1: Supervisie alleen op basis van ruwe dieptekaarten (SDF).
   • Fase 2: Integratie van BSE-fotometrische stereo cues en gezamenlijke optimalisatie van het forward model.
   • Fase 3: Activering van dynamische schaduwmaskering voor robuuste reconstructie.

Belangrijkste Bijdragen

• Hybride Framework: Een nieuw raamwerk dat grove multi-view geometrie combineert met fysisch onderbouwde photometric stereo cues via een continu neurale veld.
• Learnable Forward Model: Een model dat de SEM-imaging-fysica (elektronenverstrooiing en detectorrespons) leert, wat zelfkalibratie mogelijk maakt en de noodzaak voor externe kalibratie elimineert.
• Robuustheid tegen Schaduwen: Een innovatieve, iteratieve strategie voor het automatisch scheiden van schaduwgebieden, wat reconstructie mogelijk maakt zelfs bij ernstige zelfocclusie.
• Nieuwe Dataset: De auteurs hebben de eerste multi-view, multi-detector real-world SEM-dataset gecreëerd voor 3D-reconstructie, inclusief complexe TPL-microstructuren, perzikstuifmeel en SiC-deeltjes.

Resultaten

NFH-SEM werd getest op een breed scala aan monsters en vergeleken met conventionele methoden (Agisoft Metashape, grad2Surf) en state-of-the-art learning-based methoden (NeuS, 3DGS, feed-forward modellen).

• Nauwkeurigheid: NFH-SEM herstelde details tot op nanoschaal nauwkeurigheid, waaronder:
  • 478 nm gelaagde kenmerken in twee-foton lithografie (TPL) monsters.
  • 782 nm oppervlaktexturen op stuifmeelkorrels.
  • 1,559 µm breukstappen op siliciumcarbide (SiC) deeltjes.
• Vergelijking: Conventionele methoden produceerden vaak gladde, onvolledige geometrieën of zware vervormingen door schaduwen. Learning-based methoden faalden volledig vanwege het domeinverschil. NFH-SEM behield zowel de globale vorm als de fijne oppervlakdetails.
• Ablatie-studies: Experimenten op gesimuleerde data toonden aan dat elk component (het learnable forward model, de polynoomreflectie, variatie tussen kwadranten en schaduwscheiding) essentieel is voor de hoge nauwkeurigheid.
• Efficiëntie: Het trainen van een microstructuur duurt slechts ongeveer 2 minuten op een enkele NVIDIA RTX 4090 GPU.

Beteeknis

Dit werk vormt een doorbraak in de 3D-karakterisering van microstructuren. Door de fysica van de SEM direct te integreren in een neurale representatie, overwint NFH-SEM de beperkingen van zowel traditionele fotogrammetrie als pure datagedreven benaderingen. De methode maakt nauwkeurige, zelfgekalibreerde reconstructie mogelijk zonder dure kalibratieprocedures, wat cruciaal is voor onderzoek in materiaalkunde (bijv. breukmechanica), biologie (bijv. bestuivingmechanismen) en nanofabricage. De beschikbaarheid van de dataset en de code bevordert verdere ontwikkeling in dit onderbelichte domein.