Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

1. Probleemstelling

Transmissie-elektronenmicroscopie (TEM) genereert enorme hoeveelheden data, maar meer dan 90% hiervan blijft ongepubliceerd en ongebruikt, vaak weggegooid om opslagruimte te besparen. Deze "overgebleven" datasets zijn rijk aan details en variatie, maar worden zelden benut vanwege:

• Data-heterogeniteit: TEM in de materiaalkunde omvat diverse monsters, werkmodi en opnamemogelijkheden, wat het moeilijk maakt om modellen te trainen die generaliseren over verschillende condities.
• Ruis en dosis-efficiëntie: Moderne TEM prioriteert dosis-efficiëntie (minimaliseren van elektronenschade), wat resulteert in zeer ruisige data. Huidige machine learning (ML) denoising-modellen worden doorgaans vanaf nul getraind voor specifieke ruisniveaus of monsters, en missen robuustheid tegen veranderingen in instrumentparameters (bijv. vergroting, verblijftijd, bundelstroom).
• Gebrek aan gekoppelde data: Bestaande open-source datasets zijn ofwel klein, synthetisch, of missen de rijke, gekoppelde opnamemetadata die nodig is om modellen te trainen die het verband begrijpen tussen het uiterlijk van de afbeelding en de instrumenttoestand.

De kernuitdaging is om deze ongebruikte, metadata-rijke archieven te benutten om generaliseerbare ML-workflows te creëren die instrumenttoestanden kunnen begrijpen, stijltransfers kunnen uitvoeren en afbeeldingen kunnen denoisen zonder dat er voor elke parameterwijziging nieuwe gekoppelde trainingsdata nodig is.

2. Methodologie

De auteurs stellen Contrastive Image-Metadata Pre-training (CIMP) voor, een raamwerk geïspireerd door CLIP (Contrastive Language-Image Pre-training), aangepast voor het specifieke domein van High-Angle Annular Dark-Field Scanning TEM (HAADF-STEM).

A. Datasetconstructie

• Bron: 7.330 HAADF-STEM-afbeeldingen verzameld van een enkele Titan-microscoop in een geanonimiseerd materiaalonderzoekslaboratorium.
• Inhoud: Dekking van >30 verschillende materialsystemen (voornamelijk heterogene katalysatoren zoals Pt/CeO2, Pd/ZrO2) met >130 monsters.
• Metadata: Elke afbeelding is gekoppeld aan zeven opnameparameters:
  1. Pixelsgrootte
  2. Verblijftijd
  3. Bundelconvergentiehoek
  4. Bundelstroom
  5. Detectorversterking
  6. Detectoroffset
  7. Binnenvanghoek
• Evaluatiesets: Specifieke reeksen afbeeldingen van hetzelfde monster met variatie in enkele parameters (verblijftijd, versterking, offset) werden gereserveerd voor kwalitatieve evaluatie, zodat er geen datalekken tijdens het trainen optreden.

B. CIMP-architectuur

• Doel: Een gezamenlijke inbeddingsruimte leren waar HAADF-STEM-afbeeldingen en hun metadatavectoren worden uitgelijnd via contrastief verlies.
• Encoders:
  • Afbeeldingsencoder: Een ResNet-18 (vanaf nul getraind) bleek beter te presteren dan of gelijk te staan aan ImageNet-voorgereede Vision Transformers (ViT), waarschijnlijk vanwege de significante domeinkloof tussen natuurlijke afbeeldingen en STEM-micrografieën.
  • Metadata-encoder: Een Multi-Layer Perceptron (MLP) die de 7 opnameparameters verwerkt.
• Training: Gebruikt een InfoNCE contrastief verlies. Het model leert een afbeelding te koppelen aan de juiste metadatavector binnen een batch van negatieve samples.

C. Downstream-toepassingen

De geleerde inbeddingen dienen als fundament voor twee hoofdtaken:

1. Lineaire probe-herwinning: Testen of specifieke opnameparameters lineair kunnen worden gedecodeerd uit de bevroren visuele inbeddingen.
2. Generatieve stijltransfer: Een op GAN gebaseerde generator (U-Net met FiLM-conditioning) gebruikt de CIMP-inbeddingen om een experimentele afbeelding te vertalen naar de stijl die deze zou hebben onder verschillende opnameparameters.
   • Conditioning: De generator neemt een bronafbeelding en twee inbeddingen aan (bronmetadata $e_{id}$ en doelmetadata $e_{tgt}$).
   • Verliesfuncties: Adversariaal verlies ($L_{LSGAN}$), cyclische consistentie ($L_{cyc}$), identiteitsverlies ($L_{id}$) en een perceptuele inbeddingsverlies ($L_{emb}$) die ervoor zorgt dat de output overeenkomt met de doelstijl in de CIMP-ruimte.

3. Belangrijkste bijdragen

1. Datasetrelease: De eerste grootschalige (7.330 afbeeldingen), gekoppelde afbeelding-metadata dataset voor experimentele HAADF-STEM, die diverse materialen en instrumentinstellingen bestrijkt.
2. CIMP-raamwerk: Een nieuwe pre-trainingmethode die een gezamenlijke inbeddingsruimte leert voor TEM-afbeeldingen en metadata, waarbij deze inbeddingen worden behandeld als een fundamentele laag voor downstream-taken in plaats van een taakspecifiek model.
3. Fysica-informeerd denoisen: Aantonen dat het stijltransfer-netwerk, wanneer geconditioneerd op virtuele verhogingen van verblijftijd en bundelstroom, fungeert als een superieure denoiser in vergelijking met zelftoezicht-baselines zoals Noise2Void.
4. Lineaire decodeerbaarheid: Bewijzen dat het contrastieve doel, zonder directe supervisie van metadata-waarden, resulteert in inbeddingen waarbij zeven verschillende fysieke parameters individueel herwinbaar zijn.

4. Resultaten

A. Inbeddingen leren & Opvragen

• Hyperparameters: Optimale prestaties werden bereikt met 512x512 afbeeldingcroppen, een ResNet-18-ruggengraat en een effectieve batchgrootte van 512.
• Opvraagnauwkeurigheid: Het model behaalde een Top-1 opvraagnauwkeurigheid van 0,844 (het koppelen van een afbeelding aan de juiste metadatavector).
• Vergelijking ruggengraten: ResNet-18 (vanaf nul getraind) presteerde beter dan ImageNet-voorgereede ViT (84,4% vs 82,8% Top-1), wat de domeinspecificiteit van STEM-data benadrukt.

B. Metadata-herwinning (Lineaire probing)

• Met Ridge-regressie op bevroren inbeddingen slaagde het model erin alle zeven parameters te herwinnen.
• Prestaties:
  • Detectorversterking: Best herwonnen (SMAPE ≈ 5,3%, $R^2 > 0,82$).
  • Log-getransformeerde parameters (Pixelsgrootte, Verblijftijd, Bundelstroom): Toonden lagere $R^2$ (0,66–0,78) en hogere SMAPE (28–47%) vanwege het multiplicatieve karakter van fouten na her-exponentiatie, maar waren nog steeds lineair decodeerbaar.
• Betekenis: Dit bevestigt dat de inbeddingen een "ontvouwde" representatie van fysieke parameters vastleggen in plaats van in te storten tot een enkele "ruis versus schoon"-as.

C. Stijltransfer & Denoisen

• Kwalitatieve trends: De generator slaagde erin fysieke trends na te bootsen (bijv. hogere verblijftijd = gladder/minder ruis; hogere bundelstroom = helderder).
  • Opmerking: In sommige gevallen leerde het model dataset-bias (bijv. convergentiehoek gecorreleerd met bundelstroom door apertuurveranderingen) in plaats van pure fysica.
• Kwantitatieve metrics: Op vastgehouden evaluatiesets presteerde de CIMP GAN beter dan de "no-edit"-baseline bij versterkingsoverdracht (SSIM, PSNR, LPIPS) en kwam overeen met de baseline voor verblijftijd.
• Denois-prestaties:
  • In vergelijking met Noise2Void produceerde de CIMP GAN realistischere afbeeldingen.
  • Noise2Void leed aan schaakbordartefacten en hallucineerde achtergrondinhoud.
  • De CIMP GAN behield structurele details terwijl het effectief ruis reduceerde door virtueel de elektronendosis te verhogen.

5. Betekenis en Impact

• Paradigmaverschuiving: Verplaatst TEM-dataanalyse van "vanaf nul trainen voor elke specifieke conditie" naar "pre-trainen op archieven om generaliseerbare instrumentfysica te leren".
• Datagebruik: Valideert dat "overgebleven" experimentele data een waardevolle bron is voor het trainen van robuuste ML-modellen, wat potentieel 90% van het ongebruikte TEM-data kan ontsluiten.
• Generaliseerbaarheid: De CIMP-inbeddingen kunnen dienen als conditioneringssignalen voor segmentatie, analyse of opvragtaken, waardoor ML-workflows robuust worden tegen variaties in microscoopinstellingen.
• Gemeenschapsbron: De release van de dataset en code verlaagt de drempel voor andere laboratoria om datagedreven methoden te adopteren, en moedigt een cultuur van datadeling in elektronenmicroscopie aan.

6. Beperkingen

• Grenswaarden: Het model worstelt met extreme parameterwaarden (bijv. afbeeldingclipping/saturatie) omdat dergelijke "slechte data" doorgaans door operators wordt weggegooid en afwezig is in de trainingsset.
• Datasetschaal: Hoewel het de grootste van zijn soort is in materiaal-TEM, zijn 7.330 afbeeldingen klein in vergelijking met computer vision-datasets (bijv. ImageNet's 1,28 miljoen afbeeldingen), wat de schaal van modeltraining beperkt.
• Datasetbias: Het model leert soms correlaties die aanwezig zijn in de specifieke dataset (bijv. apertuurgrootte die zowel convergentiehoek als bundelstroom beïnvloedt) in plaats van pure natuurwetten.

Kortom, dit werk vestigt een nieuw fundament voor materiaal-TEM door aan te tonen dat contrastieve pre-training op metadata-rijke archieven krachtige, fysica-bewuste representaties creëert die geavanceerde generatieve taken en robuust denoisen mogelijk maken.