Technische Samenvatting: Het ontsluiten van latente dimensies in grootschalige röntgenverstrooiingsdata

Probleemstelling

Wetenschappelijke gebruikersfaciliteiten, met name synchrotrons, genereren röntgenverstrooiingsdata met snelheden die de capaciteit van traditionele handmatige inspectie en offline batchverwerkingsworkflows overstijgen. De resulterende datasets zijn heterogeen, hoogdimensionaal en massaal in schaal (miljoenen afbeeldingen). Hoewel machine learning veelbelovend is gebleken bij de analyse van complexe röntgendata, blijft er een kritische kloof bestaan in het extraheren van interpreteerbare structuren uit deze grote archieven in real-time. Een specifieke uitdaging die in dit werk wordt aangepakt, is de vraag of algemene vision foundation-modellen (getraind op natuurlijke afbeeldingen) voldoende zijn voor de analyse van verstrooiingsdata, of dat de unieke structurele kenmerken van verstrooiingspatronen (bijv. diffractieringen, pieksymmetrie) domeinspecifieke modellen vereisen.

Methodologie

1. Modelarchitectuur: Attention-Based Convolutional Variational Autoencoder (C-VAE)

De auteurs hebben een domeinspecifieke Convolutional Variational Autoencoder (C-VAE) ontwikkeld om laagdimensionale representaties van röntgenverstrooiingsafbeeldingen te leren.

• Hybride Ontwerp: De architectuur combineert Convolutional Neural Networks (CNN's) voor het vastleggen van lokale ruimtelijke kenmerken met windowed self-attention mechanismen (geïnspireerd door Swin Transformers) om langetermijnafhankelijkheden en hiërarchische structuren te modelleren.
• Input/Output: Het model verwerkt $512 \times 512$ pixel afbeeldingen en brengt deze in kaart naar een 512-dimensionale latente ruimte.
• Probabilistisch Kader: Als VAE dwingt het een gestructureerde, continue latente ruimte af, wat taken zoals clustering en interpolatie vergemakkelijkt. De encoder geeft het gemiddelde en de log-variantie van een diagonale Gaussische distributie terug, waarbij gebruik wordt gemaakt van de reparameterisatie-truc voor stochastische bemonstering.

2. Trainingsdata en Infrastructuur

• Dataset: Het model werd getraind op 1,5 miljoen röntgenverstrooiingsafbeeldingen die gedurende een decennium zijn verzameld bij de Advanced Light Source (ALS), specifiek bij beamline 7.3.3. De data omvat diverse materiaalsystemen (kristallijne poeders, vloeibare kristallen, amorfe materialen, dunne films) en geometrieën (transmissie en grazing-incidence).
• Hardware: De training vond plaats op de NERSC Perlmutter supercomputer met 80 NVIDIA A100 GPU's gedurende ongeveer 48 uur.
• Preprocessing: Afbeeldingen werden van hun oorspronkelijke resolutie ($1475 \times 1679$) verkleind naar $512 \times 512$ voorafgaand aan de encoding.

3. Strategieën voor Synthetische Datageneratie

Om gecontroleerde synthetische röntgenverstrooiingsafbeeldingen vanuit de latente ruimte te genereren, zijn twee strategieën geïmplementeerd:

• UMAP-gestuurde PCA-sampling: Clusterbewuste PCA-modellen worden gefit op kernlatente vectoren. Nieuwe samples worden gegenereerd door te samplen uit Gaussische ruis in de PCA-ruimte van specifieke clusters, gewogen door een temperatuurgecontroleerde softmax over nabijgelegen UMAP-centroids.
• Conditional Flow Matching (CFM): Een velocity netwerk leert een continue normalizing flow van een standaard Gaussische prior naar de trainingslatente distributie, geconditioneerd op 2D UMAP-coördinaten. Deze methode incorporeert classifier-free guidance om de conditionering-getrouwheid te verbeteren.

4. Software-infrastructuur

De workflow is geïntegreerd in het MLExchange platform via de Latent Space Explorer component. Dit systeem ondersteunt:

• Offline Analyse: Interactieve exploratie van gearchiveerde datasets met behulp van dimensionaliteitsreductie (PCA, UMA, t-SNE) en clustering (HDBSCAN).
• On-the-Fly Analyse: Real-time embedding van stromende detectorafbeeldingen met een inferentietijd van ongeveer 0,05 seconden per sample.
• Modelbeheer: Integratie met MLflow voor versiebeheer van modelregistratie en Tiled voor data-toegang.

Belangrijkste Resultaten

1. Organisatie van de Latente Ruimte

De C-VAE leerde een goed georganiseerde latente ruimte van de 1,5 miljoen historische afbeeldingen:

• Clustering: HDBSCAN identificeerde onderscheidende clusters die overeenkomen met verschillende verstrooiingsregimes (bijv. isotrope ringen versus scherpe pieken).
• Trajecten: Binnen clusters vormden embeddings vloeiende, lijnachtige trajecten die de temporele progressie van individuele experimenten weerspiegelden, waarbij continue morfologische transities werden vastgelegd.
• Interpreteerbaarheid: De latente ruimte slaagde er succesvol in om onafhankelijke experimenten te scheiden terwijl structureel gelijkaardige patronen werden gegroepeerd, een structuur die niet herwinbaar is door ruwe pixelintensiteiten direct te projecteren.

2. On-the-Fly Implementatie en Generalisatie

De getrainde C-VAE werd zonder hertraining ingezet voor live analyse bij twee faciliteiten:

• ALS Beamline 7.3.3: Succesvolle tracking van de structurele evolutie van perfluorsulfonzuur (PFSA) ionomeer films tijdens blade coating, waarbij transities van oplosmiddel-gedomineerde toestanden naar semi-kristallijne aggregaten werden vastgelegd.
• NSLS-II SMI Beamline: Het model generaliseerde naar een andere faciliteit met een andere detectorhardware en beamline-geometrie, waarbij het vloeiende latente trajecten en consistente clustering van structurele toestanden behield.

3. Benchmarking tegenover Algemene Modellen

De C-VAE werd gebenchmarkt tegen DINOv3 (ViT-7B), een algemeen vision foundation-model getraind op natuurlijke afbeeldingen:

• Prestaties: Hoewel DINOv3 coherente trajecten produceerde, waren de cluster-to assignments meer gefragmenteerd en de trajecten binnen een run minder vloeiend.
• Interpreteerbaarheid: Het domeinspecifieke C-VAE vertoonde een superieur vermogen om verstrooiingsspecifieke kenmerken (diffractiering symmetrie, piek-scherpte, oriëntatie) te organiseren vergeleken met het algemene model, dat steunt op natuurlijke beeldkenmerken zoals textuur en kleurcontrast.

4. Generatie van Synthetische Afbeeldingen

Beide samplingstrategieën produceerden fysiek realistische synthetische verstrooiingsafbeeldingen (concentrische ringen, diffuse halo's, anisotrope distributies) die dezelfde regio's in de UMAP-embedding bezetten als de trainingsdata. Conditional Flow Matching bereikte een superieure conditionering-getrouwheid vergeleken met UMAP-gestuurde PCA-sampling.

Betekenis en Claims

Het artikel claimt dat het trainen van een domeinspecifiek model op grootschalige verstrooiingsdata leidt tot een meer interpreteerbare latente organisatie dan algemene vision-modellen. De belangrijkste bijdragen zijn:

1. Demonstratie van Laagdimensionaliteit: Het aantonen dat dominante structurele variaties in röntgenverstrooiingsdata kunnen worden vastgelegd in een compacte 512-dimensionale latente ruimte, wat real-time analyse rechtvaardigt zonder significant verlies van discriminerende informatie.
2. Cross-Facility Generalisatie: Het bewijzen dat een model getraind bij één synchrotron (ALS) effectief data van een andere (NSLS-II) kan organiseren zonder hertraining, wat suggereert dat de geleerde representaties fundamentele fysica vastleggen in plaats van faciliteit-specifieke artefacten.
3. Geïntegreerde Workflow: Het bieden van een verenigde softwareomgeving (Latent Space Explorer) die de brug slaat tussen offline archiefexploratie en live experimentele monitoring, wat interactieve structurele ontdekking mogelijk maakt.
4. Fundament voor Automatisering: Het vestigen van een gestructureerde latente ruimte die kan dienen als interface voor toekomstige autonome experimentele controle en taalmodel-agenten, waardoor men verder gaat dan passieve monitoring naar datagestuurde besluitvorming.

De auteurs merken op dat hoewel de resultaten veelbelovend zijn, de specifieke wetenschappelijke bevindingen van de P03 beamline deployment buiten de scope van deze methode-georiënteerde studie vallen en apart gerapporteerd zullen worden. Het werk benadrukt de noodzaak van domeinspecifieke training voor het afhandelen van de unieke texturele en structurele kenmerken van wetenschappelijke verstrooiingsdata.