SynthPix: A lightspeed PIV image generator

Probleemstelling

Particle Image Velocimetry (PIV) is een cruciale methode voor het meten van stromingsvelden in laboratoria, industrie en de natuur. Hoewel er veel bestaande synthetische image-generatoren zijn, zijn deze vaak beperkt tot offline dataset-generatie. Dit creëert twee grote knelpunten voor moderne, datagedreven methoden (zoals deep learning):

1. Schaal en Opslag: Het genereren van grote datasets (terabytes) voor training vereist enorme opslagcapaciteit en I/O-overhead. Het is onpraktisch om voor elke variatie in parameters (zoals zaaddichtheid, ruis, verlichting) nieuwe datasets offline te genereren en op te slaan.
2. Rigiditeit: Offline workflows zijn star. Het aanpassen van stromingsbronnen of rendering-parameters vereist het volledig opnieuw genereren van samples, wat hinderlijk is voor adaptieve workflows, robuustheidstests en "hard-example mining".

Er is behoefte aan een generator die on-the-fly beelden kan streamen naar trainingspipelines, volledig geïntegreerd is met moderne hardware-versnellers (GPU's) en hoge doorvoersnelheden biedt.

Methodologie

SynthPix is een open-source Python-pakket dat is geïmplementeerd in JAX, een framework dat bekend staat om zijn efficiënte parallelisatie op hardware-versnellers (CPU/GPU/TPU).

Kernarchitectuur en Proces:

1. Configuratie en Streaming: In plaats van vooraf gegenereerde datasets, leest SynthPix configuratiebestanden (YAML) en streamt beelden direct in trainingsloops. Het ondersteunt batch-generatie (bijv. 256 beeldparen per batch).
2. Data Loaders: Het systeem ontkoppelt de beeldgeneratie van de bron van het stromingsveld. Het kan stromingsvelden laden uit diverse bronnen (HDF5, .mat, .npy, of procedureel gegenereerde functies) en deze direct naar het apparaat (GPU) transfereren met prefetching.
3. Fysisch Model:
   • Deeltjesbeweging: Deeltjes worden verplaatst volgens het stromingsveld $(x, y) \to (x + u\Delta t, y + v\Delta t)$.
   • Intensiteitsmodel: De bijdrage van een enkel deeltje aan de pixelintensiteit wordt gemodelleerd als een 2D Gaussische verdeling (met de mogelijkheid tot as-misalignement).
   • Rendern: De bijdragen van alle deeltjes worden opgeteld (superpositie) om het uiteindelijke beeld te vormen. Om parallelisme te maximaliseren, worden Gaussische kernels parallel gegenereerd en opgeteld.
4. Parameter Variatie: SynthPix exposeert fysiek betekenisvolle parameters zoals zaaddichtheid, deeltjesgrootte, ruis, onscherpte, niet-uniforme verlichting en timing ($\Delta t$).

Belangrijkste Bijdragen

1. Hoge Doorvoer (Lightspeed): SynthPix is ontworpen voor maximale parallelisatie op GPU's. Het biedt een doorvoer die ordes van grootte hoger ligt dan bestaande alternatieven (zoals Synpivimage, PIVlab, en MATLAB-gebaseerde tools).
2. On-the-Fly Integratie: Het systeem is gebouwd om direct te integreren met PyTorch/JAX trainingsloops, waardoor de noodzaak voor het opslaan van enorme offline datasets wordt geëlimineerd. Dit maakt adaptieve sampling en gesloten-lus procedures mogelijk.
3. Flexibiliteit en Uitbreidbaarheid: Het biedt een uniforme interface voor diverse stromingsbronnen (van DNS-databases tot analytische functies) en ondersteunt uitgebreide configuratie van beeldkwaliteit en acquisitieparameters.
4. Open Source Kwaliteit: Het pakket volgt best practices voor open-source software, inclusief uitgebreide documentatie, tests, type-checking en een MIT-licentie.

Resultaten

De auteurs hebben SynthPix geëvalueerd in vergelijking met bestaande tools en in verschillende gebruiksscenario's:

• Doorvoer: Op een systeem met vier Nvidia RTX 4090 GPU's bereikt SynthPix een doorvoer van duizenden tot tienduizenden beeldparen per seconde (afhankelijk van batchgrootte en resolutie). Dit is een factor 100 tot 1000 sneller dan CPU-gebaseerde of niet-batch-geoptimaliseerde MATLAB/Python-tools.
• Beeldkwaliteit en Consistentie:
  • Zelfconsistentie: Wanneer stromingsvelden uit experimentele data worden gebruikt om synthetische beelden te genereren en vervolgens weer te schatten, is de fout (End-Point Error - EPE) minimaal ($C_{avg} \approx 0.54$), wat aantoont dat de informatiebehoud goed is.
  • Benchmark-predictie: SynthPix-gegenereerde beelden voorspellen de prestaties van schatters op echte benchmarks zeer nauwkeurig (relatieve EPE-afwijking < 0.005).
• Training van Deep Learning Modellen: Een RAFT-gebaseerde schatter getraind op SynthPix-data (in plaats van originele data) generaliseerde uitstekend naar de originele testset met een competitieve EPE van 0.065. Dit bevestigt de bruikbaarheid voor het trainen van datagierige modellen.
• Ablatiestudies: De doorvoer schaalt lineair met het aantal GPU's en blijft hoog zelfs bij grote beeldresoluties (tot 2048x2048). De doorvoer wordt slechts licht beïnvloed door zaaddichtheid of batchgrootte (na een initiële drempel).

Betekenis en Impact

SynthPix vormt een fundamentele verschuiving in de PIV-gemeenschap door de drempel voor het gebruik van synthetische data te verlagen:

• Versnelling van Onderzoek: Het stelt onderzoekers in staat om robuustheidstests, parameter-sweeps en adaptieve acquisitie-strategieën uit te voeren zonder de bottleneck van opslag en I/O.
• Reproduceerbaarheid: Door een gestandaardiseerde, open-source generator te bieden, wordt voorkomen dat elke studie zijn eigen "wiel opnieuw uitvindt", wat de reproduceerbaarheid van resultaten in stromingsmechanica en machine learning ten goede komt.
• Toekomstgerichtheid: Het legt de basis voor de volgende generatie datagedreven stromingsmetingen, inclusief tomografische PIV en real-time feedbackcontrole, en ondersteunt de overgang naar grootschalige, datagedreven methoden.

Kortom, SynthPix is een krachtig, hoog-performance tool dat de kloof tussen fysische simulaties en datagedreven stromingsanalyse overbrugt.