Flow-Based Generative Modeling for Optimizing Sampling Policies in Compressed Sensing Applications

Technische Samenvatting: Flow-gebaseerde Generatieve Modellering voor het Optimaliseren van Sampling-beleid in Compressed Sensing

Probleemstelling
Moderne toepassingen in signaalverwerking en medische beeldvorming vereisen vaak het verwerven van hoogdimensionale signalen onder strikte middelenrestricties. Klassieke samplingtheorie dicteert dat nauwkeurige reconstructie metingen vereist die proportioneel zijn aan de ambient dimensie van het signaal, een vereiste die frequent onpraktisch is. Compressed Sensing (CS) adresseert dit door de reconstructie van ijle (sparse) signalen mogelijk te maken vanuit minder metingen, mits de meetoperator aan specifieke voorwaarden voldoet (bijv. incoherentie). Echter, de kwaliteit van de reconstructie is sterk afhankelijk van de keuze van het sampling-schema. Het vinden van een optimaal subsampling-patroon is een NP-hard combinatorisch probleem omdat de sampling-masker discreet en niet-differentieerbaar is, wat naïeve end-to-end optimalisatie verhindert. Bovendien groeit de zoekruimte exponentieel met het aantal sensorlocaties, waardoor uitputtende exploratie onhaalbaar wordt. Bestaande generatieve benaderingen, zoals Deep Probabilistic Subsampling (DPS) of Active Diffusion Subsampling (ADS), produceren vaak vaste maskers of lijden onder hoge computationele latentie, wat de adaptiviteit en real-time klinische bruikbaarheid beperkt.

Methodologie
De auteurs stellen een taakbewuste, flow-gebaseerde generatieve framework voor die het conventionele Flow Matching (FM) trainingsparadigma herformuleert. In plaats van het datamanifold direct te modelleren, opereert het model op het manifold van de sampling-ruimte om optimale subsampling-maskers te leren.

• Flow Matching op het Sampling Manifold: Het framework maakt gebruik van een neurale Ordinary Differential Equation (ODE) om punten te transporteren van een standaard Gaussische ruisdistributie ($p_0$) naar een doelverdeling van sampling-operatoren ($p_1$). Het model leert een tijdafhankelijke vectorveld $v_\phi(x, t)$ dat een generatieve traject definieert.
• Taak-geconditioneerde Optimalisatie: In tegenstelling tot standaard FM, dat vertrouwt op een lineaire koppeling tussen ruis en data, koppelt dit framework de generatieve flow aan een downstream CS-taakoplosser ($f_\theta$). De trainingsdoelstelling minimaliseert een samengestelde verliesfunctie die de standaard FM-regressieverlies ($L_{FM}$) combineert met een taakspecifieke verliesfunctie ($L_{task}$), gewogen door leerbare onzekerheidsparameters ($\sigma_1, \sigma_2$). Dit stelt het model in staat om het sampling-beleid en de taakprestaties gezamenlijk te optimaliseren.
• Differentieerbare Sigmoid Gating: Om de niet-differentieerbaarheid van discrete binaire maskers aan te pakken, wordt de continue output van het flow-model ($x_t$) door een aangepaste differentieerbare sigmoid gate geleid. Deze gate gebruikt een tijdafhankelijke steilheidfunctie $s(t)$ en een percentiel drempelwaarde $\tau$ om zachte maskers te produceren ($g(x_t) \in (0, 1)$). Naarmate de tijdstap $t$ toeneemt, wordt de transitie scherper, wat het entropieproces van de maskergeneratie effectief reguleert.
• Inference Modus: Het framework ondersteunt twee operationele modi:
  1. Random-naar-Geoptimaliseerd: Initiële willekeurige metingen worden genomen, kenmerken worden geëxtraheerd, en het flow-model genereert een geoptimaliseerd masker voor daaropvolgende metingen. Dit is geschikt voor scenario's waar metingen goedkoop zijn of signalen statisch zijn (bijv. MNIST, CelebA).
  2. Adaptieve Sensing: Low-frequency (LF) k-ruimte data wordt eerst verworven. Een feature extractor conditioneert het flow-model om het optimale sampling-patroon voor de resterende high-frequency banden te bepalen. Deze modus is ontworpen voor kostbare metingen, specifiek MRI-acceleratie.

Belangrijkste Bijdragen

• Nieuw Paradigma: Het artikel introduceert een proof-of-concept waarbij Flow Matching wordt getraind binnen het manifold van sampling-operatoren in plaats van de signaalruimte, specifiek afgestemd op downstream CS-taken.
• Continu en Adaptief Beleid: Het framework biedt een continue, tijd-continue parametrisatie van het sampling-schema, wat een vloeiende evolutie biedt van grove structuren naar taakspecifieke verfijningen, in tegen tegenstelling tot statische maskergeneratie-methoden.
• Gezamenlijke Optimalisatie: De methode maakt end-to-end gezamenlijke optimalisatie van de sampling-strategie en de reconstructie-/classificatietaak mogelijk, waarbij de taakprior wordt gebruikt om het generatieve proces te sturen.
• Verenigd Framework: Het biedt een flexibele benadering die toepasbaar is op diverse inverse problemen, inclusief beeldclassificatie, beeldreconstructie en MRI-acceleratie, zonder dat hertraining nodig is voor verschillende meetoperatoren.

Experimentele Resultaten
Het framework werd geëvalueerd op MNIST, CelebA en de fastMRI knee dataset:

• MNIST Classificatie: De flow-gebaseerde benadering verbeterde de classificatienauwkeurigheid met meer dan 20% vergeleken met classifiers getraind op willekeurige maskers. Hoewel het bij specifieke vaste sampling-ratio's achterbleef bij het A-DPS model, toonde het grotere veelzijdigheid aan over een reeks ratio's (1% tot 8%) zonder de noodzaak voor ratio-specifieke training.
• Beeldreconstructie (CelebA & MNIST): De methode bereikte state-of-the-art prestaties in beeldreconstructie. Op de CelebA-dataset bereikte het een Peak Signal-to-Noise Ratio (PSNR) van 25,17 dB bij een 5% subsampling-rate. Het presteerde beter dan de state-of-the-art ADS-methode, met name bij agressieve (lage) sampling-rates.
• MRI Acceleratie: In de fastMRI-experimenten bereikte het framework een Structural Similarity Index (SSIM) van 0,7163 bij 8× acceleratie, waarmee het alle baselines (LOUPE, DPS, ADS, A-DPS) versloeg bij deze hoge acceleratiefactor. Bij 4× acceleratie presteerde het vergelijkbaar met andere methoden.
• Computationele Efficiëntie: De inferentietijd voor het genereren van een sampling-masker was ongeveer 127–130 ms op een NVIDIA GeForce RTX 4070. Dit is aanzienlijk sneller dan de acquisitietijd per k-ruimte lijn in MRI (500–2000 ms) en drastisch sneller dan de gerapporteerde acquisitietijd per lijn van de ADS-methode (3040 ms), wat wijst op haalbaarheid voor real-time klinische inzet.

Betekenis en Claims
De auteurs stellen dat dit werk de fundamentele haalbaarheid vaststelt van het gebruik van taak-geconditioneerde flow-gebaseerde generatieve modellen om sampling-beleid voor compressed sensing te optimaliseren. De studie benadrukt dat:

1. Taak-conditionering Effectief is: Het direct integreren van een downstream taakprior in het flow matching-trainingsproces verbetert de prestaties in inverse problemen aanzienlijk.
2. Sampling Manifold Constraints: De sampling-ruimte bezit intrinsieke structurele beperkingen (binariteit, ijlheid) die kunnen worden benut om de trainingsefficiëntie te verbeteren vergeleken met het modelleren van het natuurlijke beeldmanifold.
3. Klinische Haalbaarheid: De lage computationele overhead en de adaptieve aard van het framework maken het een veelbelovende kandidaat voor real-world medische beeldvormingstoepassingen, met name voor het reduceren van MRI-scantijden en het verbeteren van de diagnostische datakwaliteit.
4. Generaliseerbaarheid: De benadering biedt een verenigde, flexibele strategie voor het ontwerpen van data- en taakgedreven sensing-schema's die toepasbaar zijn op een breed scala aan inverse problemen buiten de specifiek geteste taken.

Het artikel positioneert zich als een proof-of-concept studie, waarbij erkend wordt dat hoewel het state-of-the-art resultaten bereikt in specifieke reconstructietaken, de primaire bijdrage de demonstratie is van een nieuw, flexibel framework voor het leren van sampling-beleid dat kan worden aangepast aan diverse inverse problemen.