An invertible generative model for forward and inverse problems

Technische Samenvatting: Een Inverteerbaar Generatief Model voor Voorwaartse en Achterwaartse Problemen

Probleemstelling
Inverse problemen, die doorgaans worden geformuleerd als het vinden van $u$ waarvoor $Ku = f$ geldt voor een voorwaartse operator $K$, zijn vaak slecht gesteld (ill-posed). Hoewel variatiemethoden (bijv. het minimaliseren van datatreue plus regularisatie) een kader bieden voor reconstructie, kunnen deze computationeel kostbaar zijn. Daartegenover staan dat datagedreven benaderingen een directe inverse mapping leren, maar vaak moeite hebben met de inherente slecht gestelde aard en het gebrek aan onzekerheidskwantificering. Bayesiaanse kaders bieden een rigoureuze oplossing door de posterieure verdeling te karakteriseren, maar het bemonsteren van hoogdimensionale posterieuren is computationeel veeleisend (bijv. via MCMC).

Huidige generatieve modelleringsbenaderingen behandelen simulatie (het bemonsteren uit de likelihood $F|U=u$) en inferentie (het bemonsteren uit de posterieur $U|F=f$) vaak als afzonderlijke taken met verschillende conditionele modellen. Deze scheiding faalt in het afdwingen van consistentie tussen de voorwaartse en achterwaartse processen en vereist het trainen van twee aparte modellen, wat de computationele kosten verhoogt.

Methodologie: De Reversibele Simulator
De auteurs stellen een verenigd kader voor dat gecentreerd is rond één enkele inverteerbare kaart, de Reversibele Simulator ($S: \mathbb{R}^{n+m} \to \mathbb{R}^{n+m}$). Deze kaart is ontworpen om zowel simulatie als inferentie uit te voeren, afhankelijk van de richting van toepassing:

1. Voorwaartse Richting (Simulatie): Gegeven een latente variabele $Y$ en een parameter $u$, brengt $S$ $(u, Y)$ naar $(X, F)$, waarbij $F$ verdeeld is volgens de likelihood $\mu_{F|U=u}$.
2. Achterwaartse Richting (Inferentie): Gegeven een latente variabele $X$ en een observatie $f$, brengt de inverse kaart $R = S^{-1}$ $(X, f)$ naar $(U, Y)$, waarbij $U$ verdeeld is volgens de posterieur $\mu_{U|F=f}$.

Constructie via Triangulaire Transportkaarten
Het artikel biedt een expliciete constructie van $S$ door twee triangulaire transportkaarten (Knothe-Rosenblatt rearrangements) te combineren:

• Een onder-triangulaire kaart ($\tilde{F}$) die een referentiemaat naar de gezamenlijke verdeling $\mu_{U,F}$ pusht, wat conditionele bemonstering van de likelihood vergemakkelijkt.
• Een boven-triangulaire kaart ($\hat{F}$) die op vergelijkbare wijze conditionele bemonstering van de posterieur vergemakkelijkt.

De Reversibele Simulator $S$ wordt geconstrueerd als de compositie van deze kaarten en hun inversen. Specifiek is $S = U \circ L$, waarbij $L$ gebruikmaakt van de onder-triangulaire structuur om te conditioneren op $u$, en $U$ gebruikmaakt van de boven-triangulaire structuur om te conditioneren op $f$. Deze constructie zorgt ervoor dat $S$ een geldige transportkaart is tussen het product van de prior en de latente ruis ($\mu_U \otimes \mu_Y$) en het product van de latente ruis en de marginale data ($\mu_X \otimes \mu_F$).

Variationele Formulering en Training
Om training mogelijk te maken met generieke inverteerbare neurale netwerkarchitecturen (in plaats van uitsluitend te vertrouwen op expliciete triangulaire constructies), leiden de auteurs een variationele formulering af. Ze definiëren vier verliesfuncties gebaseerd op een afstandmetriek $M$ (bijv. de Wasserstein-afstand) tussen maten:

1. $J_1(S)$: Meet de discrepantie tussen de push-forward van het product van de prior en de ruis en de gezamenlijke verdeling (via de likelihood-component).
2. $J_2(R)$: Meet de discrepantie voor de posterieur-component.
3. $J_3(S)$ en $J_4(R)$: Meten de discrepantie tussen de push-forward van de gezamenlijke verdelingen in de voorwaartse en achterwaartse richtingen.

De auteurs bewijzen dat het minimaliseren van deze verliezen (specifiek $J_1$ en $J_3$) ervoor zorgt dat de geleerde kaart voldoet aan de eigenschappen van een Reversibele Simulator. Dit maakt het mogelijk om het model direct te trainen vanaf gepaarde steekproeven $\{(u_i, f_i)\}_{i=1}^N$ zonder expliciete kennis van de onderliggende dichtheden te vereisen.

Belangrijkste Bijdragen

1. Verenigd Kader: Het artikel introduceert de "Reversibele Simulator", een enkele inverteerbare kaart die zowel simulatie als inferentie verenigt, waardoor consistentie tussen voorwaartse en achterwaartse modellen wordt afgedwongen.
2. Expliciete Constructie: Een expliciet voorbeeld van een dergelijke simulator wordt geconstrueerd door het combineren van onder- en boven-triangulaire normalizing flows.
3. Theoretische Analyse: De auteurs onderzoeken het bestaan en de niet-uniciteit van Reversibele Simulatoren, en tonen aan dat er oneindig veel dergelijke kaarten bestaan via compositie met maat-preserverende transformaties.
4. Trainingsdoelstelling: Een variationele formulering wordt afgeleid die directe training van de kaart mogelijk maakt vanaf gepaarde data met behulp van standaard generatieve modelarchitecturen.
5. Numerieke Validatie: Het framework wordt gedemonstreerd op analytisch hanteerbare lineaire Gaussische problemen, niet-lineaire synthetische voorbeelden, en een gestileerde beeld-inpainting taak met de MNIST-dataset.

Resultaten

• Lineair Gaussisch Geval: In het geval van lineaire inverse problemen met Gaussische priors en likelihoods, wordt aangetoond dat de geconstrueerde Reversibele Simulator goed gedefinieerd blijft, zelfs wanneer het voorwaartse model deterministisch is (d.w.z. wanneer de variantie van de ruis naar nul nadert), terwijl standaard triangulaire kaarten kunnen degenereren.
• Niet-lineair Voorbeeld: De constructie gaat succesvol om met niet-lineaire afhankelijkheden, waarbij de verschillende transportplannen voor de onder-triangulaire, boven-triangulaire en gecombineerde reversibele kaarten worden gevisualiseerd.
• Beeld Inpainting (MNIST): Gebruikmakend van een GLOW-gebaseerde architectuur aangepast voor de Reversibele Simulator, leert het model succesvol om:
  • Likelihood-steekproeven te genereren die de voorwaartse operator nauwkeurig reflecteren (ruis toevoegen en maskeren) terwijl de structuur van het oorspronkelijke cijfer behouden blijft.
  • Posterieur-steekproeven te genereren die de ontbrekende delen van de cijfers accuraat reconstrueren (inpainting) en de onzekerheid correct lokaliseren in de gemaskeerde regio's.
  • Het model demonstreert generalisatie naar out-of-distribution data (letters 'A' en 'F'), hoewel de likelihood-steekproeven voor deze letters laten zien dat de geleerde voorwaartse operator van het model beïnvloed wordt door de specifieke pixelwaarden van de trainingsverdeling (cijfers), wat aangeeft dat de voorwaartse operator niet perfect is geleerd voor ongeziene klassen.

Betekenis en Claims
Het artikel claimt dat de Reversibele Simulator een principieel, verenigd kader biedt voor conditionele generatieve modellering voor zowel voorwaartse als achterwaartse problemen. Door één enkele inverteerbare kaart te gebruiken, vermindert het framework de computationele last van het trainen van afzonderlijke modellen en waarborgt het consistentie tussen simulatie en inferentie. De auteurs benadrukken dat de constructie mogelijk een betere conditionering van de geleerde mapping biedt dan standaard triangulaire flows, met name in deterministische limieten. Zij positioneren dit werk als een brug tussen generieke inverteerbare neurale netwerken en normalizing flows voor geamortiseerde Bayesiaanse inferentie, en bieden een theoretische fundering voor het direct leren van deze mappings vanuit data. De auteurs merken bescheiden op dat hoewel de huidige uniciteitsresultaten zijn vastgesteld, verdere karakterisering van alle mogelijke Reversibele Simulatoren kan leiden tot optimaliteitscriteria voor training. Ze suggereren ook toekomstige extensies naar andere generatieve modellen (bijv. diffusiemodellen) en toepassingen in experimenteel ontwerp.