Technische Samenvatting: GRIFDIR

Probleemstelling

Op scores gebaseerde diffusiemodellen in oneindig-dimensionale functieruimten bieden een theoretisch onderbouwde raamwerk voor het modelleren van functiewaardige data, zoals oplossingen van partiële differentiaalvergelijkingen (PDE's) of ruimtelijke velden. Deze modellen beloven resolutie-invariantie (generaliseren over discretisaties) en het vermogen om onregelmatige domeingeometrieën en ongestructureerde meshes te hanteren. Echter, praktische implementaties hebben moeite gehad om deze voordelen te verwezenlijken. Bestaande backbones staan voor een tweesplitsing:

• Convolutionele U-Nets: Presteren goed op vaste, regelmatige roosters, maar missen resolutie-invariantie en falen bij onregelmatige geometrieën.
• Fourier Neural Operators (FNO's): Bieden resolutie-invariantie, maar zijn inherent bevooroordeeld ten opzichte van regelmatige roosters en hebben moeite met complexe, niet-regelmatige domein-topologieën.

Er blijft een kloof bestaan tussen de theoretische garanties van oneindig-dimensionale diffusiemodellen en praktische architecturen die kunnen opereren op willekeurige, ongestructureerde meshes zonder resolutie-invariantie op te offeren.

Methodologie: GRIFDIR

De auteurs stellen GRIFDIR (Graph Resolution-Invariant FEM Diffusion Models) voor, een nieuwe architectuur ontworpen als backbone voor op scores gebaseerde diffusiemodellen in oneindig-dimensionale functieruimten. De architectie is gebaseerd op vier kernvereisten: multischaalverwerking, resolutie/discretisatie-invariantie, domeinvlexibiliteit en het vermogen om globale structuur te vangen.

Kerncomponenten

1. Resolutie-invariante FEM-convolutie:
   In plaats van kernels te leren in het coördinatenstelsel van het domein (dat varieert met mesh-resolutie), generaliseert GRIFDIR CNN-convoluties naar ongestructureerde meshes door het convolutiefilter te parametriseren als een Finite Element Method (FEM)-functie op een vast referentievlak in de fysieke ruimte.

   • Voor een knooppunt $x_i$ worden naburige knooppunten via een herschalingstransformatie $\Phi_{x_i}$ geprojecteerd naar een vast referentievlak $\hat{\Omega}$.
   • Het filter wordt gedefinieerd als een lineaire combinatie van $Q1$ bilineaire basisfuncties op een $P \times P$-rooster binnen dit referentievlak.
   • Het convolutie-integraal wordt benaderd door een gewogen som over buren, waarbij de gewichten worden bepaald door de waarden van de basisfuncties op de geprojecteerde buurlocaties.
   • Voordeel: Dit zorgt ervoor dat het fysieke receptieve veld constant blijft, ongeacht mesh-verfijning, waardoor strikte resolutie-invariantie wordt bereikt. Het erft ook de inductieve bias van standaard CNN's, terwijl het deze uitbreidt naar willekeurige geometrieën.

2. Multischaal Meshhiërarchie:
   Om zowel lokale fijn-schaal kenmerken als globale structuren te vangen, is de FEM-convolutie ingebed in een hiërarchische mesh-architectuur (een Graph U-Net).

   • Het model opereert op een hiërarchie van meshes $\{T^{(\ell)}\}$, van fijn naar grof.
   • De fysieke straal van het FEM-filter schaalt met de grofheid van de mesh ($r^{(\ell)} = \mu \bar{d}^{(\ell)}$), wat de expansie van het receptieve veld van standaard U-Nets nabootst.
   • Overgangen tussen niveaus gebruiken geleerde restrictie- en prolongatiemaps.

3. Globale Latente Representatie:
   Om de beperking van standaard message-passing GNN's in het vangen van lange-afstand afhankelijkheden aan te pakken, is het grofste niveau van de hiërarchie verbonden met een Diffusion Transformer (DiT).

   • Een cross-attention-mechanisme koppelt tokens van variabele grootte op het grove mesh aan een latente ruimte met vaste grootte.
   • Deze latente ruimte wordt verwerkt door Transformer-blokken met AdaLN-Zero tijdsconditionering, dienend als een globaal geheugen voor het model.
   • De decoder spiegelt de encoder, waarbij de latente representatie wordt teruggekoppeld naar het fijnste mesh.

4. Conditionele Steekproefkader:
   Voor inverse problemen gebruikt het model een diffusie-prior en een begeleidingsparadigma. De conditionele score wordt benaderd met behulp van:

   • Fun-DPS: Een heuristische begeleidingsmethode die Tweedie-schattingen gebruikt om het begeleidingsterm te benaderen.
   • Fun-DAPS: Een ontkoppelde afkoelingsbenadering die Langevin-updates uitvoert in de gedenoeste ruimte, waardoor backpropagatie door het score-model wordt vermeden.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Introductie van GRIFDIR, de eerste architectuur die op FEM gebaseerde convoluties combineert met graf-neurale operatoren en transformers voor oneindig-dimensionale diffusiemodellen.
• Resolutie-invariantie: De architectuur is wiskundig ontworpen om discretisatie-invariant te zijn, waardoor modellen die op grove meshes zijn getraind, kunnen generaliseren naar fijnere resoluties zonder opnieuw te hoeven trainen.
• Geometrische Flexibiliteit: De methode ondersteunt native ongestructureerde meshes en complexe domein-topologieën (bijv. niet-convexe, meervoudig samenhangende domeinen met gaten) zonder dat domeinmaskering of vervormingskaarten nodig zijn.
• Conditionele Steekproef: Demonstratie van het vermogen van het kader om Bayesiaanse inverse problemen op te lossen (herconstructie van verspreide sensoren en PDE-gedwongen inverse problemen) op onregelmatige domeinen.

Experimentele Resultaten

De auteurs evalueerden GRIFDIR op twee datasets: Gaussian Blobs (geleidingsvelden) en de Pinball-dataset (stroom rond roterende obstakels).

Resolutie-invariantie

• Gaussian Blobs: Modellen werden getraind op een grove mesh (2.048 elementen) en getest op een fijne mesh (8.192 elementen).
  • Baselines (CNN, MP-GNN, GAOT) faalden in generalisatie, waarbij ze artefacten produceerden of onjuiste aantallen kenmerken (bijvoorbeeld het genereren van vier keer zoveel blobs wanneer de resolutie verviervoudigde).
  • GRIFDIR en FNO behielden hoge fideliteit bij de fijnere resolutie. Echter, FNO is beperkt tot regelmatige roosters, terwijl GRIFDIR slaagde op onregelmatige domeinen.
  • MMD-scores: GRIFDIR behaalde de laagste Maximum Mean Discrepancy (0,201) bij de inferentie-resolutie, presterend beter dan alle baselines.

Onregelmatige Domeinen

• GRIFDIR werd getraind op acht verschillende domeingeometrieën (inclusief L-vormen, E-vormen en domeinen met gaten).
• Het model genereerde succesvol plausibele onvoorwaardelijke steekproeven voor alle geometrieën, wat zijn vermogen demonstreert om discontinuïteiten en complexe grenzen te hanteren.

Conditionele Steekproef (Inverse Problemen)

• Verspreide Sensoren: Het model reconstrueerde velden uit verspreide puntmetingen (10–100 sensoren). De prestatie (RMSE en Energy Score) verbeterde naarmate de sensordichtheid toenam, waarbij Fun-DPS over het algemeen beter presteerde in nauwkeurigheid dan Fun-DAPS, hoewel Fun-DAPS lagere computatiekosten bood.
• Poisson Inverse Probleem: Het model loste het inverse probleem op van het afleiden van een bronterm uit een oplossing van de Poisson-vergelijking. Het behaalde een RMSE van $0,0223 \pm 0,0137$.
• Pinball-dataset: Het model reconstrueerde succesvol stromingsvelden uit verspreide sensoren en voerde conditionele generatie uit op basis van snelheidsparameters ($\mu$) en tijd ($\tau$), waarbij het de parametrische afhankelijkheid van de advectie-diffusiedynamiek vastlegde.

Betekenis en Claims

Het artikel beweert dat GRIFDIR de kloof overbrugt tussen de theoretische beloften van oneindig-dimensionale diffusiemodellen en praktische implementatie. Door gebruik te maken van op FEM gebaseerde convoluties, bereikt de architectie resolutie-invariantie en domeinvlexibiliteit tegelijkertijd, eigenschappen die bestaande methoden (U-Nets, FNO's, standaard GNN's) niet gezamenlijk bieden.

De auteurs benadrukken dat hun aanpak:

1. Praktische functieruimte-diffusiemodellering mogelijk maakt over variërende domeinen en discretisaties.
2. Hoge fideliteit behoudt bij het vangen van functionele distributies op niet-triviale geometrieën.
3. Een schaalbare backbone biedt voor het oplossen van zowel voorwaartse generatieve taken als Bayesiaanse inverse problemen op onregelmatige meshes.

Het werk positioneert zichzelf als een stap naar het volledig verwezenlijken van de voordelen van oneindig-dimensionale modellering, waarbij convergentie-garanties onafhankelijk gelden van discretisatieresolutie, en waarbij het model op natuurlijke wijze de geometrische structuur van de data kan incorporeren.