Generative Diffusion Models of Stochastic Graph Signals

Technische Samenvatting: Generatieve Diffusiemodellen van Stochastische Grafische Signalen

Probleemstelling
Veel taken binnen graph machine learning—variërend van aanbevelingssystemen en optimalisatie van draadloze netwerken tot financiële voorspellingen—bet involve de verwerking van signalen die ondersteund worden op grafen die realisaties zijn van onbekende conditionele distributies. Bestaande benaderingen vertrouwen vaak op complexe, applicatiespecifieke ontwerpen die regresseren naar een conditioneel gemiddelde in plaats van te samplen uit de volledige conditionele wet. Deze beperking voorkomt het vastleggen van onzekerheid, zeldzame staartgebeurtenissen (tail events) en de stochastische aard van optimale oplossingen (bijv. bij time-sharing resource allocatie). Dit artikel adresseert de behoefte aan een verenigd framework dat in staat is tot generatieve modellering van stochastische grafische signalen, geconditioneerd op zowel de grafictopologie als de node-feature zijinformatie.

Methodologie
De auteurs stellen een conditioneel denoising diffusion framework voor dat is afgestemd op grafische gegevens. De kerninnovatie is de U-Graph Neural Network (U-GNN), een adaptatie van de beeld-convolutionele U-Net voor het grafendomein.

1. Conditioneel Diffusieproces:
   De methode formuleert de generatie van grafische signalen als een conditioneel denoising diffusion proces. Een forward proces corrumpeert geleidelijk een schoon grafisch signaal $x_0$ met Gaussische ruis om een tractabele prior te bereiken. Een geleerd reverse proces, geparametriseerd door de U-GNN, demonoist (denoises) samples terug naar de datadistributie, geconditioneerd op de graph shift operator $S$ (topologie) en hulp-node toestanden $u$ (zijinformatie). Het trainingsdoel minimaliseert de ruisvoorspellingsfout, consistent met standaard diffusiemodellen.

2. U-GNN Architectuur:
   Om de U-Net architectuur aan te passen aan irregulaire grafendomeinen, introduceren de auteurs een nieuw mechanisme voor pooling en unpooling dat expliciete grafvergroving (graph coarsening) vermijdt:

   • Geleerde Node Selectie: In plaats van vaste pooling-roosters, worden down-sampling en up-sampling geformaliseerd als geleerde node (de)selectie operaties met behulp van geneste selectiematrices ($D_b$). Deze matrices worden end-to-end getraind om de meest informatieve nodes te behouden voor de denoising taak op elk resolutieniveau.
   • Lift-Filter-Reduce: De architectuur verwerkt signalen door een gereduceerd signaal te 'liften' naar de volledige node set via zero-padding (met de getransponeerde van de selectiematrix), grafische convoluties toe te passen op de originele graaf, en vervolgens het resultaat weer te reduceren naar de actieve node set. Dit zorgt ervoor dat filtering op elk resolutieniveau interpreteerbaar blijft als een convolutie op de originele graaf.
   • Stride op Graph Shifts: Om te voorkomen dat actieve nodes voornamelijk geaggregeerde zero-padded waarden aggregeren onder zware down-sampling, introduceren de auteurs een stride parameter $\gamma$. Deze vervangt de eenheids-graph shift $S$ door een $\gamma$-hop shift $S^\gamma$, wat effectief het receptieve veld vergroot en connectiviteit behoudt, analoog aan gedilateerde convoluties in CNN's.
   • Conditionering: Het netwerk incorporeert globale embeddings van de diffusiestap $k$ en de node states $u$, die via projectielagen in het signaalpad worden gefuseerd in elk encoder- en decoderblok.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

• (C1) Een benadering voor generatieve modellering van grafische signalen die denoising diffusion modellen combineert met Graph Neural Networks (GNN's) om stochastische grafische signalen te samplen.
• (C2) De U-GNN architectuur, die het reverse diffusieproces parametriseert. Deze generaliseert de U-Net naar grafische signalen met behulp van GNN-lagen met stride en zero-padded pooling, waardoor expliciete grafvergroving op elk resolutieniveau wordt geëlimineerd.
• (C3) Toepassing van het framework op twee verschillende generatieve taken: stock prijs forecasting over een correlatiegraaf van financiële indicatoren en optimale draadloze resource allocatie onder ergodische Quality-of-Service (QoS) vereisten.

Experimentele Resultaten
Het framework werd geëvalueerd op twee domeinen met uitgebreide numerieke resultaten:

1. Stock Price Forecasting (S&P 500):

   • Taak: Het genereren van toekomstige log-return trajecten voor 468 aandelen, geconditioneerd op markthistorie en fundamentele kenmerken.
   • Prestaties: De U-GNN presteerde beter dan de Geometric Random Walk (GRW) baseline op vrijwel alle metrieken, inclus_of Continuous Ranked Probability Score (CRPS), RMSE en Mean Absolute Error (MAE).
   • Distributionele Getrouwheid: In tegen tegenstelling tot de GRW, slaagde de U-GNN erin de gestileerde feiten van financiële rendementen te reproduceren, zoals volatiliteitsclustering en momentum. Hoewel het de excessieve kurtosis licht overschatte (waardoor het zeldzame staartgebeurtenissen agressiever vastlegde dan de data), werd dit toegeschreven aan een trade-off tussen scherpte en getrouwheid. Het model legde de autocorrelatiestructuur van rendementen en de cross-sectionele correlatie van aandelen beter vast dan de baseline.

2. Wireless Resource Allocation (WRA):

   • Taak: Het leren samplen van optimale vermogensallocatiebeleid voor 400 zender-ontvanger paren in interferentienetwerken, geconditioneerd op Channel State Information.
   • Prestaties: Het U-GNN beleid kwam qua ergodic sum-rate en haalbaarheid nauw overeen met een expert primal-dual (PD) algoritme. Het presteerde significant beter dan deterministische baselines (Full Power en Average Power beleid), met name in het handhaven van de haalbaarheid voor cell-edge gebruikers (5e en 10e percentielen).
   • Stochasticiteit: De resultaten toonden aan dat het optimale beleid inherent stochastisch is (multimodaal). De U-GNN bereikte ergodische haalbaarheid door middel van time-sharing (het samplen van verschillende allocaties over de tijd), terwijl deterministische baselines er niet in slaagden om QoS-restricties voor alle gebruikers simultaan te voldoen.
   • Schaalbaarheid: Het model vertoonde sterke grootte-transferbaarheid en behield zijn prestaties in netwerken variërend van 200 tot 1600 nodes zonder hertraining, wat te danken is aan de permutatie-equivariante aard van de GNN-backbone.

Betekenis en Claims
Het artikel claimt een algemeen methodologisch framework te bieden voor grafische signaalgeneratie dat diverse applicatiespecifieke problemen verenigt onder één enkel denoising diffusion paradigma. Door applicatie-specifieke, vaak deterministische ontwerpen te vervangen door een verenigd stochastisch framework, maakt de methode de generatie van gediversifieerde samples uit conditionele wetten mogelijk. Dit is bijzonder significant voor taken waarbij de oplossing een distributie is (bijv. optimale time-sharing beleid) of waar onzekerheidskwantificatie cruciaal is (bijv. financiële voorspellingen). De U-GNN architectuur wordt gepresenteerd als een general-purpose tool voor het leren over grafische signalen, waarbij het de stabiliteit en transferbaarheidseigenschappen van GNN's erft, terwijl het de multi-resolutie capaciteiten van U-Nets uitbreidt naar irregulaire domeinen zonder expliciete grafvergroving.