Probabilistic Circuits for Irregular Multivariate Time Series Forecasting

1. Probleemstelling

Het paper adresseert de uitdaging van probabilistische forecasting voor Irregular Multivariate Time Series (IMTS). In real-world scenario's (bijvoorbeeld gezondheidszorg, klimatologie) zijn tijdreeksdata vaak:

• Irregulier: Observaties treden op op niet-uniforme tijdsintervallen.
• Schaars: Veel variabelen (kanalen) ontbreken op specifieke tijdstippen.
• Multivariaat: Meerdere variabelen interageren met complexe afhankelijkheden.

Belangrijke beperkingen van bestaande methoden:

• Puntforecasting: Veel modellen voorspellen enkele waarden, waardoor ze geen onzekerheid kwantificeren, wat cruciaal is voor stochastische processen.
• Inconsistentie bij Marginalisatie: State-of-the-art modellen zoals ProFITi kunnen complexe afhankelijkheden modelleren, maar lijden aan inconsistentie bij marginalisatie. Dit betekent dat de voorspelde waarschijnlijkheid van een subset van variabelen willekeurig verandert afhankelijk van of andere variabelen wel of niet in de query zijn opgenomen. Dit leidt tot tegenstrijdige forecasts (bijvoorbeeld: de kans op regen verandert als je ook vraagt naar luchtvochtigheid), waardoor ze onbetrouwbaar zijn voor beslissingen met hoge risico's.
• Trade-off tussen Expressiviteit en Consistentie: Modellen die consistentie garanderen, zoals MOSES (Mixtures of Separable Flows), worstelen vaak met het vastleggen van complexe gezamenlijke afhankelijkheden in hoogdimensionale ruimtes vanwege de exponentiële schaling die vereist is voor mengcomponenten. Ze falen in het effectief leren van distincte modi (bijvoorbeeld bifurcaties).

2. Methodologie: CircuITS

De auteurs stellen CircuITS (Circuits for Irregular Multivariate Time Series) voor, een nieuw architectuur gebaseerd op Probabilistic Circuits (PCs). De kerninnovatie is een structurele garantie van consistentie bij marginalisatie, terwijl een hoge expressiviteit behouden blijft.

A. Kernarchitectuur: Recursieve Som-Product Netwerk

CircuITS modelleert de gezamenlijke verdeling $p(y | Q, X)$ (waarbij $y$ doelen zijn, $Q$ querypunten zijn, en $X$ observaties zijn) met behulp van een hiërarchische structuur van Som-nodes (mengsels) en Product-nodes (onafhankelijkheden).

• Leaf Nodes: Representeren univariate of kanaalspecifieke verdelingen.
• Som-nodes: Modelleren mengsels (vastleggen van multimodale verdelingen).
• Product-nodes: Modelleren factorisatie (vastleggen van onafhankelijkheid tussen variabelen).

Recursieve Aggregatie:
In plaats van een volledig tensorproduct (dat exponentieel schaalt als $O(K^C)$), maakt CircuITS gebruik van een recursieve aanpak:

1. Initialisatie: Voor het eerste kanaal is de staat een vector van $K$ leaf-dichtheden.
2. Recursie: Om kanaal $c$ toe te voegen, berekent het model het Cartesisch product van de vorige gezamenlijke staat en de leaf-dichtheden van het nieuwe kanaal ($K^2$ termen).
3. Projectie: Een gewogen som (Som-laag) projecteert deze $K^2$ termen terug naar $K$ componenten. Dit voorkomt een explosie van de staat, terwijl het model in staat blijft om correlaties te leren tussen de vorige gezamenlijke staat en het nieuwe kanaal.
4. Eindoutput: De root-node produceert de uiteindelijke gezamenlijke verdeling als een gewogen som van de $K$ componenten.

B. Encoder Architectuur

Om met irreguliere data om te gaan en de circuitparameters dynamisch te genereren:

• Observatie Representatie: Observaties (tijd, kanaal, waarde) worden ingebed met behulp van sinusoidale tijdsinbeddingen en leerbare kanaalinbeddingen.
• Intra-kanaal Aggregatie: Een Masked Cross-Attention mechanisme aggregateert observaties voor elk kanaal tot een representatie van vaste grootte, waarbij de kanaalidentiteit behouden blijft.
• Inter-kanaal Interactie: Een Self-Attention laag vangt afhankelijkheden tussen kanalen op.
• Parameter Generatie: De encoder output:
  • Context Inbeddingen: Voor de leaf-verdelingen (query-specifiek).
  • Circuit Gewichten: De menggewichten voor Som-nodes ($W^{(c)}$) en de root ($w_{root}$). Cruciaal is dat deze gewichten alleen afhangen van de observatiegeschiedenis $X$, en niet van de queryset $Q$. Deze structurele beperking is de wiskundige sleutel tot het garanderen van consistentie bij marginalisatie.

C. Leaf Verdelingen

Om ervoor te zorgen dat de leaves zelf consistent en expressief zijn:

• Univariate Marginalen: Gemodelleerd met Conditional Deep Sigmoidal Flows (DSF), die de Cumulatieve Verdelingsfunctie (CDF) benaderen via monotoon lagen.
• Gezamenlijke Afhankelijkheid: Een Gaussian Copula combineert de univariate marginalen. De correlatiematrix wordt afgeleid van de query-inbeddingen, waardoor de afhankelijke structuur zich aanpast aan de context terwijl deze wiskundig geldig blijft.

D. Theoretische Garantie

Het paper bewijst dat CircuITS voldoet aan Consistentie bij Marginalisatie (Kolmogorov-extensiestelling).

• Bewijslogica: Omdat de circuitstructuur vastligt op basis van inputkanalen en de Som-node-gewichten alleen afhangen van $X$ (niet van $Q$), leidt het integreren van een variabele (marginalisatie) simpelweg tot het verwijderen van de bijbehorende leaf-term (vervangen door 1) zonder de gewichten van het resterende mengsel te veranderen. De marginale verdeling afgeleid uit de gezamenlijke verdeling is dus identiek aan de verdeling die direct wordt voorspeld voor de subset.

3. Belangrijkste Bijdragen

1. CircuITS Architectuur: Een nieuw Som-Product Netwerk dat is toegespitst op IMTS en structureel consistentie bij marginalisatie garandeert, waardoor de trade-off tussen expressiviteit en betrouwbaarheid wordt opgelost.
2. Consistente Encoder: Een encoder die circuitgewichten en leaf-parameters genereert uit de observatiegeschiedenis, waardoor voorspellingen voor subsets van variabelen consistent blijven, ongeacht de queryscope.
3. State-of-the-Art Prestaties: Gemonstreerde superieure prestaties in zowel gezamenlijke dichtheidsschatting als marginale dichtheidsschatting over vier real-world datasets.
4. Theoretisch Bewijs: Formele bewijzen die aantonen dat de voorgestelde architectuur voldoet aan de eisen voor een geldig stochastisch proces.

4. Experimentele Resultaten

Het model werd geëvalueerd op vier datasets: USHCN (Klimaat), PhysioNet-2012, MIMIC-III en MIMIC-IV (Medisch).

• Metrics: Genormaliseerde Gezamenlijke Negatieve Log-Likelihood (njNLL) en Marginale NLL (mNLL).
• Baselines: Vergelijken met ProFITi (inconsistent maar expressief), MOSES (consistent maar minder expressief) en NeuralFlows (onafhankelijke marginalen).
• Prestaties:
  • Gezamenlijke Dichtheid: CircuITS behaalde de laagste (beste) njNLL in het overgrote deel van de scenario's, en presteerde beter dan zowel ProFITi als MOSES.
  • Marginale Dichtheid: CircuITS presteerde ook beter dan de baselines in mNLL, terwijl ProFITi vaak hoge mNLL-fouten vertoonde vanwege zijn inconsistentie.
  • Synthetische Taak: In een synthetische "bifurcatie"-taak (waarbij onafhankelijke kanalen splitsen in twee distincte modi) faalde MOSES om de distincte takken te vangen, zelfs met 16 componenten, terwijl CircuITS dit oploste met slechts 2 componenten per kanaal.
• Efficiëntie: CircuITS reduceert de computationele complexiteit van $O((CN)^3)$ (volledige covariantie) naar $O(CN^3)$ door kanalen te ontkoppelen, hoewel het een afhankelijkheid introduceert van het aantal mengcomponenten $K$.

5. Betekenis

• Betrouwbaarheid in Kritieke Domeinen: Door consistentie bij marginalisatie te garanderen, voorkomt CircuITS tegenstrijdige forecasts. Dit is cruciaal voor veiligheidskritieke toepassingen zoals gezondheidszorg (bijvoorbeeld het voorspellen van verslechtering van patiënten) en klimaatmodellering, waarbij inconsistente kansen kunnen leiden tot foutieve beslissingen.
• Omgaan met Complexiteit: Het modelleert succesvol complexe, multimodale gezamenlijke verdelingen zonder de optimalisatieschwaktes die eerder mengselgebaseerde consistente modellen kenden.
• Generaliseerbaarheid: De architectuur is flexibel wat betreft het aantal variabelen en querypunten, waardoor het geschikt is voor diverse real-world IMTS-toepassingen waar data-schaarste en irregulariteit de norm zijn.

Concluderend vertegenwoordigt CircuITS een significante vooruitgang in probabilistische tijdreeksforecasting door de theoretische striktheid van probabilistische circuits te verenigen met de praktische flexibiliteit die vereist is voor irreguliere, multivariate data.