Technische Samenvatting: CAST (Causal Anchored Simplex Transport)

1. Probleemstelling

Het artikel behandelt de forecasting van tijdreeksen met een verdelingswaarde, waarbij waarnemingen geen scalaire trajecten zijn, maar waarschijnlijkheidsverdelingen die in de tijd evolueren. Deze verdelingen leven op het waarschijnlijkheidssimplex $\Delta^{D-1}$ en vertegenwoordigen geaggregeerde systeemtoestanden zoals wachtrijbezettingen, mobiliteitsaandelen, profielen van luchtkwaliteitsernst en ecologische composities.

De kernuitdaging die wordt geïdentificeerd, is aliasing van latente overgangskernen. In veel stochastische systemen kan dezelfde waargenomen huidige verdeling $p_t$ voortkomen uit verschillende latente regimes (bijvoorbeeld een wachtrij die in congestie raakt versus een wachtrij die leegloopt na een piek) met verschillende toekomstige opvolgers. Traditionele forecasters die uitsluitend vertrouwen op een vaste samenvatting van de huidige toestand (of alleen input van het huidige moment), worden gedwongen deze incompatibele opvolgers te middelen, wat leidt tot een onherleidbare fout. Bovendien behandelen standaard deep learning-architecturen (Transformers, RNN's) deze inputs als onbeperkte vectoren en handhaven ze simplex-geldigheid slechts via een laatste softmax, waardoor ze de causale structuur van opvolgerlokaliteit, regimeontwarving of geordende massabeweging niet expliciet modelleren.

2. Methodologie: Het CAST-model

De auteurs stellen CAST (Causal Anchored Simplex Transport) voor, een gestructureerde overgangsoperator die specifiek is ontworpen voor het simplex. CAST werkt als een causale, opvolger-lokale pijplijn met drie distincte stadia, die allemaal per constructie het simplex behouden:

1. Causale Opvolger Retrieval:
   CAST codeert de causale geschiedenis $p_{1:t}$ naar verborgen toestanden met behulp van een decoder-only Transformer. Het haalt vervolgens empirische opvolgers $r_t$ op uit een strikt causale geheugenbank van verleden context-opvolgerparen $(p_s, p_{s+1})$ waarbij $s < t$. Dit ophaalmechanisme stelt het model in staat regimes te ontwarren: als de huidige toestand $p_t$ in verschillende contexten is verschenen met verschillende futures, selecteert het ophaalmechanisme de opvolger die overeenkomt met de huidige causale context.

2. Persistentie–Opvolger Anker:
   Om de ruwe opgehaalde opvolger te stabiliseren, vormt CAST een anker $a_t$ door te interpoleren tussen de huidige verdeling $p_t$ en de opgehaalde opvolger $r_t$:
   $$a_t = \lambda_t p_t + (1 - \lambda_t) r_t$$
   Hierbij is $\lambda_t$ een leerbare persistentiepoort. Deze stap zorgt ervoor dat de forecast dicht bij de huidige toestand blijft als de opgehaalde geschiedenis onbetrouwbaar is, terwijl er toch gebruik wordt gemaakt van historische overgangen wanneer dit gepast is.

3. Beperkte Lokale Transport (voor Geordende Supports):
   Voor supports met een natuurlijke orde (bijvoorbeeld wachtrijlengtes, AQI-niveaus) past CAST een beperkte lokale stochastische transportoperator $T_t$ toe op het anker. De uiteindelijke voorspelling is:
   $$\hat{p}_{t+1} = (1 - \rho_t) a_t + \rho_t T_t a_t$$
   waarbij $\rho_t$ een beperkte transportsterkte is. De transportkern $T_t$ is beperkt tot het lokaal verplaatsen van waarschijnlijkheidsmassa (bijvoorbeeld radius-1 verschuivingen) en bevat een "mean-shift budget" om runaway-drift tijdens autoregressieve rollouts te voorkomen. Voor ongeordende supports is dit stadium uitgeschakeld ($\rho_t \equiv 0$).

Training: Het model wordt getraind met behulp van teacher-forced een-staps KL-divergentieloss. Cruciaal is dat het geen rollout-loss, multi-horizontdoelen of orakel-supervisie gebruikt. Een doelloze operatorprior ($R_{op}$) wordt toegevoegd om sterke transport, massa buiten de identiteit en ruwe kernen te straffen, waardoor stabiliteit wordt gewaarborgd zonder directe supervisie op toekomstige stappen.

3. Theoretische Bijdragen

Het artikel biedt drie belangrijke theoretische resultaten met betrekking tot de beperkingen van forecasters met vaste samenvattingen en de expressiviteit van CAST:

• Aliasing Ondergrens (Stelling 1): De auteurs bewijzen dat onder aliasing van latente overgangskernen (waarbij meerdere regimes dezelfde waargenomen samenvatting delen maar verschillende opvolgers hebben), elke forecaster met vaste samenvatting een onherleidbare gewogen Jensen–Shannon (JS) excess-risk ondergrens incurreert. Deze ondergrens is strikt positief, tenzij alle regimespecifieke opvolgers identiek zijn.
• Orakel Representabiliteit (Stelling 2): Ze tonen aan dat de CAST-hypotheseklasse de regime-bewuste Bayes-opvolger bevat. Als de causale representatie het latente regime kan identificeren en het geheugen het juiste anker bevat, kan CAST theoretisch een excess-risk van nul bereiken.
• Scheiding van Geordende Supports (Stelling 3): Voor geordende supports tonen de auteurs aan dat zelfs een orakelmethode die beperkt is tot de "no-transport" ankerklasse (lineaire combinaties van huidige en opgehaalde toestanden) een conditionele KL excess-risk incurreert die onderaan begrensd is door een Pinsker-scheidingsterm als de ware opvolger buiten de ankerhull ligt. CAST kan, door gebruik te maken van beperkte lokale transport, deze kloof overbruggen.

4. Experimentele Resultaten

De auteurs hebben CAST geëvalueerd op een suite van 11 benchmarks die ecologie, energie, dieet, mortaliteit, werkgelegenheid, luchtkwaliteit, zware weersomstandigheden, mobiliteit en wachtrijproblematiek bestrijken (zowel G/G/1 als Gt/G/1).

• Prestaties: CAST behaalde de beste gemiddelde rang op zowel een-staps KL (1,27) als autoregressieve rollout JSD (1,91) over alle 11 secties.
• Vergelijkingen: Het presteerde beter dan een brede set baselines, waaronder statistische methoden (persistentie, ETS, ilr-VAR), compositiemodellen en moderne deep time-series-architecturen (Transformers, iTransformer, N-HiTS, TimeMixer, enz.). CAST won 8 van de 11 secties op beide metrieken en stond in alle 11 gevallen in de top-2 voor offline KL.
• Ablaties: Het verwijderen van de persistentiemix veroorzaakte een aanzienlijke daling in prestaties (KL-winsten daalden van 8/11 naar 5/11), terwijl het verwijderen van structurele regularisatie voornamelijk de stabiliteit van lange-horizont rollouts verslechterde.
• Synthetische Validatie: Een gecontroleerd synthetisch experiment bevestigde de aliasing-theorie. Forecasters met vaste samenvattingen stortten in tot het JS-gemiddelde van incompatibele opvolgers, terwijl CAST de regimespecifieke opvolger succesvol herstelde, waardoor de foutkloot tot bijna nul werd gedicht.
• Kwalitatieve Analyse: Visualisaties op wachtrijdata toonden aan dat terwijl baselines statische banden of gesmeerde verdelingen produceerden, CAST de bewegende modi en de vorm van de verdeling behield, in overeenstemming met zijn beperkte transportmechanisme.

5. Betekenis en Claims

Het artikel beweert dat CAST een structureel alternatief biedt voor generieke sequence-naar-verdeling modellen. De betekenis hiervan ligt in:

1. Expliciete Modellering van Causale Structuur: Door empirische opvolgers op te halen en te ankeren, adresseert CAST direct het aliasing-probleem waarbij huidige toestanden onvoldoende zijn om futures te bepalen.
2. Simplex-Natief Ontwerp: In tegenstelling tot modellen die naar onbeperkte logits mappen en terug projecteren, is de overgangsoperator van CAST zo geconstrueerd dat deze op elk stadium binnen het simplex blijft, waardoor geldige waarschijnlijkheidsverdelingen worden gewaarborgd zonder correctie achteraf.
3. Stabiliteit bij Rollout: De combinatie van persistentie-ankering en beperkte lokale transport voorkomt de accumulatie van fouten tijdens autoregressieve forecasting op lange horizon, een veelvoorkomende faalmodus voor deep time-series-modellen.
4. Regime Ontwarving: De resultaten suggereren dat voor tijdreeksen met verdelingswaarde het benutten van causale geschiedenis om latente regimes te onderscheiden kritischer is dan het simpelweg vergroten van modelcapaciteit of sequentielengte.

De auteurs blijven bescheiden wat de reikwijdte betreft, en merken op dat de theorie een bestaanargument biedt voor het regime waarin CAST uitblinkt, in plaats van een finite-sample trainingsgarantie. Ze erkennen dat voor puur gladde dynamiek op ongeordende supports andere modellen concurrerend kunnen blijven, en dat de huidige implementatie vertrouwen stelt op een-staps training met rollout als puur evaluatieprotocol.