Résumé Technique : CAST (Transport Simplexe Ancré Causal)

1. Énoncé du Problème

L'article traite de la prévision de séries temporelles à valeurs de distribution, où les observations ne sont pas des trajectoires scalaires mais des distributions de probabilité évoluant dans le temps. Ces distributions vivent sur le simplexe de probabilité $\Delta^{D-1}$ et représentent des états agrégés du système tels que les occupations de files d'attente, les parts de mobilité, les profils de sévérité de la qualité de l'air et les compositions écologiques.

Le défi central identifié est l'aliasing du noyau de transition latent. Dans de nombreux systèmes stochastiques, une même distribution observée actuelle $p_t$ peut résulter de régimes latents différents (par exemple, une file d'attente entrant dans la congestion par rapport à une file se vidant après une rafale) ayant des successeurs futurs distincts. Les prévisionneurs traditionnels qui reposent uniquement sur un résumé fixe de l'état actuel (ou des entrées uniquement actuelles) sont contraints de moyenner ces successeurs incompatibles, conduisant à une erreur irréductible. De plus, les architectures d'apprentissage profond standard (Transformers, RNN) traitent ces entrées comme des vecteurs non contraints et imposent la validité du simplexe uniquement via un softmax final, échouant à modéliser explicitement la structure causale de la localité des successeurs, la désambiguïsation des régimes ou le mouvement ordonné de la masse.

2. Méthodologie : Le Modèle CAST

Les auteurs proposent CAST (Transport Simplexe Ancré Causal), un opérateur de transition structuré conçu spécifiquement pour le simplexe. CAST fonctionne comme un pipeline causal et local aux successeurs avec trois étapes distinctes, qui préservent toutes le simplexe par construction :

1. Récupération Causale des Successeurs :
   CAST encode l'historique causal $p_{1:t}$ en états cachés à l'aide d'un Transformer de type « decoder-only ». Il récupère ensuite des successeurs empiriques $r_t$ à partir d'une banque de mémoire strictement causale de paires contexte-successeur passées $(p_s, p_{s+1})$ où $s < t$. Ce mécanisme de récupération permet au modèle de désambiguïser les régimes : si l'état actuel $p_t$ est apparu dans différents contextes avec des futurs différents, le mécanisme de récupération sélectionne le successeur correspondant au contexte causal actuel.

2. Ancre de Persistance–Successeur :
   Pour stabiliser le successeur récupéré, bruité, CAST forme une ancre $a_t$ en interpolant entre la distribution actuelle $p_t$ et le successeur récupéré $r_t$ :
   $$a_t = \lambda_t p_t + (1 - \lambda_t) r_t$$
   Ici, $\lambda_t$ est une porte de persistance apprenable. Cette étape garantit que la prévision reste proche de l'état actuel si l'historique récupéré est peu fiable, tout en exploitant les transitions historiques lorsque cela est approprié.

3. Transport Local Borné (pour Supports Ordonnés) :
   Pour les supports possédant un ordre naturel (par exemple, longueurs de files d'attente, niveaux d'IAQ), CAST applique un opérateur de transport stochastique local borné $T_t$ à l'ancre. La prédiction finale est :
   $$\hat{p}_{t+1} = (1 - \rho_t) a_t + \rho_t T_t a_t$$
   où $\rho_t$ est une force de transport bornée. Le noyau de transport $T_t$ est contraint de déplacer la masse de probabilité localement (par exemple, des décalages de rayon 1) et inclut un « budget de décalage moyen » pour empêcher une dérive incontrôlée lors des déroulements autorégressifs. Pour les supports non ordonnés, cette étape est désactivée ($\rho_t \equiv 0$).

Entraînement : Le modèle est entraîné en utilisant une perte de divergence KL à un pas avec contrainte de l'enseignant (teacher-forced). Crucialement, il n'utilise pas de perte de déroulement, de cibles multi-horizons ou de supervision par oracle. Un prior d'opérateur sans cible ($R_{op}$) est ajouté pour pénaliser le transport fort, la masse hors identité et les noyaux rugueux, assurant la stabilité sans supervision directe sur les étapes futures.

3. Contributions Théoriques

L'article fournit trois résultats théoriques principaux concernant les limites des prévisionneurs à résumé fixe et l'expressivité de CAST :

• Bornes Inférieures d'Aliasing (Théorème 1) : Les auteurs prouvent que sous l'aliasing du noyau de transition latent (où plusieurs régimes partagent le même résumé observé mais ont des successeurs différents), tout prévisionneur à résumé fixe incorpore une borne inférieure irréductible du risque excédentaire pondéré de Jensen–Shannon (JS). Cette borne est strictement positive sauf si tous les successeurs spécifiques aux régimes sont identiques.
• Représentabilité par Oracle (Théorème 2) : Ils démontrent que la classe d'hypothèses CAST contient le successeur de Bayes conscient du régime. Si la représentation causale peut identifier le régime latent et que la mémoire contient l'ancre appropriée, CAST peut théoriquement atteindre un risque excédentaire nul.
• Séparation des Supports Ordonnés (Théorème 3) : Pour les supports ordonnés, les auteurs montrent que même une méthode oracle restreinte à la classe d'ancres « sans transport » (combinaisons linéaires des états actuel et récupéré) incorpore un risque excédentaire KL conditionnel borné inférieurement par un terme de séparation de Pinsker si le vrai successeur se trouve en dehors de l'enveloppe convexe de l'ancre. CAST, en utilisant un transport local borné, peut combler cet écart.

4. Résultats Expérimentaux

Les auteurs ont évalué CAST sur une suite de 11 benchmarks couvrant l'écologie, l'énergie, l'alimentation, la mortalité, l'emploi, la qualité de l'air, les phénomènes météorologiques violents, la mobilité et les files d'attente (à la fois G/G/1 et Gt/G/1).

• Performance : CAST a obtenu le meilleur rang moyen à la fois sur la KL à un pas (1,27) et sur la JSD de déroulement autorégressif (1,91) sur l'ensemble des 11 sections.
• Comparaisons : Il a surpassé un large ensemble de références incluant des méthodes statistiques (persistance, ETS, ilr-VAR), des modèles compositionnels et des architectures modernes de séries temporelles profondes (Transformers, iTransformer, N-HiTS, TimeMixer, etc.). CAST a remporté 8 sections sur 11 sur les deux métriques et s'est classé dans le top 2 sur les 11 pour la KL hors ligne.
• Ablations : La suppression du mélange de persistance a provoqué une baisse significative des performances (les victoires KL sont passées de 8/11 à 5/11), tandis que la suppression de la régularisation structurelle a principalement dégradé la stabilité du déroulement à long horizon.
• Validation Synthétique : Une expérience synthétique contrôlée a confirmé la théorie de l'aliasing. Les prévisionneurs à résumé fixe se sont effondrés vers la moyenne JS des successeurs incompatibles, tandis que CAST a récupéré avec succès le successeur spécifique au régime, réduisant l'écart d'erreur à près de zéro.
• Analyse Qualitative : Les visualisations sur les données de files d'attente ont montré que tandis que les références produisaient des bandes statiques ou des distributions floues, CAST préservait les modes mobiles et la forme de la distribution, cohérent avec son mécanisme de transport borné.

5. Signification et Revendications

L'article revendique que CAST offre une alternative structurelle aux modèles génériques séquence-vers-distribution. Sa signification réside dans :

1. Modélisation Explicite de la Structure Causale : En récupérant des successeurs empiriques et en les ancrant, CAST adresse directement le problème d'aliasing où les états actuels sont insuffisants pour déterminer les futurs.
2. Conception Native du Simplexe : Contrairement aux modèles qui mappent vers des logits non contraints et projettent en arrière, l'opérateur de transition de CAST est construit pour rester dans le simplexe à chaque étape, garantissant des distributions de probabilité valides sans correction post-hoc.
3. Stabilité lors du Déroulement : La combinaison de l'ancrage de persistance et du transport local borné empêche l'accumulation d'erreurs lors de la prévision autorégressive à long horizon, un mode de défaillance courant des modèles de séries temporelles profondes.
4. Désambiguïsation des Régimes : Les résultats suggèrent que pour les séries temporelles à valeurs de distribution, exploiter l'historique causal pour distinguer les régimes latents est plus critique que d'augmenter simplement la capacité du modèle ou la longueur de la séquence.

Les auteurs restent modestes quant à la portée, notant que la théorie fournit un argument d'existence pour le régime où CAST excelle, plutôt qu'une garantie d'entraînement à échantillon fini. Ils reconnaissent que pour des dynamiques purement lisses sur des supports non ordonnés, d'autres modèles peuvent rester compétitifs, et que l'implémentation actuelle repose sur un entraînement à un pas avec le déroulement comme protocole d'évaluation pur.