Learning Transferable Predictability Representations

Résumé Technique : Apprentissage de Représentations de Prédictibilité Transférables

Formulation du Problème

L'article traite du défi consistant à attribuer un score scalaire à une fenêtre de trajectoire courte qui reflète sa position sur un continuum ordonné de régimes de prédictibilité. Bien que les méthodes existantes discriminent efficacement les dynamiques déterministes et stochastiques au sein d'un même système, elles ne parviennent pas à produire des scores dotés d'interprétations numériques cohérentes entre différents systèmes.

Les auteurs formalisent cela comme un problème d'estimation ordinale sur une « échelle de prédictibilité » à cinq niveaux ($L_0$ à $L_4$) :

1. $L_0$ (Déterministe Stable) : Points fixes ou cycles limites ($\lambda_{max} \le 0$).
2. $L_1$ (Faiblement Chaotique) : Déterministe avec une faible instabilité positive ($0 < \lambda_{max}\tau \ll 1$).
3. $L_2$ (Fortement Chaotique) : Déterministe avec une divergence rapide ($\lambda_{max}\tau \gg 0$).
4. $L_3$ (Stochastique Structuré) : Surrogats préservant les statistiques linéaires (ex: spectre de puissance) mais perturbant la géométrie non linéaire.
5. $L_4$ (Stochastique Non Structuré) : Bruit i.i.d.

Une barrière structurelle critique identifiée est la liberté de jauge (gauge freedom) : la supervision ordinale seule détermine l'ordre des scores, mais laisse la coordonnée numérique non fixée à une reparamétrisation monotone. Par conséquent, les scores entraînés sur un système ne sont pas directement comparables à ceux d'un autre, même si le classement ordinal est correct. L'article soutient que le transfert inter-systèmes nécessite de fixer cette ambiguïté de coordonnée, car les scénarios zero-shot manquent de données du système cible pour un recalibrage a posteriori.

Méthodologie : Le Réseau Ordinal à Jauge Fixée (GON - Gauge-Fixed Ordinal Network)

La solution proposée, GON, est un modèle de convolution temporelle conçu pour apprendre une coordonnée de score partagée entre les systèmes. Il comprend trois composants clés :

1. Prétraitement par 2-Jet :
   Au lieu d'utiliser les coordonnées d'état brutes (qui portent l'échelle et les unités spécifiques au système), GON opère sur des caractéristiques de 2-jet : position ($x$), vitesse ($\dot{x}$) et accélération ($\ddot{x}$). Ces caractéristiques, estimées via un filtrage de Savitzky–Golay et des différences finies centrales, exposent la géométrie locale de la trajectoire. Cette représentation est préservée par les flux déterministes lisses mais perturbée par les procédures de surrogats stochastiques, ce qui la rend idéale pour distinguer la structure déterministe du bruit structuré.

2. Architecture :
   Le modèle utilise un Réseau de Convolution Temporelle (TCN) avec des blocs résiduels dilatés pour encoder l'entrée 2-jet en une séquence cachée. Un pooling moyen multi-échelle agrège cela en un vecteur, qui est ensuite mappé vers un score scalaire via un MLP à deux couches. Les sorties sont écrêtées à l'aide d'une fonction tangente hyperbolique pour s'aligner sur la plage cible.

3. Objectif Ordinal à Jauge Fixée :
   Pour résoudre la liberté de jauge, l'objectif d'entraînement assigne des cibles d'ancrage fixes aux moyennes des scores de chaque niveau de l'échelle : $\{t_k\} = \{-4, -2, 0, +2, +4\}$. La fonction de perte ($\mathcal{L}$) se compose de :

   • Terme d'Ancrage : Pénalise l'écart entre les moyennes des scores par niveau ($\mu_k$) et leurs cibles ($t_k$).
   • Terme de Variance : Pénalise l'étalement excessif au sein d'un même niveau ($\sigma_k$), encourageant un regroupement serré autour des ancres.

   Cet objectif « ancrage-et-variance » fixe la coordonnée du score, garantissant qu'une valeur numérique spécifique correspond à un régime de prédictibilité spécifique à travers différents systèmes.

Protocole Expérimental

• Données d'Entraînement : 12 systèmes d'EDO dissipatifs chaotiques en trois dimensions (ex: Lorenz-63, Rössler, Chen) couvrant une gamme de géométries d'attracteurs.
• Données de Test : Cinq systèmes entièrement exclus (ex: Thomas, Tigan, pendule forcé) sans aucune donnée utilisée durant l'entraînement.
• Métriques d'Évaluation :
  • Pente de Monotonie ($\beta$) : Mesure la cohérence ordinale globale des moyennes de niveau.
  • $\beta$ Normalisée par l'Échelle ($\beta_{norm}$) : Utilisée pour la comparaison entre méthodes.
  • Dérive d'Ancrage ($\delta_{anchor}$) : Mesure à quel point les moyennes apprises correspondent aux ancres cibles.
  • AUROC par Paire : Évalue la discrimination aux frontières spécifiques (ex: $L_2 \to L_3$).

Résultats Clés

1. Transfert Zero-Shot :

   • GON atteint une pente de monotonie normalisée par l'échelle de $\beta_{norm} = 0,559$ sur les systèmes exclus, surpassant tous les modèles de base supervisés (qui se regroupent autour de 0,46–0,48).
   • Le transfert est plus fort à la frontière stochastique ($L_2 \to L_3$ et $L_3 \to L_4$), où les procédures de surrogat perturbent la géométrie non linéaire. Les frontières du côté déterministe ($L_0 \to L_2$) montrent une séparation plus faible, suggérant que les distinctions chaotiques fines sont plus spécifiques au système.
   • Le calibrage intra-distribution est excellent, avec une dérive d'ancrage moyenne $\delta_{anchor} = 0,0097$.

2. Efficacité de l'Adaptation :

   • Partir d'un point de contrôle (checkpoint) de GON pré-entraîné surpasse significativement l'entraînement à partir de zéro, même avec un nombre très limité de fenêtres étiquetées ($k=5$).
   • Le réglage fin complet (pre_all) bat systématiquement l'initialisation aléatoire, tandis que le gel de l'encodeur (pre_head) améliore la discrimination mais échoue à récupérer la structure ordinale globale ($\beta$).
   • La profondeur d'adaptation est corrélée à la proximité géométrique : les systèmes dont les champs de vecteurs sont similaires à l'ensemble d'entraînement s'adaptent immédiatement, tandis que ceux présentant des structures inédites (ex: forçage sinusoïdal) nécessitent plus de données et peuvent échouer à résoudre les frontières fines.

3. Études d'Ablation :

   • Ancrage vs Marge : Remplacer l'objectif d'ancrage par une perte de marge (qui impose la séparation mais pas de coordonnées fixes) préserve la discrimination intra-distribution mais provoque une hausse de la dérive d'ancrage de 0,005 à 2,556 et réduit le transfert $\beta$ de 47 %. Cela confirme que la stabilité de la coordonnée, et non seulement la cohérence ordinale, est nécessaire au transfert.
   • Caractéristiques de 2-Jet : L'utilisation de caractéristiques de 2-jet cohérentes améliore significativement le transfert ($\beta = 1,504$) par rapport aux états bruts ($\beta = 1,132$) ou aux dérivées mélangées. Cela souligne l'importance de la structure géométrique par rapport à la simple dimensionnalité.

Signification et Revendications

L'article affirme identifier la fixation de la jauge comme l'ingrédient manquant pour des scores de prédictibilité ordinale transférables. La contribution centrale est de démontrer que l'attribution d'une coordonnée numérique stable aux niveaux ordinaux est une condition nécessaire pour la comparabilité entre systèmes.

• Insight Théorique : Ce travail établit que la discrimination par paire et le scoring ordinal globalement cohérent sont des propriétés distinctes ; une coordonnée stable est requise pour les lier lors d'un transfert.
• Utilité Pratique : Le cadre permet l'évaluation de la prédictibilité, la sélection de modèles et les diagnostics d'alerte précoce à travers des systèmes naturels et d'ingénierie sans calibration spécifique au système.
• Limites : Les auteurs notent que le benchmark est actuellement limité aux systèmes d'EDO dissipatifs de faible dimension. Les extensions à des signaux de haute dimension, conservatifs ou du monde réel constituent un travail futur. La méthode opère sur des données synthétiques et n'implique aucune donnée personnelle ni aucun impact sociétal négatif prévisible.

En conclusion, l'article pose que l'apprentissage d'une coordonnée de prédictibilité ordinale transférable via la fixation de la jauge permet des comparaisons significatives des régimes de prédictibilité entre des systèmes dynamiques hétérogènes, une capacité auparavant inatteignable avec les approches standard de régression ou de classification ordinale.