Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

Résumé Technique : Apprentissage du Report (Learning-to-Defer) dans les Séries Temporelles Non Stationnaires via des Modèles d'État-Espace à Commutation

Formulation du Problème
L'article aborde le défi de l'Apprentissage du Report (Learning-to-Defer, L2D) dans des environnements de séries temporelles en flux continu et non stationnaires. Contrairement aux configurations L2D hors ligne qui supposent une supervision complète (accès à toutes les prédictions d'experts) et un prédicteur interne fixe, la configuration proposée implique :

1. Rétroaction Partielle Asymétrique : À chaque étape $t$, le système observe le contexte $x_t$ et un ensemble d'experts externes disponibles $E_t$. Il doit choisir de prédire en interne (action 0) ou de reporter vers un expert externe $k \in E_t$ (encourageant un coût de requête $\beta_k$). Crucialement, le résultat réel $y_t$ est révélé après la décision, rendant le résidu interne ($e_{t,0} = \hat{y}_{t,0} - y_t$) toujours observable. Cependant, les résidus externes ne sont observés que si l'expert correspondant est interrogé ; sinon, ils restent censurés.
2. Apprentissage Couplé à l'Action : Le prédicteur interne $f_{\theta_t}$ est entraîné en ligne. Les décisions de routage influencent directement l'état futur de l'apprenant car l'interrogation d'un expert fournit un signal « enseignant » supplémentaire ($\hat{y}_{t,k}$) pouvant mettre à jour le modèle interne.
3. Non-Stationnarité et Expertise Dynamique : L'environnement est non stationnaire, avec une qualité des experts qui évolue selon des régimes latents. De plus, le pool d'experts est dynamique ; les experts peuvent entrer, sortir ou revenir au fil du temps.

L'objectif est de minimiser le coût de routage cumulatif attendu, en équilibrant l'erreur de prédiction immédiate avec les coûts de requête, tout en améliorant simultanément l'apprenant interne et en s'adaptant aux changements de régime.

Méthodologie : L2D-SLDS
Les auteurs proposent L2D-SLDS, un cadre en ligne à une seule étape qui modélise conjointement les résidus du prédicteur interne et de tous les experts externes potentiels à l'aide d'un Modèle d'État-Espace Linéaire-Gaussien à Commutation Factorisé (SLDS).

• Modèle Génératif : Le modèle décompose la fiabilité latente de chaque expert $k$ en trois composantes :

  1. Un facteur global partagé $g_t$ qui capture les corrélations inter-experts et transfère des informations à travers le pool d'experts.
  2. Des états idiosyncrasiques par expert $u_{t,k}$ qui capturent la fiabilité spécifique à chaque expert.
  3. Une variable de régime discrète $z_t$ qui sélectionne parmi $M$ dynamiques linéaires-gaussiennes, permettant au système de s'adapter aux changements structurels dans la performance des experts.
     Le résidu pour l'expert $k$ est modélisé comme une émission linéaire-gaussienne du vecteur de fiabilité $\alpha_{t,k} = B_k g_t + u_{t,k}$.

• Inférence en Ligne : Le système emploie un filtre à deux phases de type IMM (Interacting Multiple Model) :

  1. Phase Interne : Toujours exécutée. Elle intègre le résidu interne toujours observé $e_{t,0}$ pour mettre à jour le facteur partagé $g_t$ et les poids de régime. Cela garantit que même lorsqu'aucun expert externe n'est interrogé, le système met à jour ses croyances concernant tous les experts non interrogés via le facteur partagé.
  2. Phase Externe : Exécutée uniquement si un expert externe est interrogé. Elle intègre le résidu externe observé pour affiner davantage l'état de l'expert spécifique et le facteur global.
  3. Gestion du Registre : Un registre dynamique gère les naissances et les décès d'experts. Les experts obsolètes (indisponibles pendant une durée $\Delta_{max}$) sont élagués par marginalisation exacte, assurant une efficacité computationnelle et mémoire sans affecter les distributions prédictives des experts conservés.

• Score de Routage Conscient de l'Apprenant : La décision de routage est pilotée par un score $S_t(k)$ qui équilibre trois objectifs :

  1. Exploitation : Le coût excédentaire immédiat de l'interrogation de l'expert $k$ par rapport au prédicteur interne.
  2. Exploration (Gain d'Information) : L'information mutuelle conditionnelle $I((z_t, g_t); e_{t,k} | e_{t,0})$, mesurant dans quelle mesure la requête réduit l'incertitude sur l'état latent au-delà de ce que le résidu interne fournit déjà. Cela est approximé par un terme en forme close pour le facteur partagé et un terme de Monte Carlo pour l'identification du régime.
  3. Amélioration de l'Apprenant : Une estimation de l'amélioration attendue en une étape pour l'apprenant interne, basée sur la probabilité que l'expert surpassera le prédicteur interne et l'ampleur de cette amélioration.

• Mise à Jour Couplée à l'Action : Lorsqu'un expert est interrogé, l'apprenant interne est mis à jour en utilisant un objectif régularisé par l'enseignant. Le poids du signal enseignant est adaptatif, contrôlant les mises à jour en fonction de la fiabilité prédite de l'expert, de son utilité réalisée et de son désaccord avec l'apprenant.

Contributions Clés

1. Formalisation : L'article formalise le L2D en ligne à une seule étape pour les séries temporelles non stationnaires, traitant explicitement la rétroaction partielle asymétrique, l'apprentissage interne couplé à l'action, la disponibilité dynamique des experts et les coûts de consultation.
2. Algorithme : Il introduit L2D-SLDS, un modèle linéaire-gaussien à commutation factorisé permettant une inférence évolutive et un transfert d'information inter-experts sous censure. Il inclut un mécanisme d'élagage de registre qui préserve les distributions marginales des experts conservés.
3. Stratégie de Routage : Un nouveau score de requête conscient de l'apprenant est proposé, combinant le gain d'information de l'état latent avec l'amélioration attendue de l'apprenant, dépassant la simple minimisation des coûts ou l'exploration pure.
4. Garanties Théoriques : Les auteurs prouvent une décomposition du regret oracle par rapport à un comparateur d'apprentissage et de report variant dans le temps. Le regret est décomposé en un budget de bonus de requête, un terme d'erreur de coût prédictif SLDS ($E_{SLDS}$) et le regret dynamique par intervalle de l'apprenant interne. Sous des conditions spécifiques ($E_{SLDS}$ sous-linéaire et apprenants internes certifiés), ils établissent un taux de regret réalisé sous-linéaire.
5. Performance Empirique : Des expériences extensives sur des données synthétiques et des benchmarks réels (Melbourne, Jena, Delhi) démontrent que L2D-SLDS surpasse les bases de référence de bandits contextuels et non stationnaires tout en reportant sur moins de 2 % des étapes dans les scénarios de données réelles.

Résultats

• Données Synthétiques : L2D-SLDS a atteint le coût de routage le plus bas (0,336) par rapport à la meilleure base de référence de bandits (0,427). Des études d'ablation ont confirmé que le facteur partagé $g_t$ est crucial pour le transfert d'information, car son retrait dégradait les performances.
• Benchmarks Réels :
  • Melbourne : L2D-SLDS a atteint un coût de 5,914 avec un taux de report de 0,8 %, surpassant toutes les bases de référence de bandits (qui variaient de 6,047 à 6,302 et avaient des taux de report plus élevés).
  • Jena : L2D-SLDS a atteint 3,293 avec un taux de report de 0,22 %. Notamment, c'était la seule méthode adaptative à améliorer le prédicteur interne sans report (3,297), alors que toutes les bases de référence de bandits ont performé moins bien que la base de référence sans report.
  • Delhi (24 Experts) : L2D-SLDS a atteint 2,528 avec un taux de report de 1,70 %. La base de référence de bandits la plus performante (SharedLinUCB+0) a atteint 2,542 mais a nécessité un taux de report de 34,8 %, soulignant l'efficacité de L2D-SLDS dans la sélection de reports à haute valeur.
• Ablations : La suppression du facteur partagé ou le remplacement du score orienté information par l'échantillonnage de Thompson a considérablement dégradé les performances ou augmenté les taux de requête, validant les choix de conception spécifiques du modèle et du mécanisme de notation.

Signification et Revendications
L'article revendique être la première étude à entraîner conjointement un apprenant interne et à router vers des experts externes en ligne sous rétroaction asymétrique, commutations de régimes latents et registres d'experts dynamiques. La signification réside dans la démonstration qu'un modèle probabiliste des résidus peut gérer efficacement la nature « censurée » de la rétroaction des experts dans des environnements non stationnaires, permettant au système d'apprendre sur les experts non interrogés grâce à une structure latente partagée. Les auteurs soulignent que leur approche atteint des performances compétitives ou supérieures avec des taux de requête drastiquement inférieurs par rapport aux approches de bandits standard, la rendant adaptée à des applications à haut risque ou sensibles aux coûts où le report est coûteux. La décomposition théorique du regret fournit un cadre modulaire pour comprendre les compromis entre l'exploration, l'erreur de prédiction et l'adaptation de l'apprenant.