Résumé Technique : Incertitude de l'Arrivée des Régimes dans les Bornes de Généralisation sous Changement de Distribution

Énoncé du Problème

Les bornes de généralisation standards en théorie de l'apprentissage statistique reposent sur l'hypothèse que les données d'entraînement et de déploiement sont générées par la même distribution statique. Cette hypothression échoue fréquemment dans les applications réelles (ex. : modélisation du risque clinique, détection d'intrusions, systèmes autonomes) où l'environnement évolue à travers le temps via des changements structurels. Plus précisément, la théorie existante ne traite pas de manière adéquate les environnements où le ratio entre les états « calmes » et de « crise » diffère entre la période d'entraînement et la période de déploiement future. Le problème central est de quantifier le risque supplémentaire introduit par ce décalage de composition de régime lorsque les changements de distribution suivent un processus à commutation de Markov.

Méthodologie

L'article propose un cadre théorique fondé sur la dynamique des régimes latents, modélisant l'environnement comme une chaîne de Markov à deux états ($Z_t \in \{0, 1\}$) représentant les régimes calme et de crise.

1. Cadre Théorique

• Décomposition de Régime : La distribution d'entraînement est modélisée comme un mélange $P_{mix} = (1-\pi)P_0 + \pi P_1$, où $\pi$ est la fraction historique de crise. La distribution de déploiement future (conditionnée sur l'état actuel étant calme) est $P_{future} = p_{00}P_0 + p_{01}P_1$, où $p_{01}$ est la probabilité de transition vers le régime de crise.
• Décomposition Exacte (Lemme 4.1) : Les auteurs dérivent une identité exacte pour l'écart de généralisation :
  $$R_{future}(f) - R_{mix}(f) = (p_{01} - \pi)(R_1(f) - R_0(f))$$
  Ceci sépare l'écart en un terme de décalage de composition ($p_{01} - \pi$) et un terme de sensibilité au régime ($R_1 - R_0$).
• Borne de Sensibilité au Régime : Le terme de sensibilité est borné à l'aide de la divergence $H\Delta H$ (Ben-David et al., 2010), qui est plus serrée et plus estimable que la distance de Variation Totale. La borne incorpore un terme d'adaptabilité $\lambda_{01}$.
• Gestion des Données Dépendantes : Pour rendre compte de la dépendance temporelle, le cadre étend la théorie de l'apprentissage aux séquences géométriquement $\beta$-mixantes (Yu, 1994). Il dérive explicitement une taille d'échantillon effective ($n_{eff}$) basée sur l'écart spectral de la matrice de transition, réduisant la taille de l'échantillon à mesure que la persistance du régime augmente.
• Estimation : Les composantes de pénalité sont estimées par :
  • Des fractions de crise empiriques à partir de fenêtres d'entraînement.
  • Un classificateur de domaine pour estimer la divergence $H\Delta H$ à partir de caractéristiques non étiquetées.
  • Des constantes de mélange dérivées de la matrice de transition.

2. Bornes Théoriques

• Borne Supérieure (Théorème 4.13) : Une borne supérieure de probabilité élevée à échantillon fini sur le risque futur est construite en enchaînant l'inégalité de changement de régime avec une borne de complexité de Rademacher sensible au mélange.
• Borne Inférieure (Théorème 4.15) : Une borne inférieure minimax (style Le Cam) est établie pour un entraînement en état calme pur ($\pi=0$). Elle prouve qu'un excès de risque d'au moins $p_{01} \cdot \frac{1}{2}d_{H\Delta H}$ est irréductible, quel que soit la taille de l'échantillon, car l'apprenant ne peut pas distinguer différents mondes de crise sans observer d'échantillons de crise.

Contributions Clés

1. Décomposition Exacte du Décalage de Régime : L'article fournit une décomposition algébrique rigoureuse montrant que l'écart de généralisation sous commutation de régime est le produit du décalage de la composition du régime et de la sensibilité du modèle aux changements de régime.
2. Incertitude de l'Arrivée des Régimes : Le cadre démontre que si la géométrie des régimes de crise (distinguabilité des caractéristiques) peut être détectée, l'arrivée temporelle (probabilité de transition $p_{01}$) ne peut pas être prévue de manière fiable à partir des fenêtres d'entraînement standards.
3. Irréductibilité du Risque : Il établit que sous un entraînement en état calme pur, la pénalité due au décalage de régime est une limitation fondamentale, et non un artefact d'analyse. Aucune amélioration algorithmique ne peut éliminer ce risque sans observer la dynamique de transition.
4. Extension aux Données Dépendantes : Les bornes sont étendues aux données $\beta$-mixantes avec des corrections explicites de la taille d'échantillon effective, faisant le pont entre l'adaptation de domaine et la théorie de l'apprentissage dépendant.

Résultats Empiriques

Le cadre a été validé sur deux jeux de données :

1. Données Synthétiques : Un environnement contrôlé avec une dynamique de régime connue et des caractéristiques gaussiennes.
2. Données Réelles : 25 années de cours de clôture quotidiens de 10 indices boursiers mondiaux (2000–2025). Les régimes ont été inférés à l'aide d'un Modèle de Markov Caché (HMM) sur les rendements logarithmiques et la volatilité réalisée.

Résultats :

• Validation Ex Post : Lorsque la pénalité est calculée en utilisant la fraction de crise réalisée (disponible uniquement après le déploiement), elle suit l'écart de généralisation réel avec une corrélation élevée ($\rho = 0,729$ sur les données réelles, $\rho = 0,716$ sur les données synthétiques). L'identité exacte du Lemme 4.1 est vérifiée avec précision numérique.
• Échec Ex Ante : Lorsque la pénalité est estimée en utilisant uniquement les données d'entraînement (en remplaçant la fraction future par la probabilité de transition estimée $\hat{p}_{01}$), la corrélation avec les écarts réalisés s'annule ($\rho \approx 0,084$, l'IC à 95 % inclut zéro), confirmant que la géométrie des caractéristiques est distincte mais que le timing est imprévisible.

Signification et Revendications

L'article se positionne non pas comme un outil de prévision, mais comme un instrument de diagnostic pour comprendre les échecs de déploiement.

• Recadrage du Problème : Les auteurs soutiennent que la réponse standard à l'échec d'un modèle (blâmer l'architecture ou la régularisation) est structurellement incomplète. L'écart de généralisation est souvent piloté par le timing du régime de l'environnement ($p_{01}$), qui est hors du contrôle de l'algorithme.
• Utilité Diagnostique : Le cadre permet aux praticiens d'effectuer des « audits de défaillance post-hoc ». En confirmant que le mécanisme de pénalité est réel et que la décomposition est exacte, il aide à isoler la composante structurelle du risque qui ne peut être éliminée par l'amélioration du modèle.
• Limites : Les auteurs déclarent explicitement que le cadre ne résout pas le problème de la prévision de la composition future des régimes. La « condition d'échappement » (où la composition d'entraînement correspond à la probabilité de transition future) est mathématiquement identifiée mais empiriquement inatteignable à partir de fenêtres historiques seules. Le cadre souligne que la sécurité de l'apprentissage statistique sous non-stationnarité est fondamentalement un problème de timing de régime plutôt qu'un simple problème d'optimisation algorithmique.