Online Survival Analysis: A Bandit Approach under Cox PH Model

1. Problématique et Contexte

L'analyse de survie est un cadre statistique fondamental pour modéliser des données de « temps jusqu'à un événement » (time-to-event), souvent utilisées en médecine de précision, en maintenance prédictive ou dans l'analyse de la fidélité client. Le modèle de Cox à risques proportionnels (Cox PH) est la méthode semi-paramétrique la plus répandue.

Cependant, la plupart des applications actuelles fonctionnent en mode hors ligne (offline) : les chercheurs attendent que toutes les données soient collectées (y compris les événements de censure) avant d'analyser les résultats et d'optimiser les décisions. Cette approche présente plusieurs limites majeures dans des contextes dynamiques :

• Entrée échelonnée (Staggered Entry) : Les sujets entrent dans l'étude à des moments différents, ce qui complique la construction de la fonction de vraisemblance.
• Retard de feedback : Le « reward » (le temps jusqu'à l'événement) n'est observé qu'après un certain délai.
• Censure à droite : Les données sont souvent censurées (l'événement n'est pas observé avant la fin de l'étude), ce qui rend l'apprentissage en ligne difficile car l'information est incomplète.

L'objectif de cet article est de combler ce vide en intégrant l'analyse de survie dans un cadre d'apprentissage par bandits contextuels (Contextual Bandits) en temps réel, permettant d'adapter les traitements au fur et à mesure que les données arrivent, tout en gérant la censure et les entrées échelonnées.

2. Méthodologie

Les auteurs proposent un cadre unifié qui adapte trois algorithmes classiques de bandits (Epsilon-Greedy, UCB, Thompson Sampling) au modèle de Cox PH.

A. Cadre Formel

• Entrées : À chaque round $t$, un nouveau sujet $i$ arrive avec des covariables $S_i$ et une action $A_i$ (traitement) est sélectionnée.
• Sortie : Le temps d'événement réel $Y_i$ et le temps de censure $C_i$ ne sont observés qu'après un délai. L'observation est $R_i = \min(Y_i, C_i)$ avec un indicateur d'événement $\delta_i$.
• Modèle : Le risque instantané est modélisé par $\lambda(s | X) = \lambda_0(s) \exp(X^\top \beta)$, où $X$ est une fonction des covariables et de l'action.
• Mise à jour en ligne : Au lieu de recalculer le modèle de Cox à partir de zéro à chaque étape (coûteux en $O(N^2)$), les auteurs décomposent la vraisemblance partielle pour permettre des mises à jour incrémentales efficaces ($O(m \cdot p)$ où $m$ est le nombre d'événements).

B. Algorithmes d'Exploration

Pour équilibrer exploration (tester de nouveaux traitements) et exploitation (utiliser le meilleur traitement connu), trois stratégies sont adaptées :

1. Epsilon-Greedy (EG) : Sélectionne l'action optimale estimée avec probabilité $1-\epsilon_t$ et une action aléatoire avec probabilité $\epsilon_t$.
2. Upper Confidence Bound (UCB) : Construit un intervalle de confiance autour de l'estimation des coefficients $\beta$ et choisit l'action maximisant la borne supérieure.
3. Thompson Sampling (TS) : Échantillonne les coefficients $\beta$ à partir d'une distribution a posteriori (approximée par Laplace ou HMC) et choisit l'action optimale pour cet échantillon.

C. Défi Théorique : La Martingale

Le défi principal est que, sous entrée échelonnée, le processus de score classique du modèle de Cox n'est plus une martingale par rapport au temps de calendrier, ce qui invalide les outils de concentration standards.

• Solution : Les auteurs définissent un processus de score ajusté $Q(\tau)$ qui est une martingale. Ils construisent un ellipsoïde de confiance pour l'estimateur $\hat{\beta}$ en bornant la déviation entre le processus de score réel et le processus ajusté.

3. Contributions Clés

1. Cadre Unifié en Ligne : Première intégration complète de l'analyse de survie (avec censure à droite et entrée échelonnée) dans un cadre de bandits contextuels.
2. Algorithmes Flexibles : Adaptation des stratégies EG, UCB et TS pour l'analyse de survie, sans hypothèses stochastiques fortes sur les covariables.
3. Garanties Théoriques :
   • Établissement du premier ellipsoïde de confiance pour les paramètres du modèle de Cox en contexte en ligne.
   • Preuve de bornes de regret sous-linéaires de l'ordre de $\tilde{O}(d\sqrt{T})$, où $d$ est la dimension des caractéristiques et $T$ le nombre de rounds.
4. Efficacité Computationnelle : Développement d'une méthode de mise à jour incrémentale de la vraisemblance partielle, évitant le recalcul complet du modèle à chaque itération.

4. Résultats Expérimentaux

Les auteurs ont évalué leur approche via des simulations et une expérience semi-réelle sur les données SEER (Surveillance, Epidemiology, and End Results) concernant le cancer du sein.

• Données SEER : Analyse de 290 091 patients (2004-2015) comparant deux types de chirurgie (chirurgie conservatrice vs mastectomie).
  • Les algorithmes (EG, UCB, TS) convergent rapidement vers une probabilité de survie optimale.
  • La robustesse est testée même lorsque le modèle de Cox est mal spécifié (en comparant avec un modèle Random Survival Forest comme vérité terrain) : les algorithmes continuent d'améliorer la survie moyenne au fil du temps.
• Simulations :
  • Comparaison avec une méthode naïve (qui ignore les données censurées non observées). La méthode naïve souffre d'un biais de sélection important (surestimation de la survie), tandis que la méthode proposée converge vers les vrais paramètres $\beta$ et maximise la survie.
  • Les trois algorithmes montrent une convergence rapide de l'erreur quadratique moyenne (MSE) des estimateurs et de la probabilité de survie moyenne.

5. Signification et Impact

Cet article représente une avancée significative pour l'application de l'apprentissage par renforcement dans les domaines médicaux et industriels où les données sont censurées et arrivent de manière asynchrone.

• Médecine de Précision : Permet d'adapter dynamiquement les protocoles de traitement dans les essais cliniques, réduisant le temps nécessaire pour identifier les thérapies optimales et minimisant l'exposition des patients à des traitements sous-optimaux.
• Efficacité Opérationnelle : Réduit les coûts et les délais associés aux analyses hors ligne traditionnelles en permettant une prise de décision itérative et immédiate.
• Fondation Théorique : Fournit les outils mathématiques nécessaires pour gérer la complexité des risques sets dynamiques et de la censure dans les algorithmes de bandits, ouvrant la voie à de futures extensions vers des modèles non-paramétriques ou basés sur des réseaux de neurones (DeepSurv).

En résumé, ce travail transforme l'analyse de survie d'un outil d'analyse rétrospective en un système de décision proactive et adaptative, capable de gérer l'incertitude inhérente aux données de temps d'événement en temps réel.