🤖 machine learning

Staying Alive: Uncensored Survival Analysis with Tabular Foundation Models

Cet article introduit une méthode de régression de survie sans entraînement qui exploite des modèles de fondation tabulaires pour imputer de manière itérative les données censurées à droite et construire un modèle de temps de survie accéléré (Accelerated Failure Time), atteignant des performances compétitives par rapport aux modèles traditionnels entraînés sur des benchmarks standards.

Auteurs originaux : Mariana Vargas Vieyra

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mariana Vargas Vieyra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Prédire le « quand » sans entraînement

Imaginez que vous êtes un médecin essayant de prédire combien de temps un patient survivra après un diagnostic, ou un mécanicien automobile devinant quand une pièce spécifique va tomber en panne. C'est ce qu'on appelle l'analyse de survie. La partie délicate est que, souvent, vous ne voyez pas l'événement final. Peut-être que le patient est parti vivre ailleurs, ou que l'étude s'est terminée avant que la pièce de la voiture ne casse. En statistiques, c'est ce qu'on appelle la censure à droite : vous savez que l'événement n'a pas encore eu lieu, mais vous ne savez pas quand.

Habituellement, pour résoudre cela, vous devez construire un modèle personnalisé de zéro pour chaque nouveau jeu de données, ce qui revient à embaucher un nouvel architecte pour concevoir une maison chaque fois que vous achetez un terrain.

Ce papier introduit une nouvelle façon de faire cela en utilisant des Modèles de Fondation Tabulaires (TFM). Considérez un TFM comme un « détective super intelligent et pré-entraîné » qui a déjà lu des millions de jeux de données différents. Il peut regarder une nouvelle liste de faits (un tableau de données) et faire une prédiction en un seul coup d'œil, sans avoir besoin d'être réentraîné. Les auteurs ont voulu voir si ce « super-détective » pouvait résoudre l'énigme du « temps manquant » de l'analyse de survie sans aucun entraînement supplémentaire.

Le problème : Le détective ne voit pas la fin

Le problème est que ces super-détectives (les TFM) ont l'habitude de voir l'histoire complète. Si vous leur demandez : « Combien de temps ce patient va-t-il vivre ? » mais que vous ne leur donnez que les données jusqu'au moment où il a quitté l'étude, le détective est confus. Il attend une réponse définitive, pas un « on ne sait pas encore ».

Si vous ignorez simplement les patients avec des temps de fin manquants (données censurées), le détective sera biaisé. Il pensera que tout le monde meurt plus tôt qu'en réalité, car il ne regardera que les personnes qui sont mortes tôt et ignorera celles qui sont encore en vie.

La solution : Le jeu du « remplir les blancs »

Les auteurs ont créé une méthode appelée TabSA (Analyse de Survie Tabulaire) qui permet au détective de résoudre l'énigme en deux étapes astucieuses :

Étape 1 : « Deviner la moyenne » (Le modèle AFT)

D'abord, ils utilisent le détective pour deviner le « log-temps moyen » pour tout le monde en fonction de leurs caractéristiques (comme l'âge, les marqueurs de santé, etc.). C'est comme si le détective regardait une foule et devinait : « D'après ce que j'ai vu auparavant, ce groupe dure généralement environ X années. »

Cependant, ils ne laissent le détective regarder que les personnes qui ont réellement terminé l'étude pour faire cette supposition. Pour que cela fonctionne, ils n'ont qu'à ajuster un seul chiffre (un paramètre d'échelle). C'est comme dire au détective : « Vous êtes doué pour deviner, dites-moi simplement comment étirer ou rétrécir vos suppositions. »

Étape 2 : « Le jeu de l'imagination » (Imputation itérative)

C'est la partie magique. Puisque le détective ne peut pas voir la fin de l'histoire pour les patients censurés, les auteurs jouent à un jeu de « remplissage des blancs ».

La première supposition : Ils commencent par deviner les temps de fin manquants pour les patients censurés en utilisant un tour statistique classique (comme une estimation brute basée sur ceux qui sont encore en vie).
La boucle : Ils réinjectent ces suppositions au détective. Le détective regarde l'ensemble du groupe (y compris les suppositions) et dit : « En fait, sur la base de cette nouvelle information, ma supposition pour cette personne devrait être un peu plus longue. »
Le raffinement : Ils mettent à jour les suppositions et interrogent à nouveau le détective. Ils répètent cette boucle encore et encore (comme le perfectionnement d'un croquis) jusqu'à ce que les suppositions ne changent plus.

Ce processus est inspiré d'une vieille méthode statistique appelée l'estimateur de Buckley-James, mais au lieu d'effectuer des calculs mathématiques complexes, ils laissent le « super-détective » (le TFM) faire le gros du travail pour déterminer quels devraient être les temps manquants.

Les résultats : Comment ont-ils réussi ?

Les auteurs ont testé leur méthode sur cinq jeux de données réels (crises cardiaques, cancer du sein, soins intensifs, etc.) et ont comparé leur méthode contre :

Les modèles classiques : Les « architectes personnalisés » traditionnels qui nécessitent un entraînement intensif.
Autres méthodes Zero-Shot : D'autres façons d'utiliser ces détectives sans entraînement.

Les conclusions :

Pouvoir de classement : Leur méthode (TabSA-BJ) était excellente pour classer les patients. Elle pouvait dire correctement : « Le patient A vivra probablement plus longtemps que le patient B » presque aussi bien que les modèles coûteux et entièrement entraînés.
Calibration : Bien qu'elle soit excellente pour le classement, elle était légèrement moins parfaite pour prédire la probabilité exacte de survie à un moment précis par rapport à une méthode qui divise le temps en compartiments (discrétisation).
Aucun entraînement requis : La plus grande victoire est qu'ils ont obtenu ces résultats sans réentraîner le modèle sur le jeu de données spécifique. Ils ont simplement injecté les données, lancé la boucle de « remplissage des blancs », et obtenu un résultat.

Ce qu'il faut retenir

Ce papier montre que nous n'avons pas toujours besoin de construire un nouveau modèle de zéro pour prédire les temps de survie. En utilisant un « modèle de fondation » pré-entraîné comme moteur intelligent et en jouant à un simple jeu de « deviner et affiner » pour gérer les données manquantes, nous pouvons obtenir des résultats qui rivalisent avec les modèles statistiques traditionnels lourdement entraînés.

C'est comme avoir un chef étoilé qui a goûté tous les plats du monde. Au lieu de lui apprendre une nouvelle recette de zéro, vous lui donnez simplement les ingrédients et lui demandez : « D'après votre expérience, combien de temps ce ragoût prendra-t-il à cuire ? » et vous le laissez ajuster sa supposition jusqu'à ce qu'elle semble juste.

Résumé Technique : Rester en Vie : Analyse de Survie sans Censures avec les Modèles de Fondation Tabulaires

Énoncé du Problème
L'analyse de survie (AS) est un cadre statistique utilisé pour modéliser le temps jusqu'à la survenue d'un événement d'intérêt, avec des applications allant de la santé à la prédiction de l'attrition (churn). Un défi central de l'AS est la censure à droite, où le temps de l'événement pour certains sujets est inobservé car ils quittent l'étude ou atteignent l'horizon d'observation avant que l'événement ne se produise. Si les modèles de survie classiques gèrent naturellement les données censurées, les Modèles de Fondation Tabulaires (TFM) — qui excellent dans la classification et la régression en contexte (in-context) sans entraînement spécifique au jeu de données — peinent face à cette tâche. Les TFM attendent généralement des cibles de prédiction entièrement observées, ce qui rend l'application directe à la régression de survie difficile. Les tentatives existantes pour adapter les TFM, telles que la discrétisation du temps en intervalles (bins) pour la classification, introduisent un compromis entre résolution et taille de contexte effectif, ce qui dégrade souvent les performances avec un partitionnement grossier.

Méthodologie
Les auteurs proposent TabSA, un cadre sans entraînement qui exploite des TFM gelés pour effectuer une régression de survie en formulant la tâche comme un problème de prédiction en contexte. La méthode opère sous l'hypothèse d'un modèle de Temps de Défaillance Accéléré (AFT), où le logarithme du temps de l'événement est modélisé linéairement. L'innovation centrale est une stratégie d'imputation itérative et non paramétrique pour les données censurées, inspirée de l'estimateur de Buckley-James.

L'algorithme proposé procède comme suit :

Construction du Modèle : Le TFM est utilisé comme squelette de régression pour prédire la moyenne du log-temps ( $\hat{\mu}$ ) des sujets en se basant sur des exemples en contexte.
Estimation des Paramètres : Un paramètre scalaire unique, le paramètre d'échelle $\sigma$ , est estimé via l'Estimation du Maximum de Vraisemblance (MLE) sur l'ensemble d'entraînement. C'est le seul paramètre nécessitant un ajustement ; le squelette du TFM reste gelé.
Imputation Itérative (TabSA-BJ) : Pour traiter la censure à droite sans rejeter de données, la méthode impute de manière itérative des pseudo-cibles pour les sujets censurés :
- Initialisation : Les pseudo-cibles sont initialisées à l'aide d'un démarrage à chaud fondé sur les données via l'estimateur jackknife de Kaplan-Meier.
- Itération : À chaque étape, le TFM prédit la moyenne du log-temps pour les sujets censurés en utilisant un contexte stochastique de sujets non censurés et censurés sous-échantillonnés (pour éviter l'auto-prédiction dégénérée).
- Mise à jour : Contrairement à l'estimateur standard de Buckley-James qui impute la moyenne conditionnelle, cette méthode met à jour les pseudo-cibles en tirant de la distribution tronquée ( $p(\log T_i | T_i > C_i)$ ), imposant strictement la contrainte que le temps imputé doit être supérieur au temps de censure.
- Raffinement : Le paramètre d'échelle $\sigma$ est ré-estimé via MLE sur le jeu de données mis à jour. Cette boucle continue jusqu'à ce que les pseudo-cibles se stabilisent.
Inférence : Lors de l'inférence, le modèle effectue une passe directe pour obtenir les moyennes des log-temps, qui sont combinées avec le $\sigma$ final pour construire la fonction de survie.

Contributions Clés

Régression de Survie Zero-Shot : L'article introduit une méthode pour effectuer la régression de survie en utilisant des TFM sans entraînement spécifique au jeu de données, ne nécessitant que l'ajustement d'un seul paramètre scalaire ( $\sigma$ ).
Imputation en Contexte Non Paramétrique : Les auteurs proposent un nouveau mécanisme itératif pour gérer la censure à droite en utilisant le TFM comme estimateur non paramétrique pour imputer les données censurées, évitant ainsi les compromis résolution-performance associés à la discrétisation du temps.
Intégration AFT : Le cadre construit avec succès un modèle AFT en utilisant un squelette TFM, comblant ainsi le fossé entre les modèles de fondation modernes et les structures classiques d'analyse de survie.

Résultats Expérimentaux
La méthode a été évaluée sur cinq benchmarks standards d'analyse de survie (WHAS500, GBSG, METABRIC, SUPPORT, FLCHAIN) couvrant les maladies cardiovasculaires, l'oncologie et les soins intensifs. La méthode proposée (TabSA-BJ) a été comparée à des modèles classiques entraînés (Cox PH, Weibull AFT, Log-Normal AFT, Random Survival Forest) et à un concurrent zero-shot (TabSA-Bin, qui utilise la discrétisation du temps).

Discrimination (C-Index) : TabSA-BJ a obtenu des scores de C-Index compétitifs, égalant ou dépassant souvent les modèles classiques entraînés et surpassant nettement les variantes zero-shot plus simples (TabSA-CCA, TabSA-PO). Elle a démontré une force particulière sur les jeux de données présentant des taux de censure élevés.
Calibration (IBS) : Bien que TabSA-BJ ait montré une forte discrimination, son Score de Brier Intégré (IBS) était généralement plus élevé que celui de TabSA-Bin et des méthodes classiques. Les auteurs attribuent cela à la nature des méthodes : TabSA-Bin optimise les probabilités de survie à des quantiles fixes (meilleure pour la calibration), tandis que TabSA-BJ opère sur l'échelle du log-temps, préservant la structure de rang (meilleure pour la discrimination).
Convergence : L'analyse a montré que le paramètre d'échelle $\sigma$ converge vers des valeurs stables (souvent proches de 1), suggérant que le squelette TFM capture une fraction substantielle de la variance du log-temps sans entraînement spécifique à la survie.

Signification et Revendications
L'article affirme que les Modèles de Fondation Tabulaires encodent des connaissances préalables suffisantes sur les structures de régression pour se généraliser aux tâches de survie avec une adaptation minimale. En introduisant une stratégie d'imputation itérative sans entraînement, ce travail démontre que les TFM peuvent gérer efficacement les données censurées à droite, offrant une direction prometteuse pour la modélisation statistique zero-shot dans des domaines où les données de temps d'événement étiquetées sont rares ou lorsqu'un déploiement rapide sans réentraînement est requis. Les auteurs positionnent TabSA-BJ et TabSA-Bin comme des mécanismes complémentaires, le premier excellant dans la discrimination et le second dans la calibration.