🤖 machine learning

SurvPFN: Towards Foundation Models for Survival Predictions

L'article présente SurvPFN, un réseau pré-entraîné sur des données a priori (prior-data fitted network) sur des millions de tâches synthétiques pour permettre aux modèles de fondation de traiter les données censurées pour la prédiction de survie, atteignant une performance compétitive sur des ensembles de données réels sans nécessiter d'ajustement par jeu de données ou d'architectures spécialisées.

Auteurs originaux : Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Compute

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Frank Hutter (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Pascal Schlosser (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany, Department of Epidemiology, Johns Hopkins Bloomberg School of Public Health, Baltimore, Maryland, US, CIBSS - Centre for Integrative Biological Signalling Studies, University of Freiburg, Freiburg, Germany)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire exactement quand une ampoule va griller. Dans un monde parfait, vous pourriez attendre que chaque ampoule tombe en panne et enregistrer le moment exact. Mais dans le monde réel, vous ne pouvez pas attendre éternellement. Certaines ampoules fonctionnent encore lorsque vous arrêtez l'expérience, et d'autres sont jetées avant d'avoir grillé. En statistiques, cela s'appelle la censure. Vous savez que l'ampoule a duré au moins jusqu'à ce que vous arrêtiez de la surveiller, mais vous ne connaissez pas le moment précis où elle serait morte.

Pendant longtemps, de nouveaux outils d'IA puissants appelés Modèles de Fondation (spécifiquement "TabPFN") ont été excellents pour prédire des choses comme "Cet e-mail est-il un spam ?" ou "À quel prix cette maison sera-t-elle vendue ?", mais ils avaient du mal avec les prédictions de survie (comme "Quand ce patient va-t-il rechuter ?") parce qu'ils ne savaient pas comment gérer ces ampoules "encore en marche". Si vous leur présentiez des données censurées, ils s'embrouilleraient et feraient des estimations biaisées.

Voici venu SurvPFN. Les auteurs ont construit une nouvelle version de cette IA spécifiquement conçue pour comprendre le "problème de l'ampoule".

Voici comment ils ont procédé, en utilisant des analogies de la vie quotidienne :

1. La "Salle de Sport" (Données Synthétiques)

On ne peut pas entraîner un combattant en le laissant uniquement participer à de vrais combats ; il a besoin d'une salle de sport pour s'exercer. Les auteurs ont construit une immense salle de sport synthétique utilisant des millions de scénarios de survie fictifs.

La Configuration : Ils ont utilisé une recette mathématique (appelée Modèle Causal Structurel) pour générer de fausses "ampoules" avec des durées de vie différentes.
Le Twist : Ils ont intentionnellement "censuré" certaines de ces fausses ampoules — arrêtant le chronomètre prématurément pour certaines, tout comme dans la vraie vie.
La Leçon : Ils ont appris à l'IA qu'une ampoule "arrêtée" n'est pas une ampoule cassée ; c'est juste une ampoule qui a survécu au moins aussi longtemps. Ils ont utilisé un système de notation spécial (une "perte censurée") qui récompense l'IA pour son honnêteté concernant ces limites inférieures plutôt que de deviner un moment de mort spécifique.

2. Le "Cerveau à Deux Voies" (L'Architecture du Modèle)

L'IA qu'ils ont construite est basée sur une version plus petite et efficace de modèles existants appelée NanoTabPFN. Pour la faire fonctionner pour la survie, ils ont ajouté une fonctionnalité spéciale :

L'Indicateur d'Événement : Considérez cela comme un petit drapeau que l'IA regarde pour chaque donnée.
- Drapeau = 0 : "Cette ampoule a grillé au moment X." (Nous connaissons le moment exact).
- Drapeau = 1 : "Cette ampoule fonctionnait encore au moment X." (Nous savons seulement qu'elle a survécu au-delà de X).
L'IA possède deux "chemins" distincts dans son cerveau pour traiter ces deux types de drapeaux. Cela lui permet d'apprendre qu'une ampoule "ayant survécu" est différente d'une ampoule "morte", même si elles se trouvent au même moment X.

3. L'Approche "Taille Unique"

Habituellement, pour prédire la survie, un médecin ou un scientifique des données doit passer des semaines à ajuster un modèle spécifique pour un jeu de données particulier (comme accorder une radio pour une station spécifique).

Le Superpouvoir de SurvPFN : Il a été entraîné une seule fois sur cette immense salle de sport synthétique. Après cela, il peut entrer dans un nouveau jeu de données réelles (comme un dossier hospitalier ou un journal de fiabilité de machine) et commencer à faire des prédictions immédiatement. Il n'a pas besoin d'être réentraîné ou "ajusté" pour ce groupe de personnes spécifique. C'est comme un traducteur universel qui parle toutes les langues sans avoir besoin d'un dictionnaire pour chaque nouveau pays.

4. Les Résultats : À quel point est-ce efficace ?

Les auteurs ont testé SurvPFN sur 22 jeux de données réels (allant des études sur le cancer aux données de chômage) et l'ont comparé aux méthodes "étalon or" :

Cox Proportional Hazards : La méthode statistique classique et ancienne.
Random Survival Forests : Une méthode d'apprentissage automatique populaire.
DeepSurv : Une approche moderne de l'apprentissage profond.
BinSurv : Une méthode plus récente qui tente de transformer la survie en une série de questions "oui/non".

Le Verdict :
SurvPFN a performé tout aussi bien que tous ces experts spécialisés et lourdement ajustés.

Il n'avait pas besoin d'être réentraîné pour chaque nouveau jeu de données.
Il n'avait pas besoin d'une "ingénierie de caractéristiques" particulière (ajustement manuel des données).
Il n'a même pas eu besoin d'une architecture complexe et sur mesure.

Le Bémol (Limites)

L'article est honnête sur les limites actuelles de cette IA :

Taille : Elle fonctionne mieux sur de petits jeux de données (jusqu'à 1 000 lignes et 10 caractéristiques). C'est comme une voiture de sport : excellente pour des courses rapides et agiles, mais pas encore construite pour une flotte de camions massifs.
Le Biais "Weibull" : L'IA a été entraînée sur une forme mathématique spécifique de courbes de survie (appelée Weibull). Bien qu'elle gère bien de nombreux scénarios réels, elle pourrait avoir du mal si les données du monde réel ne ressemblent pas du tout aux formes vues dans la salle de sport.
Vue Statique : Elle suppose que les facteurs influençant la survie (comme l'âge ou le type d'emploi) ne changent pas au fil du temps. Elle ne gère pas les "risques concurrents" (par exemple, un patient mourant d'un accident de voiture avant que sa maladie ne progresse).

L'Idée Principale

L'article prouve que l'analyse de survie n'est qu'un type de régression distributionnelle avec une règle spéciale pour les "limites inférieures". En apprenant à une IA à usage général de respecter la règle de la "censure" (l'indicateur de drapeau d'événement), ils ont débloqué la capacité d'utiliser ces puissants modèles de fondation pré-entraînés pour les prédictions de temps de survie sans avoir besoin de construire un nouveau modèle à partir de zéro à chaque fois.

Résumé technique : SurvPFN : Vers des modèles de fondation pour les prédictions de survie

Problématique

Les Modèles de Fondation Tabulaires (TFM), tels que TabPFN, ont connu un succès rapide dans les tâches classiques de classification et de régression en exploitant des réseaux ajustés sur des données a priori (PFN) entraînés sur des données synthétiques. Cependant, les tâches de prédiction de survie sont restées largement inexplorées par ce paradigme. La barrière principale est la censure : dans l'analyse de survie, l'événement d'intérêt (par exemple, le décès, la défaillance) n'est souvent pas observé pour tous les sujets au cours de la période d'étude (censure à droite). Les architectures et objectifs de régression standards des TFM ne peuvent pas traiter nativement les données censurées ; traiter les temps censurés comme des cibles de régression ou les écarter introduit un biais systématique et des prédictions inexactes. Les méthodes de survie existantes (par exemple, Cox Proportional Hazards, Random Survival Forests, DeepSurv) modélisent explicitement la censure dans leurs fonctions de vraisemblance, mais elles nécessitent généralement un ajustement par jeu de données et manquent de la capacité de « modèle de fondation » pour une adaptation zero-shot.

Méthodologie

Les auteurs proposent SurvPFN, un réseau ajusté sur des données a priori spécifiquement conçu pour la prédiction de survie. L'approche traite la survie comme un problème de régression distributionnelle en temps continu avec une fonction de perte censurée.

1. Génération de l'a priori synthétique

Pour entraîner le modèle sans ajustement par jeu de données, les auteurs génèrent des millions de tâches de survie synthétiques en utilisant des Modèles Causaux Structurels (SCM) :

Temps d'événements : Générés à partir d'une distribution de Weibull, un choix standard en analyse de survie. Le modèle prend en charge les régimes de risques proportionnels (PH) et de risques non proportionnels (non-PH). Dans les scénarios non-PH, un second nœud de résultat modifie le paramètre de forme par sujet, induisant des courbes de survie croisées.
Mécanisme de censure : Un mécanisme de censure non informatif est appliqué. Cela inclut :
- Censure administrative : Un horizon de suivi ($FU$) au niveau du jeu de données défini à un quantile de la distribution des temps d'événements.
- Enrôlement échelonné : Temps de début d'observation variables.
- Abandon en cours d'étude : Les observations peuvent prendre fin à un instant tiré uniformément avant leur temps de censure administrative.
Structure des données : Les jeux de données synthétiques contiennent 2 à 10 covariables (incluant des caractéristiques catégorielles) et jusqu'à 1 000 lignes.

2. Architecture du modèle et entraînement

SurvPFN est construit sur NanoTabPFN, un squelette de TFM léger et convivial (4,4 millions de paramètres, 6 couches).

Représentation des entrées : L'indicateur d'événement (0 pour censuré, 1 pour événement observé) est ajouté comme une colonne de caractéristique explicite. Cela permet au modèle de distinguer les temps d'événements observés des bornes inférieures (temps censurés).
Encodage de la cible : Un encodeur de cible à deux voies traite les événements observés et les lignes censurées via des encodeurs distincts d'architecture identique, permettant au modèle d'apprendre des représentations distinctes pour les vrais temps d'événements et les bornes inférieures.
Objectif d'entraînement : Le modèle est entraîné pour minimiser une log-vraisemblance négative (NLL) censurée :
- Pour les événements observés : Pondéré par la probabilité inverse de censure (IPCW) pour corriger la censure informative.
- Pour les lignes censurées : Pénalise le modèle s'il place une masse de probabilité avant le temps de censure.
- Terme de classement : Un terme de classement par paires différentiable est optionnellement ajouté pour aligner les temps de survie prédits avec l'ordre de risque sous-jacent induit par le SCM.
Inférence : Le modèle produit une densité discrète $\hat{p}_j$ , à partir de laquelle la fonction de survie $\hat{S}(t)$ et le temps médian prédit sont dérivés directement.

3. Protocole d'évaluation

Le modèle a été évalué sur SurvSet, une collection organisée de 22 jeux de données de survie réels couvrant les domaines cliniques, économiques et de la fiabilité.

Contraintes : Les jeux de données ont été filtrés pour $\le 1000$ lignes et $\le 10$ caractéristiques afin de correspondre au régime d'entraînement du petit squelette.
Lignes de base (Baselines) : Les comparaisons ont été faites contre :
- Cox Proportional Hazards (CoxPH) : La ligne de base classique dominante.
- Random Survival Forests (RSF) : L'ensemble non paramétrique standard.
- DeepSurv : L'approche de deep learning la plus largement utilisée.
- BinSurv : Une approche récente basée sur les TFM, qui discrétise le temps en tâches de classification binaire.
Métriques : La performance a été évaluée via le C-index d'Uno (discrimination), le Brier Score Intégré (IBS) (exactitude) et l'Indice de Calibration Intégré (ICI) (calibration).

Résultats clés

Performance compétitive : SurvPFN est hautement compétitif avec toutes les lignes de base sur les 22 jeux de données. En moyenne, il égale ou dépasse légèrement RSF, DeepSurv et BinSurv, et performe de manière comparable à CoxPH.
Capacité Zero-Shot : Crucialement, SurvPFN atteint cette performance sans ajustement par jeu de données, sans architecture spécifique à la survie et sans ingénierie de caractéristiques. Il repose uniquement sur l'a priori pré-entraîné.
Études d'ablation :
- Indicateur d'événement : Le retrait de l'indicateur d'événement en tant que caractéristique (en le forçant à 1) préserve la discrimination (C-index) mais dégrade considérablement la calibration (ICI). Cela confirme que si l'ordre de risque relatif peut être inféré de la seule durée, la calibration absolue nécessite une connaissance explicite de ce qui est censuré.
- Variantes de perte : Les variantes utilisant des cibles "oracle" (disponibles uniquement lors du pré-entraînement synthétique) ont performé de manière comparable à la perte censurée native sur les données réelles, suggérant que la perte native est suffisante pour le transfert.

Signification et affirmations

L'article affirme que l'analyse de survie peut être formulée avec succès comme un problème de régression distributionnelle en temps continu soluble par les PFN. Les principales contributions sont :

Combler le fossé : Démontrer que les modèles de fondation peuvent gérer les données censurées, une tâche précédemment considérée comme inadaptée aux PFN de régression standards.
Simplicité : Montrer qu'une architecture de PFN de régression standard, augmentée seulement d'une caractéristique d'indicateur d'événement et d'une fonction de perte censurée, est suffisante pour récupérer la performance des modèles de survie spécialisés.
Efficacité : Fournir un modèle qui ne nécessite aucun réglage d'hyperparamètres ou ré-entraînement sur de nouveaux jeux de données, offrant une solution "plug-and-play" pour les tâches de survie tabulaires de petite à moyenne taille.

Les auteurs restent modestes quant aux limites, notant que l'évaluation actuelle est restreinte aux petits jeux de données ( $\le 1000$ lignes) et aux covariables statiques. Ils reconnaissent que l'a priori synthétique est limité aux distributions de Weibull et ne traite pas encore les risques concurrents ou les covariables dépendant du temps, suggérant ces directions comme nécessaires pour l'évolution de l'expressivité et de la mise à l'échelle.