Résumé Technique : AURORA – Orthogonalisation Contextuelle pour l'Apprentissage de Représentations Géométriques dans les Modèles Fondamentaux de Santé

1. Énoncé du Problème

Les récents modèles fondamentaux de santé ont atteint des performances prédictives élevées grâce à l'apprentissage auto-supervisé (SSL) à grande échelle sur des modalités biomédicales diverses, notamment les dossiers médicaux électroniques (DME) structurés, l'imagerie et les signaux physiologiques. Cependant, ces modèles optimisent généralement un objectif dominant unique : comprimer les informations patient en une représentation latente unifiée maximisant la précision prédictive en aval.

L'article identifie une limitation critique de ce paradigme : l'entrelacement latent. Dans les modèles actuels, des concepts cliniques distincts – tels que la sévérité physiologique, l'intensité des interventions, la structure observationnelle (par exemple, la fréquence des mesures) et le flux de travail institutionnel – sont fréquemment réduits à des directions d'embedding partagées. Bien que ces représentations entrelacées puissent produire des scores AUROC élevés, elles souffrent de :

• Opacité Sémantique : L'espace latent est difficile à interpréter géométriquement.
• Instabilité : Les représentations sont instables face aux changements contextuels (par exemple, modifications du flux de travail hospitalier ou des protocoles de mesure).
• Absence de Désentrelacement : Un vecteur unique peut encoder simultanément la sévérité de la maladie et l'intensité opérationnelle, rendant difficile la distinction entre les états physiologiques et les artefacts observationnels.

Les objectifs SSL existants (reconstruction, apprentissage contrastif, autodistillation) ne fournissent aucun mécanisme explicite pour préserver l'organisation relationnelle des preuves contextuelles ou pour imposer une séparabilité géométrique entre ces facteurs.

2. Méthodologie : Cadre AURORA

Les auteurs proposent AURORA (Représentations Adaptatives Conscientes de l'Incertitude par Alignement Relationnel Orthogonalisé), un cadre qui reformule l'apprentissage de représentations en santé comme un problème de géométrie sémantique latente plutôt que comme une simple compression prédictive.

Hypothèse Centrale

Les représentations cliniquement significatives ne doivent pas seulement préserver l'information prédictive, mais aussi maintenir l'organisation relationnelle des preuves contextuelles. Des facteurs sémantiques distincts doivent occuper des directions géométriquement séparables (orthogonales) dans l'espace latent.

Décomposition de la Représentation

Au lieu d'apprendre un embedding unique unifié $z$, AURORA décompose la représentation latente en sous-espaces orthogonaux structurés sémantiquement :
$$z = z^{(phys)} + z^{(int)} + z^{(obs)} + z^{(ctx)}$$
Où :

• $z^{(phys)}$ : Capture l'état physiologique.
• $z^{(int)}$ : Capture la structure des interventions.
• $z^{(obs)}$ : Capture le comportement d'observation et de mesure.
• $z^{(ctx)}$ : Capture l'information contextuelle résiduelle.

Objectifs d'Apprentissage

Le cadre est entièrement auto-supervisé, dérivant la structure relationnelle directement des motifs au sein des données DME sans nécessiter d'annotations d'experts. Il optimise deux objectifs principaux :

1. Alignement Contextuel ($L_{align}$) :
   Pour chaque facteur sémantique $k$, le modèle construit des voisinages de patients basés sur la similarité contextuelle (par exemple, des motifs d'intervention partagés ou des structures d'acquisition de laboratoire similaires). Il minimise la distance entre les représentations de patients contextuellement similaires au sein du sous-espace correspondant :
   $$L^{(k)}_{align} = \mathbb{E}_{i,j} \left[ R_k(x_i, x_j) \| z^{(k)}_i - z^{(k)}_j \|^2_2 \right]$$
   Ici, $R_k(x_i, x_j)$ est un opérateur d'alignement relationnel mesurant la similarité contextuelle sous le facteur $k$.

2. Régularisation d'Orthogonalisation ($L_{orth}$) :
   Pour empêcher l'effondrement de facteurs distincts vers les mêmes directions latentes, le modèle pénalise le chevauchement entre différents sous-espaces sémantiques :
   $$L_{orth} = \sum_{k \neq l} \| (z^{(k)})^\top z^{(l)} \|_F^2$$
   Cela encourage les vecteurs latents de différents facteurs à être géométriquement orthogonaux.

Perte Totale :
$$L_{AURORA} = \sum_{k} L^{(k)}_{align} + \lambda L_{orth}$$
Où $\lambda > 0$ contrôle le compromis entre l'alignement sémantique et le désentrelacement contextuel.

3. Contributions Clés

• Réinterprétation Géométrique : L'article propose de traiter l'organisation de la variété latente elle-même comme un objectif de modélisation principal, plutôt que comme un sous-produit de la compression prédictive.
• Principe d'Orthogonalité Contextuelle : Il introduit un mécanisme pour séparer explicitement des facteurs cliniquement distincts (sévérité, intervention, observation) en sous-espaces orthogonaux, répondant ainsi à l'entrelacement inhérent au SSL standard.
• Désentrelacement Auto-supervisé : Le cadre réalise un désentrelacement sémantique sans étiquettes manuelles, reposant uniquement sur les structures relationnelles inhérentes aux données DME.
• Évolutivité : L'approche est compatible avec les encodeurs basés sur des transformateurs, les architectures multimodales et les systèmes de pré-entraînement distribués à grande échelle.

4. Résultats Expérimentaux

Les auteurs ont évalué AURORA par rapport à trois classes de références : l'auto-encodage masqué (MAE), le SSL contrastif et l'autodistillation de style DINO. Tous les modèles ont utilisé le même backbone de transformateur et le même budget de paramètres, pré-entraînés sur un corpus DME à grande échelle.

Prédiction Clinique en Aval

• Performance : AURORA a systématiquement surpassé toutes les références pour la prédiction de mortalité, la détection de sepsis, la prédiction de réadmission et la recherche de patients.
• Recherche : Les gains les plus significatifs ont été observés dans les tâches de recherche (Rappel@10), suggérant que l'orthogonalisation contextuelle produit des voisinages sémantiquement plus propres dans l'espace latent.
• Robustesse : Face aux changements de distribution institutionnelle (modifications de la fréquence des interventions, des commandes de laboratoire et de la démographie), AURORA a démontré une robustesse nettement supérieure (AUROC 0,879) par rapport aux références (par exemple, MAE à 0,781).

Désentrelacement et Géométrie

• Qualité de Désentrelacement : AURORA a obtenu le chevauchement d'Information Mutuelle (IM) le plus faible (0,181) et le Score d'Orthogonalité le plus élevé (0,854), indiquant une séparation réussie des facteurs sémantiques.
• Pureté du Voisinage : Le modèle a produit une pureté de voisinage significativement plus élevée (0,843) et une entropie contextuelle plus faible (0,61) par rapport aux références, confirmant que les régions locales de la variété sont organisées par des sémantiques cliniquement significatives plutôt que par des corrélations mixtes.

5. Signification et Revendications

L'article soutient que la limitation principale des modèles fondamentaux de santé actuels n'est pas une échelle insuffisante (paramètres ou données), mais une structure insuffisante au sein de l'espace de représentation latente.

• Au-delà de la Compression Prédictive : Les auteurs affirment que l'optimisation exclusive pour la performance prédictive conduit à des représentations sémantiquement opaques et instables. En structurant explicitement l'espace latent selon des sémantiques contextuelles, AURORA offre une direction complémentaire pour la conception de modèles fondamentaux.
• Capacité Géométrique comme Axe d'Évolutivité : Le travail suggère que la « capacité géométrique » – l'organisation sémantique de l'espace latent lui-même – constitue un axe d'évolutivité supplémentaire pour les modèles de santé, améliorant potentiellement la robustesse et l'interprétabilité sans nécessiter d'architectures plus grandes.
• Interprétabilité Clinique : Les résultats suggèrent que les représentations désentrelacées ne sont pas simplement plus interprétables, mais fondamentalement plus robustes et prédictives, car elles permettent au modèle de distinguer la sévérité physiologique des artefacts opérationnels (par exemple, la densité de mesure).

Les auteurs concluent que la géométrie latente n'est pas simplement une représentation intermédiaire, mais un objet cliniquement significatif en soi, et que structurer explicitement cet espace offre une voie vers des modèles fondamentaux de santé plus fiables.