HypEHR: Hyperbolic Modeling of Electronic Health Records for Efficient Question Answering

1. Problématique et Contexte

Le Question-Réponse sur les Dossiers de Santé Électroniques (EHR-QA) vise à répondre à des questions cliniques en langage naturel en interrogeant les dossiers longitudinaux d'un patient (ex: "Le patient a-t-il été admis aux urgences lors de sa première visite ?").

Les approches actuelles se divisent en trois catégories, chacune présentant des limites :

• Apprentissage de représentations EHR : Modèles séquentiels ou graphiques qui capturent la structure temporelle mais ignorent souvent la hiérarchie sémantique profonde des codes médicaux.
• Text-to-SQL / Analyseurs sémantiques : Génèrent des requêtes SQL pour interroger des bases de données structurées.
• Pipelines basés sur les LLM (Large Language Models) : Utilisent des modèles massifs (GPT-3.5/4, Llama-3) pour extraire des informations. Bien que performants, ces modèles sont coûteux en calcul, difficiles à déployer dans des environnements privés (hôpitaux) et ne tirent pas parti explicite de la structure hiérarchique intrinsèque des données cliniques (ex: la taxonomie ICD).

La question de recherche centrale est : Peut-on concevoir un modèle compact, aligné sur la géométrie intrinsèque des EHR, capable de rivaliser avec des LLM géants pour des tâches complexes de question-réponse ?

2. Méthodologie : HypEHR

HypEHR propose un cadre de modélisation compact basé sur l'espace hyperbolique (variété de Lorentz), exploitant la propriété géométrique que les structures arborescentes (comme les ontologies médicales) s'y représentent avec une distorsion minimale, contrairement aux espaces euclidiens.

Le modèle fonctionne en deux étapes principales :

A. Pré-entraînement de l'Encodeur Patient (Stage 1)

L'objectif est d'apprendre des représentations de patients dans un espace hyperbolique $H^d_L$.

• Encodage des concepts : Chaque concept médical (code de diagnostic, procédure, médicament) est mappé dans la variété de Lorentz.
• Agrégation par visite : Une attention hyperbolique agrège les codes d'une visite pour former une représentation de visite $h_t$.
• Transformateur de Lorentz : Une séquence de visites est traitée par un Transformateur adapté à la géométrie de Lorentz (attention, connexions résiduelles et normalisation adaptées), produisant des états contextuels $\{z_t\}$ et une représentation globale $z_{[CLS]}$.
• Objectifs d'apprentissage :
  1. Prédiction du diagnostic suivant ($L_{diag}$) : Prédire les codes de la prochaine visite (perte binaire croisée).
  2. Régularisation hiérarchique ($L_{hier}$) : Utilise la structure de l'ontologie ICD (Chapitres $\to$ Blocs $\to$ Catégories $\to$ Sous-catégories) pour forcer les codes partageant des ancêtres à être géométriquement plus proches en distance hyperbolique que les codes non liés. Cette perte est décomposée en termes radiaux (profondeur) et relatifs (séparation locale).

B. Modèle de Question-Réponse EHR (Stage 2)

Une fois l'encodeur patient figé, le modèle répond aux questions.

• Encodage de la question : Un encodeur de langage biomédical (Bio_ClinicalBERT) produit un vecteur euclidien, projeté ensuite dans l'espace hyperbolique via une application affine suivie d'une application exponentielle.
• Attention Croisée Hyperbolique : La représentation de la question $z_q$ calcule des scores d'attention sur les états de visite $\{z_t\}$ en utilisant la distance géodésique hyperbolique (au lieu du produit scalaire euclidien).
• Agrégation (HypAgg) : Les états de visite sont pondérés pour former un résumé du patient conditionné par la question ($z^{visit}_{p|q}$). Une attention secondaire au niveau des codes est appliquée sur les $k$ visites les plus pertinentes pour obtenir un vecteur de justification ($z^{code}_{p|q}$).
• Têtes de réponse spécialisées : Selon le type de question (Booléen, Concept, Numérique, Compte), des têtes spécifiques consomment ces représentations pour produire la réponse finale.

3. Contributions Clés

1. Modélisation Géométrique Explicite : Première application d'un modèle compact entièrement hyperbolique (Lorentz) pour la modélisation de séquences cliniques et le Q&A, exploitant la nature hiérarchique des ontologies médicales (ICD).
2. Efficacité et Compacité : HypEHR utilise environ 22 millions de paramètres, soit plusieurs ordres de grandeur de moins que les pipelines basés sur des LLM (milliards de paramètres), tout en maintenant des performances comparables.
3. Architecture Hybride : Combinaison d'un encodeur de texte euclidien (pré-entraîné) et d'un encodeur de patient hyperbolique, avec des mécanismes d'attention et d'agrégation adaptés à la géométrie non-euclidienne.
4. Validation Théorique : Démonstration que la hiérarchie ICD-10-CM admet une embedding à faible distorsion dans l'espace hyperbolique, justifiant mathématiquement le choix de la géométrie.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks majeurs basés sur MIMIC-IV : EHRXQA (sous-ensemble tabulaire) et MIMIC-IV-Ext-Instr.

• Performance Q&A :

  • Sur EHRXQA, HypEHR atteint 89,53 % de précision, surpassant les méthodes sans LLM (comme RETAIN à 81,19 %) et se rapprochant fortement des méthodes basées sur LLM (NeuralSQL avec GPT-5.2 à 95,97 %, EHRAgent à 93,06 %).
  • Sur MIMIC-IV-Ext-Instr, HypEHR obtient 76,02 %, dépassant Llama-3 (70,90 %) et se situant juste derrière Llemr (77,53 %).
  • Conclusion : HypEHR atteint des performances proches des LLM massifs avec une fraction infime des paramètres.

• Tâches Cliniques de Prédiction :

  • Le modèle a également été évalué sur des tâches de prédiction standard (mortalité, réadmission, durée de séjour, phénotype). Il obtient les meilleurs résultats pour la prédiction de réadmission et de phénotype, et des performances comparables à Llemr sur les autres tâches, prouvant la qualité générale des représentations apprises.

• Analyse d'Ablation :

  • Le pré-entraînement de l'encodeur patient est le composant le plus critique.
  • Le modèle hyperbolique surpasse significativement sa version euclidienne (EucEHR), confirmant l'avantage de la géométrie hyperbolique pour ces données.
  • La perte hiérarchique ($L_{hier}$), bien que moins impactante sur la précision globale, améliore la capture de la structure des codes.

• Analyse Géométrique :

  • L'étude montre que les rayons hyperboliques des embeddings augmentent de manière monotone avec la profondeur de l'arbre ICD, contrairement aux normes euclidiennes qui sont bruyantes et non corrélées à la profondeur. Cela confirme que l'espace hyperbolique alloue mieux la capacité de représentation aux concepts fins (feuilles de l'arbre).

5. Signification et Limites

Signification :
HypEHR démontre que pour des données structurées et hiérarchiques comme les EHR, l'utilisation de géométries non-euclidiennes permet de construire des modèles plus petits, plus rapides et plus précis que les approches "brute force" des LLM. Cela ouvre la voie à un déploiement plus facile de l'IA clinique dans des environnements contraints (hôpitaux, confidentialité stricte) sans dépendre de modèles propriétaires massifs.

Limites :

• Prétraitement : Nécessite une structuration des réponses en catégories prédéfinies (booléen, concept, nombre), ce qui ajoute une complexité d'ingénierie.
• Génération : Le modèle est discriminatif et ne gère pas nativement les réponses génératives ouvertes (texte libre).
• Complexité Calculatoire : Les réseaux de neurones hyperboliques sont plus complexes à implémenter et à entraîner que leurs équivalents euclidiens, et les bibliothèques logicielles sont moins matures.

En conclusion, HypEHR propose une alternative élégante et efficace aux LLM pour le Q&A médical, en alignant l'architecture du modèle avec la géométrie fondamentale des données de santé.