Fully Automated Abstraction of Longitudinal Breast Oncology Records with Off-The-Shelf Large Language Models

Cette étude démontre qu'un pipeline automatisé utilisant des modèles de langage de grande taille commerciaux, sans aucun ajustement spécifique, peut extraire avec une précision équivalente à celle des oncologues experts des variables complexes de dossiers médicaux longitudinaux en oncologie du sein, permettant ainsi de créer des ensembles de données de recherche à grande échelle tout en respectant la confidentialité des patients.

L'essentiel

🏥 Le Problème : Une bibliothèque géante et désordonnée

Imaginez que vous êtes un chercheur en santé. Votre travail consiste à comprendre comment le cancer du sein évolue sur de longues années. Pour cela, vous avez besoin d'informations précises : quand le cancer est revenu ? Quels médicaments le patient a pris ? À quel moment ?

Le problème, c'est que toutes ces informations sont cachées dans des milliers de pages de notes manuscrites ou dactylographiées (les "dossiers médicaux"). C'est comme essayer de trouver une aiguille dans une botte de foin, sauf que la botte de foin pèse plusieurs tonnes et que l'aiguille est parfois cachée sous un tas de vieux journaux.

Traditionnellement, des médecins experts doivent lire ces milliers de pages, une par une, pour extraire les données. C'est lents, épuisant et coûteux. C'est le "goulot d'étranglement" qui empêche la science d'avancer vite.

🤖 La Solution : Des "Super-Lecteurs" intelligents

Les auteurs de cette étude ont eu une idée géniale : et si on utilisait des Intelligences Artificielles (IA) de type "Grand Modèle de Langage" (comme les versions avancées de ChatGPT ou Gemini) pour faire ce travail à la place des humains ?

Mais attention, ils ne voulaient pas créer une IA spéciale, difficile à utiliser. Ils voulaient utiliser des outils déjà existants, disponibles dans le commerce, comme on achèterait un aspirateur tout fait pour nettoyer sa maison, sans avoir besoin de construire l'aspirateur soi-même.

🛠️ Comment ça marche ? (L'analogie du détective)

Imaginez que l'IA est un détective ultra-rapide. Voici comment ils l'ont entraîné pour cette mission :

1. Le Tri (La Recherche) : Au lieu de donner à l'IA tout le dossier en vrac (ce qui la ferait "s'étouffer"), le système agit comme un bibliothécaire très organisé. Il cherche d'abord les pages de pathologie pour trouver le type de cancer, puis les notes de consultation pour trouver les dates de rechute. Il ne donne à l'IA que les pages pertinentes.
2. La Lecture (L'Extraction) : L'IA lit ces pages et répond à des questions précises : "Quand le patient a-t-il pris son premier médicament ?", "Le cancer est-il revenu ?".
3. La Vérification (Le Test) : Pour voir si le détective IA est bon, les chercheurs l'ont mis en compétition avec de vrais médecins experts (les "Gold Standard") et des coordonnateurs de recherche (des assistants).

🏆 Les Résultats : L'IA est-elle aussi bonne que les humains ?

Les résultats sont bluffants, un peu comme si un robot apprenait à jouer au tennis et battait presque tous les champions du monde dès son premier match, sans jamais avoir pratiqué sur un court spécifique.

• Pour les faits simples (comme le type de cancer) : L'IA a été presque parfaite (99% de réussite). C'est comme si elle lisait une étiquette sur une pomme et disait "C'est une pomme" sans se tromper.
• Pour les dates (quand le cancer est revenu) : Elle s'est trompée de quelques jours seulement, ce qui est négligeable pour la science.
• Pour les traitements complexes : C'était le plus dur. Reconstruire l'histoire complète des médicaments pris par un patient sur 10 ans est comme essayer de reconstituer un puzzle de 10 000 pièces.
  • L'IA a fait aussi bien que les médecins experts.
  • Elle a même été bien meilleure que les assistants de recherche (les humains qui font souvent ce travail).
  • Parfois, l'IA s'est trompée, mais les médecins experts se sont aussi trompés entre eux ! L'IA n'est pas infaillible, mais elle est aussi fiable qu'un humain.

📉 Et pour la science ? (Le vrai test)

Le vrai test n'était pas seulement de voir si l'IA trouvait les bonnes données, mais si ces données permettaient de tirer les mêmes conclusions scientifiques.

Les chercheurs ont comparé deux mondes :

1. Un monde où les données viennent de médecins humains.
2. Un monde où les données viennent uniquement de l'IA.

Résultat ? Les courbes de survie et les statistiques étaient identiques. C'est comme si vous aviez deux cartes dessinées par deux explorateurs différents : même si les chemins tracés ont quelques différences mineures, les deux cartes vous mènent exactement au même trésor.

💡 La Conclusion en une phrase

Cette étude nous dit que nous n'avons plus besoin d'attendre des années pour lire des millions de dossiers médicaux. Nous pouvons utiliser des outils d'IA tout faits pour transformer des montagnes de notes illisibles en données claires, rapides et fiables, permettant aux médecins de mieux comprendre le cancer et de sauver plus de vies.

C'est comme passer de la bougie à l'électricité pour éclairer la recherche médicale.

Résumé technique

1. Problématique

L'extraction manuelle de données à partir des dossiers médicaux électroniques (DME) constitue un goulot d'étranglement majeur pour la recherche clinique, en particulier en oncologie. De nombreuses variables critiques (récidive, historique des traitements, résultats génomiques) sont documentées uniquement dans des notes cliniques non structurées, ce qui limite l'échelle et la qualité des études observationnelles. Les approches existantes reposent souvent sur des systèmes propriétaires ou sur le développement de modèles spécifiques entraînés sur des données institutionnelles, ce qui nuit à la reproductibilité, à la portabilité et au contrôle local des données de santé protégées (PHI).

L'objectif de cette étude était de déterminer si des modèles de langage de grande taille (LLM) « hors de la boîte » (off-the-shelf), disponibles commercialement et conformes à la HIPAA, pouvaient automatiser l'extraction de variables complexes à partir de dossiers oncologiques longitudinaux sans nécessiter de fine-tuning (réglage fin) ni de réentraînement spécifique à l'institution.

2. Méthodologie

Cohorte et Données :

• Échantillon : 100 patients sélectionnés au hasard dans une cohorte de cancer du sein institutionnelle, enrichie en cas de soins complexes (tests FoundationOne).
• Complexité des données : Médiane de 3 100 pages de texte par dossier (environ 2,3 millions de tokens), couvrant une période de suivi médiane de 6,5 ans avec 7 lignes de thérapie médianes.
• Sources : Notes cliniques, rapports de pathologie, dossiers d'administration de médicaments et données démographiques, exportés bruts (non normalisés) depuis l'entrepôt de recherche.

Pipeline d'Abstraction Automatisée :

• Architecture : Un pipeline de récupération (Retrieval-Augmented Generation - RAG) a été développé.
  • Segmentation : Les documents textuels sont découpés en blocs (chunks) de la taille d'un paragraphe.
  • Récupération : Pour chaque variable cible, des chunks pertinents sont récupérés via une combinaison de recherche par mots exacts, BM25 et requêtes d'embeddings sémantiques.
  • Traitement : Les chunks récupérés sont envoyés à des LLM commerciaux via une plateforme sécurisée (SecureGPT).
• Modèles évalués : GPT-5, GPT-4o, DeepSeek-R1 et Gemini 2.5 Pro.
• Contraintes : Aucun fine-tuning n'a été effectué. Les prompts et les paramètres de récupération ont été fixés avant l'évaluation finale.

Référence et Comparateurs :

• Standard de référence (Gold Standard) : Quatre oncologues spécialisés ont extrait les variables manuellement. Pour les thérapies systémiques, un deuxième oncologue a servi de comparateur pour mesurer la variabilité inter-experts.
• Comparateurs supplémentaires : Des coordonnateurs de recherche (qui avaient extrait les données en 2022) ont été utilisés comme point de comparaison supplémentaire.
• Variables extraites : Dates de diagnostic/récidive, stade clinique, sous-type biomoléculaire, résultats de tests génétiques (BRCA, PIK3CA, ESR1), et reconstruction détaillée des lignes de thérapie (médicaments, dates, intention, raison d'arrêt).

Analyse Statistique :

• Mesure de l'accord (concordance) pour les variables catégorielles et temporelles (seuil de ± 90 jours pour les dates).
• Calcul de la similarité de Jaccard pour les lignes de thérapie et les médicaments.
• Évaluation de la préservation des inférences épidémiologiques (survie globale, survie sans récidive, rapports de hazard) entre les jeux de données dérivés des LLM et ceux dérivés des experts.

3. Résultats Clés

Performance d'Extraction (Variables Non-Thérapeutiques) :
Les deux meilleurs LLM ont atteint une concordance supérieure à 90 % avec les experts pour 13 variables sur 13 :

• Détection de variants pathogènes BRCA1/2 : 100 %.
• Statut de récidive : 99 %.
• Statut des récepteurs hormonaux (HR) : 99 %.
• Statut HER2 : 96 %.
• Stade clinique : 91 %.
• Mutations PIK3CA et ESR1 : 91 % et 90 % respectivement.

Extraction des Thérapies Systémiques :

• Médicaments : Les LLM ont atteint une similarité de Jaccard de 0,91 à 0,90 pour l'extraction des médicaments, chevauchant la variabilité inter-oncologues (0,95).
• Lignes de thérapie : La reconstruction exacte des lignes de traitement était plus difficile (similarité de 0,73 à 0,77 pour les LLM contre 0,86 pour les experts), mais la désaccord entre les LLM était similaire à celui entre les experts.
• Comparaison avec les coordonnateurs : Tous les LLM testés ont surpassé les coordonnateurs de recherche sur l'extraction des thérapies, et la performance des LLM restait stable sur les dossiers volumineux, contrairement à celle des coordonnateurs qui diminuait avec la taille du dossier.

Validation Externe :
Sur une cohorte externe de 97 jeunes patientes (cancer du sein avant grossesse), le pipeline non modifié a montré des performances similaires pour la détection de récidive et l'utilisation de thérapie endocrine adjuvante (F1-score de 0,99 et 0,96).

Inférence Épidémiologique :

• Survie : Les courbes de Kaplan-Meier pour la survie globale et la survie sans récidive étaient quasi identiques entre les données dérivées des LLM et celles des experts (p-values de log-rank > 0,90).
• Rapports de Hazard (HR) : Les estimations de risque pour le stade et le statut des récepteurs hormonaux étaient similaires entre les deux méthodes, sans hétérogénéité significative (test de Cochran Q).

4. Contributions Principales

1. Preuve de concept pour les LLM génériques : Démontre que des modèles LLM commerciaux standards, sans réentraînement, peuvent extraire des données complexes de dossiers médicaux longitudinaux avec une précision approchant celle des experts humains.
2. Pipeline reproductible et conforme : Présentation d'un pipeline open-source compatible HIPAA, utilisant des techniques de récupération (RAG) pour gérer des contextes longs et non structurés, permettant un contrôle local des données.
3. Benchmarking rigoureux : Établissement d'une comparaison directe avec la variabilité inter-experts (deux oncologues), montrant que l'erreur des LLM est souvent du même ordre de grandeur que l'erreur humaine.
4. Préservation de la validité statistique : Confirmation que les erreurs d'extraction au niveau individuel ne se traduisent pas par des biais significatifs au niveau de la cohorte pour les estimations de survie et les rapports de hazard.

5. Signification et Implications

Cette étude suggère que l'automatisation de l'extraction de données cliniques par des LLM « hors de la boîte » est une voie pratique pour débloquer de vastes volumes de données cliniques non structurées pour la recherche.

• Passage à l'échelle : Cela permet de créer des cohortes rétrospectives de grande taille et de haute qualité, autrefois impossibles à assembler en raison du coût et du temps de l'extraction manuelle.
• Collaboration multi-institutionnelle : Les institutions pourraient partager un pipeline d'extraction validé tout en gardant les données des patients sur place, facilitant ainsi les études de consortium.
• Limites et Avenir : La performance dépend de la présence des données dans le dossier (problème de documentation épars) et de la qualité des définitions cliniques. Bien que l'écart avec les experts subsiste pour les tâches de raisonnement clinique complexe, il devrait se réduire avec l'amélioration des modèles.

En conclusion, cette approche offre une voie pragmatique pour transformer les dossiers médicaux narratifs en ensembles de données structurées de qualité recherche, soutenant une large gamme de questions cliniques sans compromettre la rigueur scientifique.