Automatic identification of diagnosis from hospital discharge letters via weakly supervised Natural Language Processing

Résumé technique : Identification automatique des diagnostics à partir de lettres de sortie d'hospitalisation via le NLP faiblement supervisé

Énoncé du problème
L'identification des diagnostics des patients à partir des lettres de sortie d'hospitalisation est cruciale pour la sélection de cohortes à grande échelle et la recherche épidémiologique. Cependant, les approches traditionnelles de Traitement du Langage Naturel (NLP) supervisées nécessitent une annotation manuelle extensive des étiquettes au niveau du document, un processus laborieux, coûteux et souvent impraticable pour de grands ensembles de données textuelles. Ce défi est exacerbé dans les contextes cliniques par l'hétérogénéité des documents médicaux, les lexiques spécialisés, les abréviations ambiguës et la rareté des données annotées manuellement, particulièrement pour les langues à faibles ressources comme l'italien. Bien que les outils de NLP existants soient optimisés pour l'anglais, leur transférabilité à l'italien est limitée en raison d'un manque de ressources linguistiques spécifiques au domaine et de corpus annotés. De plus, les méthodes de supervision faible existantes reposent souvent sur des variables structurées des Dossiers Médicaux Partagés (DMP) (par exemple, codes de diagnostic, dossiers de médication) ou sur des données agrégées à travers de multiples rencontres, qui peuvent être incomplètes ou indisponibles dans les admissions aux services d'urgence où les résumés de sortie constituent la principale source diagnostique.

Méthodologie
Les auteurs proposent un pipeline de NLP faiblement supervisé en trois étapes, conçu pour identifier automatiquement les diagnostics à partir de lettres de sortie d'hospitalisation italiennes sans nécessiter d'annotation manuelle au niveau du document. Le pipeline opère uniquement sur des documents cliniques en texte libre.

1. Pré-entraînement Transformer pour les documents médicaux italiens (TPT) :
   Pour remédier au manque de modèles de langage spécifiques au domaine pour l'italien, les auteurs effectuent un pré-entraînement supplémentaire sur un modèle basé sur les transformers (spécifiquement les variantes UmBERTo, XLM-RoBERTa et RemBERT) en utilisant l'European Clinical Case Corpus (E3C). Ce corpus comprend des documents médicaux multilingues (articles de revues, tests d'admission, notices de médicaments, résumés de thèses). Les documents non italiens sont automatiquement traduits en italien via l'API Google Translate. Le modèle subit un pré-entraînement supplémentaire par Modélisation de Langage Masqué (MLM) sur ce corpus médical italien agrégé afin d'améliorer l'adaptation au domaine avant d'être utilisé dans les étapes suivantes.

2. Étiquetage semi-automatique (SAL) :
   Cette étape génère des étiquettes faibles pour un sous-ensemble de données grâce à une approche basée sur le clustering :

• Extraction : Des expressions régulières sont utilisées pour extraire les chaînes de caractères de diagnostic des sections de diagnostic désignées des lettres de sortie.
• Clustering : Les chaînes extraites sont normalisées et plongées dans un espace vectoriel (embeddings) à l'aide de l'encodeur transformer adapté au domaine. Une procédure de clustering à deux niveaux est appliquée :
  • Premier niveau : HDBSCAN regroupe les embeddings de haute dimension (après réduction de dimension par PCA) pour grouper les chaînes de diagnostic sémantiquement similaires.
  • Second niveau : Chaque cluster est résumé par l'extraction de mots-clés représentatifs. Ces résumés de mots-clés sont à nouveau plongés dans un espace vectoriel et regroupés à nouveau par clustering, affinant ainsi les regroupements.
• Correspondance avec les étiquettes faibles : Les cliniciens définissent les maladies d'intérêt à l'aide d'ensembles de mots-clés positifs et négatifs. Les clusters sont associés à des étiquettes de maladie si leurs résumés de mots-clés satisfont ces définitions. Les documents dont les chaînes de diagnostic sont assignées à des clusters "positifs" reçoivent une étiquette positive faible (1) ; ceux assignés à d'autres clusters reçoivent une étiquette négative faible (0). Les documents ne contenant aucune chaîne extraite ou des chaînes non classées sont exclus de l'ensemble d'entraînement faiblement étiqueté.

3. Classification faiblement supervisée (WLC) :
   L'ensemble de données faiblement étiqueté est utilisé pour entraîner un classificateur binaire basé sur un transformer. Le modèle se compose de l'encodeur adapté au domaine avec une couche de classification linéaire ajoutée par-dessus. Le modèle est entraîné pour minimiser la perte de cross-entropie binaire par rapport aux étiquettes faibles. L'entrée est la lettre de sortie complète (tronquée à 512 jetons si nécessaire), permettant au modèle d'apprendre de l'ensemble du contexte narratif, et non seulement de la section de diagnostic extraite.

Contributions clés

• Première application aux lettres de sortie italiennes : Il s'agit de la première étude traitant directement de l'identification des diagnostics à partir de lettres de sortie d'hospitalisation italiennes en utilisant une approche de supervision faible.
• Pré-entraînement adapté au domaine : Les auteurs démontrent l'efficacité d'un pré-entraînement supplémentaire sur un corpus médical multilingue (traduit en italien) pour améliorer les performances sur le texte clinique dans un contexte de langue à faibles ressources.
• Clustering à deux niveaux pour la génération d'étiquettes faibles : Le pipeline introduit une méthode robuste de génération d'étiquettes faibles en regroupant les chaînes de diagnostic et en les résumant via des mots-clés, réduisant ainsi le bruit inhérent à la simple correspondance de mots-clés sur le texte brut.
• Évolutivité sans annotation au niveau du document : L'approche élimine le besoin d'annotation manuelle au niveau du document, ne nécessitant que l'apport des cliniciens pour la définition des mots-clés, ce qui est nettement moins exigeant que l'annotation complète.

Résultats
Le pipeline a été évalué sur deux ensembles de données du réseau Pedianet dans la région de Vénétie, Italie :

1. Dataset Bronchiolite : 33 176 lettres de sortie (2017–2020) avec 335 cas positifs annotés manuellement.
2. Dataset Bronchite : 3 188 lettres de sortie (2020–2025) avec 97 cas positifs annotés manuellement.

• Performance : Le meilleur modèle faiblement supervisé (WS-UmBERTo-TPT) a atteint un AUROC de 77,68 % et un AUPRC de 73,13 % sur le jeu de données de la bronchiolite. Cette performance a surpassé les bases non supervisées par règles et les approches de modèles de langage de grande taille (LLM) en zéro-shot, tout en approchant les performances des modèles entièrement supervisés entraînés sur des étiquettes de référence (gold labels, qui ont atteint un AUPRC de 77,57 %).
• Comparaison : L'approche faiblement supervisée a surpassé une base utilisant le framework XPRESS (qui appliquait les mots-clés directement au texte complet) et les méthodes standards basées sur des règles. Le pré-entraînement adapté au domaine (TPT) a systématiquement amélioré les performances de tous les modèles transformer.
• Robustesse : Le modèle a démontré une robustesse aux variations de la sélection des clusters et a montré une dégradation fluide des performances lorsque la proportion d'étiquettes de référence dans l'entraînement était réduite, indiquant une résilience au bruit d'étiquetage.
• Efficacité : La méthode a réduit le besoin d'annotation manuelle de plus de 1 500 heures pour un ensemble de données de cette taille par rapport à une approche entièrement supervisée.

Signification et affirmations
L'article affirme que les méthodes de NLP faiblement supervisées offrent un cadre pratique et évolutif pour l'identification des maladies à partir de lettres de sortie cliniques, particulièrement dans les contextes où l'annotation manuelle est irréalisable. Les auteurs soulignent que, bien qu'il existe un écart de performance modeste (4 à 6 % d'AUPRC) par rapport aux modèles entièrement supervisés, ce compromis est acceptable pour la sélection de cohortes à grande échelle où l'objectif est d'identifier des groupes de patients potentiellement pertinents plutôt que d'atteindre une classification parfaite au niveau individuel.

L'étude souligne que le pipeline apprend efficacement de l'ensemble du texte des lettres de sortie, ce qui est avantageux lorsque l'extraction automatique des chaînes de diagnostic échoue ou lorsque les diagnostics ne sont pas explicitement mentionnés dans la section désignée. Les auteurs concluent que leur approche fournit une solution généralisable pour le NLP clinique en italien, réduisant la charge de l'étiquetage manuel tout en maintenant des performances compétitives. Ils reconnaissent les limites concernant l'étalon de référence (gold standard) à annotateur unique et la petite taille de l'ensemble de données de validation secondaire, suggérant que les travaux futurs devraient inclure une double annotation et une validation sur des ensembles de données plus diversifiés et multi-régionaux.