ELM: A Hybrid Ensemble of Language Models for Automated Tumor Group Classification in Population-Based Cancer Registries

1. Problématique et Contexte

Les registres de cancer à base populationnelle (PBCR) jouent un rôle crucial dans la surveillance épidémiologique, la prévention et la recherche clinique. Cependant, l'extraction de données structurées à partir de rapports de pathologie non structurés est un processus extrêmement laborieux.

• Défi opérationnel : Pour un registre de taille moyenne, l'attribution manuelle des groupes tumoraux à environ 100 000 rapports par an peut consommer jusqu'à 900 heures-hommes annuelles.
• Limites des solutions actuelles : Les systèmes automatisés existants, comme eMaRC (Electronic Mapping, Reporting, and Coding), reposent sur des règles basées sur la correspondance de motifs (pattern matching). Ils échouent à gérer la complexité linguistique, les dépendances à long terme et les nuances cliniques (par exemple, distinguer un cancer de la peau sur le sein d'un cancer du sein). À la British Columbia Cancer Registry (BCCR), eMaRC ne parvient à attribuer aucun groupe tumoral à environ 40 % des cas et nécessite une révision manuelle complète même lorsqu'il fait des prédictions, rendant l'automatisation inefficace.

2. Méthodologie : L'architecture ELM

Les auteurs proposent ELM (Ensemble of Language Models), une architecture hybride novatrice combinant des modèles de langage encodeurs-only (petits modèles) et un grand modèle de langage (LLM).

A. L'Ensemble de Modèles Encodeurs (Small Models)

La première étape utilise six modèles encodeurs-only fins (fine-tuned), basés sur des architectures comme GatorTron, BCCRTron et ClinicalBERT.

• Stratégie de segmentation : Pour contourner les limites de tokens des modèles (512 tokens), les rapports sont divisés en deux segments : le début (top) et la fin (bottom).
  • Trois modèles analysent les 512 premiers tokens (contenant souvent le diagnostic final).
  • Trois modèles analysent les 512 derniers tokens (contenant les interprétations et impressions du pathologiste).
• Logique de vote : Chaque modèle vote indépendamment pour un groupe tumoral parmi 19 catégories.
• Seuil de confiance : Si au moins 5 des 6 modèles s'accordent sur un groupe tumoral (et que ce groupe n'est pas dans une liste de catégories « difficiles » pré-définies), la prédiction est validée immédiatement.

B. Arbitrage par Grand Modèle de Langage (LLM)

Les cas non résolus par l'ensemble (accord < 5/6) ou appartenant à des catégories historiquement difficiles (ex: mélanome vs cancer cutané non mélanome, leucémie vs lymphome) sont redirigés vers un LLM.

• Modèle utilisé : Mistral Nemo Instruct-2407 (12 milliards de paramètres), déployé localement pour respecter la confidentialité des données de santé.
• Ingénierie de prompt : Le prompt est soigneusement conçu pour :
  1. Positionner le LLM comme un « assistant spécialisé en pathologie ».
  2. Contraindre l'espace de sortie : Au lieu de choisir parmi les 19 groupes, le LLM doit choisir uniquement parmi 2 à 4 options probables suggérées par l'ensemble des encodeurs et l'expertise humaine. Cela réduit considérablement les risques d'hallucinations.
  3. Fournir des directives explicites pour les distinctions cliniques subtiles.
  4. Exiger une sortie au format JSON incluant le groupe prédit et le raisonnement.

3. Contributions Clés

1. Première architecture hybride en production : ELM est la première étude à réussir le déploiement d'une architecture combinant petits encodeurs et LLM pour la classification des groupes tumoraux dans un registre de cancer réel.
2. Efficacité computationnelle : En ne faisant appel au LLM coûteux (2-3 secondes par rapport à 600 ms pour l'ensemble) que pour 15-20 % des cas incertains, le système maintient une vitesse de traitement élevée (moyenne de 850 ms par rapport à 2-3 s pour une approche LLM pure).
3. Contrôle et Explicabilité : L'utilisation de prompts contraints et la génération de raisonnement par le LLM améliorent la précision et offrent une traçabilité pour le contrôle qualité.
4. Stratégie de routage dynamique : Le système permet d'encoder l'expertise métier en redirigeant systématiquement certaines catégories difficiles (ex: cancer du col utérin, myélome multiple) vers le LLM, indépendamment du vote de l'ensemble.

4. Résultats

L'évaluation a été réalisée sur un ensemble de test tenu à l'écart de 2 058 rapports de pathologie couvrant 19 groupes tumoraux.

• Performance globale : ELM atteint une précision, un rappel et un score F1 pondérés de 0,94.
  • Comparé aux ensembles d'encodeurs seuls (F1 = 0,91), l'amélioration est statistiquement significative (p < 0,001).
  • Comparé à l'approche eMaRC (F1 = 0,64), la performance est nettement supérieure.
  • Comparé à une approche LLM seule (sans guidage par l'ensemble, F1 = 0,88), ELM surpasse largement les résultats, prouvant que la contrainte du prompt est cruciale.
• Améliorations sur les catégories difficiles :
  • Leucémie : F1 passe de 0,76 à 0,88 (+16 %).
  • Lymphome : F1 passe de 0,76 à 0,89 (+17 %).
  • Cancer de la peau (non mélanome) : F1 passe de 0,58 à 0,74 (+28 %).
  • Cancer du col utérin : F1 passe de 0,90 à 0,98.
• Impact des modèles : Le modèle LLM de 12B paramètres (Mistral Nemo) offre de meilleures performances que les modèles plus petits (3B), bien que ces derniers restent viables pour des contraintes de ressources plus strictes.

5. Signification et Impact Opérationnel

• Réduction de la charge de travail : Déployé à la BCCR, ELM a réduit les besoins en révision manuelle de 60 à 70 %. Cela économise environ 900 heures-hommes par an, permettant aux registraires de se concentrer sur des tâches cognitives complexes (staging, réconciliation de multiples tumeurs primaires).
• Qualité des données : Les audits post-déploiement confirment que la qualité des données est maintenue, sans augmentation des erreurs par rapport au processus manuel complet.
• Généralisabilité : Bien que validé sur des données canadiennes anglophones, la méthodologie offre un cadre reproductible pour les registres mondiaux transitionnant vers des rapports de pathologie électroniques.
• Limites et perspectives : Les performances restent modestes pour les tumeurs rares (ex: tumeurs oculaires) et les cas intrinsèquement ambigus. Les auteurs suggèrent l'utilisation de l'apprentissage actif et de la classification multi-étiquettes pour les futures améliorations.

En conclusion, ELM démontre qu'une architecture hybride, combinant la rapidité et la robustesse des petits modèles encodeurs avec la capacité de raisonnement nuancé des LLM (guidés par des contraintes), constitue une solution optimale pour l'automatisation des registres de cancer, alliant excellence technique et efficacité opérationnelle.