Résumé technique : RASC+ – Adjudication par LLM avec contrainte de recherche pour l'élaboration de jeux de valeurs cliniques

Définition du problème

Les jeux de valeurs cliniques définissent les codes de terminologie standardisés (par exemple, SNOMED-CT, ICD-10-CM, RxNorm) requis pour la mesure de la qualité électronique, le phénotypage et l'aide à la décision clinique. L'élaboration de ces jeux ne relève pas d'une tâche standard de génération de texte ; elle nécessite la sélection d'un sous-ensemble précis au sein d'un univers de terminologies massif et versionné.

Le benchmark Retrieval-Augmented Set Completion (RASC) a précédemment démontré que la génération directe par Large Language Model (LLM) en mode zero-shot est mal adaptée à cette tâche. Les LLM peinent à mémoriser les vastes systèmes de codes versionnés et génèrent fréquemment des codes absents du corpus faisant autorité du Value Set Authority Center (VSAC). L'approche RASC originale formulait le problème comme un processus en deux étapes : la recherche de jeux de valeurs antérieurs similaires pour former un pool de candidats, puis la classification des candidats. Cependant, le pipeline original, s'appuyant sur des plongements (embeddings) SAPBert et un encodeur croisé (cross-encoder), n'a atteint qu'un F1 macro de 0,298 sur l'ensemble du jeu de test complet, avec des chutes de performance significatives sur les éditeurs hors distribution (OOD).

Méthodologie

Ce travail propose RASC+, une optimisation par étapes de la formulation de recherche-puis-sélection. Les auteurs décomposent le problème en deux objectifs distincts :

1. Étape 1 (Construction du pool de candidats) : Maximiser le rappel (exposer autant de codes réels que possible), même au détriment de la précision, afin de garantir que le « plafond de rappel » soit élevé.
2. Étape 2 (Adjudication des candidats) : Maximiser la précision en sélectionnant le sous-ensemble correct parmi le pool élargi, préservant ainsi la contrainte de sécurité selon laquelle toutes les sorties doivent provenir du pool de candidats auditable.

Étape 1 : Construction de pool améliorée

Les auteurs remplacent le récupérateur de titres SAPBert original par un pipeline plus robuste :

• Recherche sémantique : Utilise Qwen3-Embedding-0.6B pour récupérer les $K=15$ plus proches voisins des jeux de valeurs (au lieu de $K=10$) basés sur la similitude cosinus des plongements de titres normalisés.
• Expansion sensible au vocabulaire : Pour capturer des codes structurellement proches des graines (seeds) récupérées mais absents des ensembles sources, le système élargit le pool en utilisant des graphes spécifiques au vocabulaire :
  • ICD-10-CM : Liens enfants et frères/sœurs.
  • RxNorm & SNOMED-CT : Liens de voisinage relationnel.
  • Contraintes : L'expansion est plafonnée (maximum 3 nouveaux codes par graine, 60 par vocabulaire) pour maintenir la révisabilité du pool.
• Recherche de secours par affichage de code (Code-Display Rescue Retrieval) : Pour remédier aux décalages de formulation entre les titres cibles et les titres du corpus d'entraînement (un mode de défaillance critique pour les éditeurs OOD), le système indexe les chaînes d'affichage des codes via BM25. Les 10 correspondances les plus pertinentes par vocabulaire sont ajoutées comme graines, suivies de la même expansion par graphe.

Le pool de candidats final ($C_v$) est l'union des codes dérivés des sources, des codes expansés par le vocabulaire et des codes de secours par affichage.

Étape 2 : Adjudication contrainte

Deux sélecteurs sont évalués sur le même pool élargi :

1. Encodeur croisé SAPBert : Le classificateur RASC original appliqué au pool élargi sans réentraînement ni ajustement de seuil. Cela sert de contrôle conservateur pour tester si un pool plus large amélivent à lui seul les performances.
2. Adjudication GPT-5 : Un LLM contraint qui reçoit les métadonnées du jeu de valeurs cible et le pool de candidats. Il lui est strictement interdit de générer de nouveaux codes ; il doit retourner une liste JSON d'identifiants de candidats issus du pool fourni.
   • Aveuglement : Le prompt exclut les OID, les noms d'éditeurs et les étiquettes de vérité terrain pour empêcher la mémorisation ou la fuite de données.
   • Découpage (Chunking) : Pour les pools dépassant 1 200 candidats, le pool est divisé en segments (chunks) déterministes. Le modèle traite chaque segment indépendamment, et les prédictions finales sont l'union des identifiants sélectionnés.

Contributions clés

1. Élévation du plafond de rappel : Les auteurs démontrent que l'optimisation de la recherche et de l'expansion augmente considérablement le plafond de rappel. Sur l'ensemble du test complet, le rappel du pool de candidats est passé du niveau de base RASC de 0,553 à 0,730. Pour les éditeurs non rencontrés (OOD), le rappel est passé de 0,543 à 0,655.
2. Supériorité de l'adjudication : L'étude montre qu'un LLM contraint (GPT-5) peut filtrer efficacement le pool plus large et plus bruyant là où les encodeurs croisés traditionnels échouent. Le remplacement de SAPBert par GPT-5 sur le pool élargi a augmenté le F1 macro du test complet de 0,287 à 0,549.
3. Robustesse OOD : L'approche améliore considérablement la généralisation aux éditeurs non vus. Sur les éditeurs tenus à l'écart (OOD), GPT-5 a atteint un F1 macro de 0,533, contre 0,233 pour SAPBert sur le même pool.

Résultats

L'article rapporte les indicateurs clés suivants sur la division de test de 3 744 jeux de valeurs :

Métrique	RASC Original (SAPBert)	Pool élargi + SAPBert	Pool élargi + GPT-5
Rappel du pool (Test complet)	0,553	0,730	0,730
F1 Macro (Test complet)	0,298	0,287	0,549
F1 Macro (OOD)	0,233*	0,233	0,533
Précision Macro (OOD)	-	0,229	0,642
Rappel Macro (OOD)	-	0,415	0,564

*Note : Le F1 OOD du RASC original est déduit du texte comme base de comparaison, bien que la répartition spécifique OOD du SAPBert original n'ait pas été explicitement détaillée dans le manuscrit d'origine ; l'article compare le nouveau résultat SAPBert sur le pool élargi au résultat du test complet original.

Les résultats indiquent que, bien que le pool élargi introduise plus de faux positifs (diminuant la précision de la seule recherche), l'adjudicateur GPT-5 parvient à filtrer ceux-ci tout en conservant une fraction élevée de vrais positifs. Le « rappel de pool restreint » (fraction des codes réels dans le pool qui sont sélectionnés) pour GPT-5 est de 0,757, ce qui indique que le modèle manque certains codes récupérables mais performe nettement mieux que l'encodeur croisé.

Signification et revendications

L'article affirme que l'adjudication par LLM avec contrainte de recherche est un paradigme supérieur pour l'élaboration de jeux de valeurs cliniques par rapport à la génération non contrainte ou aux encodeurs croisés statiques.

• Sécurité et auditabilité : En contraignant le LLM à sélectionner uniquement à partir d'un pool de candidats recherchés, le système préserve la propriété de « sécurité ancrée dans le corpus ». Cela empêche la génération de codes invalides ou hallucinés, une exigence critique pour les applications cliniques.
• Décomposition des tâches : Ce travail valide l'hypothèse selon laquelle la séparation du rappel (construction du pool) et de la précision (adjudication) permet une optimisation spécialisée. Un pool à haut rappel fournit le « plafond » nécessaire à la performance, qu'un LLM puissant peut ensuite naviguer plus efficacement qu'un classificateur traditionnel.
• Rôle de support à la décision : Les auteurs positionnent le système comme un outil d'aide à la décision plutôt que comme un éditeur autonome. Il réduit la charge de révision humaine en présentant un ensemble de candidats classés et riches en provenance, bien qu'ils reconnaissent que les curateurs humains doivent toujours valider les choix de modélisation spécifiques à la gestion (stewardship) et les omissions potentielles dans la terminologie source.

L'article conclut que le benchmark RASC sert de banc d'essai rigoureux pour ces systèmes et que la combinaison de stratégies de recherche à haut rappel avec une sélection par LLM contraint offre une voie prometteuse pour l'élaboration de jeux de valeurs cliniques.