A Multi-Criteria Decision Framework for Aggregating Ranked ICD-10 Code Suggestions from Large Language Models
Cette étude démontre que l'application de méthodes d'agrégation de rang d'analyse décisionnelle multicritère, particulièrement le compte de Borda et la fusion de rangs réciproques, pour combiner les sorties de plusieurs grands modèles de langage, améliore significativement la précision et la stabilité du codage clinique automatisé ICD-10 par rapport à l'utilisation de modèles individuels ou de simples schémas de vote.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de résoudre un puzzle géant et désordonné dont les pièces sont des diagnostics médicaux. Dans le monde de la santé, chaque histoire de patient doit être traduite en un code spécifique, comme un langage secret appelé ICD-10, afin que les hôpitaux puissent suivre les maladies et être rémunérés. Mais ce langage est immense, compliqué et rempli de règles délicates. Récemment, des programmes informatiques super intelligents appelés Grands Modèles de Langage (LLM) ont appris à deviner ces codes en lisant les notes des médecins. Considérez ces modèles comme une équipe de détectives brillants mais légèrement différents. Chaque détective examine le même dossier d'affaire et propose sa propre liste de suspects (les codes), classés de « plus probable » à « moins probable ». Le problème est que, parfois, le Détective A pense que le Suspect X est le coupable, tandis que le Détective B est convaincu qu'il s'agit du Suspect Y. Si vous n'écoutez qu'un seul détective, vous pourriez vous tromper. C'est ici qu'intervient un domaine appelé l'Analyse Multicritère de Décision. Il s'agit essentiellement de l'art de prendre de nombreuses opinions différentes et de les mélanger pour trouver la meilleure réponse, un peu comme un jury qui combine des témoignages pour rendre un verdict. La grande question est : comment mélanger ces listes de suspects pour que le groupe final soit plus intelligent que n'importe quel détective pris individuellement ?
Cet article s'attaque à cette question exacte en traitant chaque modèle d'IA comme un « votant » distinct dans une grande élection pour les codes médicaux corrects. Les chercheurs ont pris 1 117 notes médicales réelles liées à l'obstétrique (liées à la grossesse) écrites en portugais du Brésil et ont demandé à cinq modèles d'IA puissants différents de générer une liste classée de codes possibles pour chaque note. Au lieu de choisir le vainqueur d'un seul modèle, ils ont testé trois façons différentes de combiner toutes les listes en une seule liste de « consensus ». Ils ont essayé une méthode simple appelée « Vote à la Pluralité » (où le code qui apparaît tout en haut de la plupart des listes gagne), une méthode plus détaillée appelée « Compte de Borda » (où un code reçoit des points en fonction de sa position sur chaque liste, pas seulement à la première place), et une méthode appelée « Fusion de Rang Réciproque » (qui donne un grand coup de pouce aux codes qui apparaissent près du sommet, tout en comptant également ceux situés plus bas).
Les résultats ont été très clairs et surprenants par leur simplicité. L'équipe a constaté que la combinaison des modèles fonctionnait presque toujours mieux que de faire confiance au meilleur modèle unique. Plus précisément, la méthode du « Compte de Borda » a été la grande gagnante. Lorsque les chercheurs ont examiné les 3 suggestions principales (un nombre qu'ils ont trouvé être le point d'équilibre idéal entre précision et couverture), la méthode du Compte de Borda a amélioré la précision globale d'environ 20 % au niveau de la catégorie large et de près de 19 % au niveau du code spécifique par rapport à la meilleure IA individuelle. Cela suggère qu'écouter la « foule » des modèles d'IA, surtout en faisant attention à l'endroit où un code apparaît sur la liste de chacun, crée une décision beaucoup plus fiable que de s'appuyer sur un seul expert.
Cependant, l'article écarte également quelques options. Il a découvert que la méthode la plus simple, le « Vote à la Pluralité » (compter simplement qui est n°1), ne fonctionnait pas aussi bien que les méthodes plus nuancées qui examinent l'ensemble du classement. Il a également montré que l'on ne peut pas simplement ajouter des suggestions à la liste indéfiniment. Bien que l'ajout de plus de codes aide à capturer plus de diagnostics réels (rappel), cela finit par faire chuter la précision car on commence à inclure trop de fausses hypothèses (précision). L'étude suggère que le « chiffre d'or » est 3 ; au-delà de ce nombre, la qualité de la décision commence à chuter. De plus, les auteurs notent que le simple fait de donner plus de poids aux modèles les plus « forts » n'a pas beaucoup aidé ; la combinaison simple et non pondérée de tous les modèles était tout aussi bonne que les versions pondérées complexes.
En résumé, l'article suggère que pour le codage clinique, la meilleure stratégie n'est pas de trouver le modèle d'IA parfait, mais de laisser quelques modèles différents voter, en utilisant un système qui respecte l'intégralité de leurs classements. Cette approche offre un moyen pratique et robuste d'améliorer la prise de décision médicale sans avoir besoin de réentraîner les modèles ou de regarder à l'intérieur de leurs « boîtes noires ». Les conclusions sont basées sur des données réelles et des tests statistiques avec des intervalles de confiance, montant que cette méthode est un moyen stable et efficace de gérer la réalité désordonnée du codage médical.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.