Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting

Chaque jour, des milliers de personnes souffrant de douleurs articulaires, d'enflures ou de raideurs écrivent aux rhumatologues pour demander de l'aide. Ces lettres, appelées lettres d'orientation, arrivent en un flux que les spécialistes doivent trier. L'objectif de ce tri, appelé triage, est de décider qui doit être vu immédiatement parce que sa condition pourrait menacer un organe ou sa vie, et qui peut attendre en toute sécurité des semaines ou des mois. Cette tâche incombe aux médecins seniors, qui doivent lire des textes complexes et non structurés pour porter un jugement. C'est un travail à haut volume, mentalement épuisant, qui prend du temps sur la consultation des patients et le traitement des maladies. Lorsque le système fonctionne bien, les personnes les plus malades reçoivent de l'aide rapidement. Lorsqu'il échoue, un patient présentant une aggravation rapide d'une maladie auto-immune peut attendre trop longtemps, risquant des dommages permanents. Pourtant, même lorsqu'ils sont réalisés par des médecins expérimentés, ce processus de tri n'est pas parfait ; les experts sont souvent en désaccord les uns avec les autres, et des cas urgents sont parfois manqués ou retardés.

Alors que le nombre de lettres d'orientation augmente plus vite que le nombre de spécialistes disponibles, les cliniques cherchent des moyens d'utiliser l'intelligence artificielle pour aider. Plus précisément, elles testent les modèles de langage étendus, qui sont des programmes informatiques entraînés sur de vastes quantités de texte capables de comprendre et de générer le langage humain. Ces modèles sont déjà utilisés pour répondre à des questions médicales et aider au diagnostic, mais il n'était pas clair s'ils pouvaient gérer de manière fiable la tâche spécifique et à enjeux élevés du tri des références en rhumatologie. La question centrale n'était pas seulement de savoir si un ordinateur pouvait le faire, mais s'il pouvait le faire aussi bien qu'une équipe humaine, et si le coût d'utilisation des ordinateurs les plus puissants et les plus coûteux était nécessaire pour accomplir le travail correctement.

Un chercheur de Monash Health en Australie a entrepris de répondre à ces questions en soumettant vingt-trois modèles de langage différents à un test rigoureux. Il a créé vingt scénarios de référence réalistes basés sur des cas réels, couvrant toute la gamme d'urgence, des urgences vitales aux douleurs de routine. Pour établir un étalon de référence pour la réponse correcte, quatre rhumatologues indépendants ont examiné chaque cas sans savoir ce que les autres avaient décidé, finissant par s'accorder sur un niveau d'urgence consensuel pour chaque cas. Le chercheur a ensuite demandé à chacun des vingt-trois modèles informatiques de trier ces vingt mêmes cas. Pour garantir que les résultats étaient stables et n'étaient pas de simples coups de chance, chaque modèle a été invité à prendre la décision trois fois pour chaque cas. L'expérience a été menée deux fois : une fois avec une instruction très simple demandant au modèle de trier les références, et une seconde fois avec une instruction beaucoup plus détaillée qui expliquait précisément comment réfléchir au problème, fournissait des exemples de ce que chaque niveau d'urgence représentait, et guidait le modèle pour qu'il se concentre sur des signes médicaux spécifiques tout en ignorant les facteurs moins pertinents comme les niveaux de douleur.

Les résultats ont révélé un schéma clair dans la façon dont ces machines réfléchissent. Lorsqu'ils recevaient uniquement une instruction simple, les modèles performaient de manière très différente les uns des autres. Les modèles les plus grands, les plus avancés et les plus coûteux étaient nettement plus précis que les plus petits et les moins chers. Dans ce cadre simple, payer plus pour un modèle plus gros garantissait une meilleure performance. Cependant, l'histoire a totalement changé lorsque le chercheur a modifié les instructions détaillées et avancées. Avec ce meilleur guidage, l'écart de performance entre les modèles s'est estompé. Les modèles plus petits et moins chers ont rattrapé les plus coûteux, et le lien entre le coût et la précision a disparu. Les instructions détaillées ont essentiellement appris aux plus petits modèles comment raisonner sur le problème, leur permettant de performer aussi bien que les géants sans le prix élevé.

Même avec les meilleures instructions, les ordinateurs n'étaient pas sans défauts. Ils faisaient encore des erreurs, suggérant parfois qu'un patient était plus malade qu'il ne l'était réellement, et parfois qu'il l'était moins. Le cherchenaire a noté que l'erreur de sous-triage — manquer un cas urgent — était le type d'erreur le plus dangereux, car elle pouvait retarder des soins critiques. Malgré ce risque, les modèles les plus performants rejoignaient le consensus humain dans la plupart des cas, convenant souvent du niveau d'urgence correct lors des trois tentatives. Ce niveau de performance les plaçait dans la fourchette ou au-dessus de la plage de précision rapportée pour les médecins humains, qui sont connus pour être en désaccord sur environ un tiers des cas et changent fréquemment leur évaluation d'urgence après avoir vu le patient.

L'étude suggère que les outils pour automatiser cette charge administrative existent déjà et pourraient être plus abordables qu'on ne le pensait. La conclusion clé est que la manière de poser une question à l'ordinateur importe autant que l'ordinateur lui-même. En utilisant un "prompt" bien conçu qui inclut des règles claires et des exemples, les cliniques pourraient utiliser des modèles plus petits et moins chers pour obtenir des résultats rivalisant avec les systèmes les plus coûteux. Cela pourrait permettre aux services médicaux de rendre un temps précieux aux médecins seniors, les libérant du tri des lettres afin qu'ils puissent se concentrer sur le traitement des patients. Bien que la technologie soit prometteuse, le chercheur souligne que tout système utilisé dans le monde réel doit être surveillé attentivement pour s'assurer qu'il ne manque pas de cas urgents, et que les médecins humains doivent rester dans la boucle pour réviser les décisions les plus critiques. La voie à suivre consiste à tester ces outils sur de vraies lettres d'orientation en direct et à affiner les instructions pour garantir la sécurité, mais les données indiquent qu'un assistant automatisé fiable pour le triage en rhumatologie n'est plus un rêve lointain.