Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries

Cette étude démontre que les grands modèles de langage sollicités par quelques exemples, en particulier Claude Haiku 4.5, peuvent surpasser les bases de référence supervisées comme BioBERT dans l'orientation des demandes de patients en ligne vers les niveaux de suivi clinique appropriés dans des conditions à ressources limitées, bien que leur variabilité de performance suggère qu'ils sont mieux adaptés pour soutenir une révision humaine sélective plutôt qu'un déploiement autonome.

L'essentiel

Imaginez un service des urgences hospitalier bondé, mais au lieu de personnes entrant par la porte, des milliers de personnes tapent des questions sur un écran d'ordinateur. Certaines posent des questions sur un rhume bénin, d'autres doivent prendre rendez-vous chez le médecin pour une consultation de routine, certaines présentent des symptômes nécessitant l'attention d'un médecin sous 24 heures, et quelques-unes font face à des urgences mettant leur vie en danger.

Le défi pour l'hôpital est le suivant : Comment trier ces milliers de messages rapidement et en toute sécurité sans qu'un humain ne les lise tous ?

Cet article est comparable à un essai routier pour un nouveau type de « trieur numérique » utilisant l'Intelligence Artificielle (IA). Voici le détail de ce qu'ils ont fait et de ce qu'ils ont découvert, en utilisant des analogies simples.

Le Problème : La Boîte de Réception « Bruyante »

Les messages des patients en ligne sont désordonnés. Les gens ne parlent pas comme des médecins ; ils écrivent comme des amis. Ils peuvent oublier de mentionner depuis combien de temps ils sont malades, l'intensité de la douleur, ou s'ils ont d'autres problèmes de santé.

• L'Objectif : Trier ces messages dans quatre catégories :
  1. Soins à domicile : « Restez à la maison, buvez du thé, vous vous en remettrez. »
  2. Prendre rendez-vous : « Prenez rendez-vous pour la semaine prochaine. »
  3. Révision Urgente : « Appelez un médecin aujourd'hui ou demain. »
  4. Urgence : « Appelez le 15 ou rendez-vous aux urgences immédiatement. »

L'Expérience : Le « Professeur » contre l'« Étudiant Intelligents »

Les chercheurs voulaient savoir si de nouveaux modèles d'IA puissants (appelés Modèles de Langage ou LLM) pouvaient effectuer ce tri mieux que d'anciens programmes informatiques plus simples, surtout lorsqu'ils n'avaient pas une énorme pile d'exemples pré-étiquetés à étudier.

• L'Ancienne Méthode (Modèles Supervisés) : Imaginez un étudiant qui doit mémoriser 700 exemples spécifiques de messages de patients et de leurs réponses pour apprendre les règles. Ils sont formés sur des « étiquettes d'argent » (réponses générées par une IA, et non par un médecin humain).
• La Nouvelle Méthode (LLM avec Prompting) : Imaginez un étudiant très intelligent qui a lu des millions de livres. Au lieu de mémoriser 700 exemples, vous lui donnez simplement quelques règles et quelques exemples (appelés « few-shot prompting ») et vous demandez : « Voici un nouveau message ; où doit-il aller ? »

Les Résultats : Qui a gagné la course ?

1. L'« Étudiant Intelligent » (LLM) s'en est mieux sorti, mais pas de manière écrasante.
Le meilleur modèle d'IA (Claude Haiku 4.5) a obtenu environ 47,5 % de bonnes réponses lorsqu'on lui a fourni 12 exemples pour apprendre. Le meilleur modèle de l'« Ancienne Méthode » (BioBERT) a obtenu environ 37,8 % de bonnes réponses.

• La Chute : La différence n'était pas suffisamment grande pour affirmer que la nouvelle IA est définitivement « meilleure » d'un point de vue statistique ; leurs scores se chevauchaient. C'est comme deux coureurs franchissant la ligne d'arrivée où l'un est légèrement en tête, mais l'écart est si faible que vous ne pouvez pas être sûr à 100 % de qui est le plus rapide sans refaire la course.

2. Le « Score de Sécurité » est plus important que la « Note ».
Dans une tâche de tri, il est pire de manquer un incendie (Urgence) que d'envoyer un non-urgence au service des pompiers (Sur-triage).

• Les chercheurs ont constaté que, bien que les modèles d'IA aient obtenu de meilleures notes générales (Macro-F1), ils étaient beaucoup meilleurs en matière de sécurité.
• Les modèles d'IA n'ont presque jamais manqué une véritable urgence (Sous-triage sévère de 0 % lors du test), tandis que les anciens modèles manquaient des cas dangereux environ 30 % du temps.
• Analogie : L'IA est comme un gardien de sécurité qui est légèrement plus lent pour vérifier les identités, mais qui est beaucoup plus efficace pour repérer une véritable menace.

3. Le « Milieu Confus » reste difficile.
L'IA était excellente pour repérer les « Soins à domicile » (facile) et les « Urgences » (évident). Mais elle a eu du mal avec le terrain intermédiaire : « Révision Urgente par un Clinicien ».

• Analogie : Il est facile de faire la différence entre une coupure de papier et une crise cardiaque. Il est très difficile de faire la différence entre un mauvais mal de ventre qui nécessite un médecin demain et celui qui peut attendre une semaine. Même l'IA la plus intelligente s'est trompée ici.

4. La Stratégie « À Deux Têtes » (Consensus)
Les chercheurs ont essayé un tour de passe-passe ingénieux : Et si ils utilisaient deux modèles d'IA différents pour trier les messages ?

• Si les deux IA sont d'accord : « D'accord, nous pensons tous les deux que c'est un « Soins à domicile ». Acceptons-le. » (Cela a très bien fonctionné).
• Si les IA ne sont pas d'accord : « Nous ne pouvons pas nous mettre d'accord. Envoyons cela à un médecin humain pour qu'il l'examine. »
• Le Résultat : Cette approche « À Deux Têtes » a créé un filet de sécurité. Cela ne signifiait pas que l'IA pouvait travailler seule ; cela signifiait que l'IA pouvait agir comme un filtre pour aider les humains à se concentrer sur les cas délicats.

La Conclusion : Un Assistant Utile, Pas un Remplacement

L'article conclut que ces modèles d'IA ne sont pas prêts à travailler seuls. Ils ne sont pas des médecins « autonomes ».

Au lieu de cela, imaginez-les comme une infirmière de tri assistée par haute technologie :

• Elles peuvent rapidement trier les questions « soins à domicile » faciles.
• Elles peuvent signaler les urgences évidentes afin que personne ne les manque.
• Mais pour les cas confus et intermédiaires, elles doivent toujours transmettre le message à un médecin humain.

En bref : L'IA est un excellent outil pour aider les humains à prioriser leur charge de travail, mais elle ne devrait jamais être le décideur final pour la sécurité des patients.

Résumé technique

Résumé technique : Modèles de langage à grande échelle en few-shot pour le triage actionnable des demandes de patients en ligne

Énoncé du problème

Les demandes de patients sur les plateformes de santé sont généralement informelles, incomplètes et rédigées avant toute évaluation professionnelle. Malgré ces limites, les systèmes de santé nécessitent des méthodes évolutives pour acheminer ces messages vers un niveau de suivi clinique approprié. Cette étude formule le problème comme une tâche de triage actionnable à quatre classes, distincte de la génération de diagnostic ou de la classification générale de textes médicaux. L'objectif est d'assigner exactement l'une des quatre étiquettes de routage suivantes à une demande de patient :

1. Autosoins : Gérable à domicile sans contact clinique.
2. Planifier une consultation : Nécessite une évaluation clinique non urgente (dans les jours à semaines).
3. Révision clinique urgente : Nécessite une révision rapide dans les 24 à 48 heures.
4. Orientation vers les urgences : Nécessite une évaluation d'urgence immédiate.

La tâche est difficile en raison de l'absence de détails cliniques clés (durée, gravité, signes vitaux) dans les textes rédigés par les patients, de la rareté des cas à haute acuité, et de l'asymétrie clinique des erreurs où le sous-triage (manquer un cas urgent) est plus dangereux que le sur-triage.

Méthodologie

Construction des données

L'étude utilise le corpus HealthCareMagic-100K, un ensemble de données public d'échanges anonymisés entre patients et médecins.

• Prétraitement : Les enregistrements ont été filtrés pour supprimer les messages contenant moins de 20 tokens ou plus de 500 tokens, laissant 110 163 messages utilisables.
• Échantillonnage stratifié : Pour remédier au déséquilibre des classes (spécifiquement la rareté des cas d'urgence), une stratégie d'échantillonnage stratifié par mots-clés a été employée. Les enregistrements ont été notés en fonction des mots-clés d'urgence et des phrases d'escalade des médecins, puis assignés à des groupes (autosoins, planifier une consultation, urgent, urgence) pour enrichir le pool de travail avec des demandes à plus haute acuité.
• Découpages des données : À partir d'un pool de travail de 1 040 enregistrements, trois ensembles disjoints ont été créés :
  • Ensemble d'entraînement Silver (N=700) : Étiqueté automatiquement par Claude Sonnet 4.5. Utilisé pour l'entraînement des bases de référence supervisées.
  • Ensemble d'évaluation Gold (N=300) : Calibré par des humains par deux chercheurs utilisant un guide d'annotation raffiné. Utilisé pour l'évaluation finale.
  • Pool Few-Shot (N=40) : Exemples à haute confiance et vérifiés par des humains utilisés pour les démonstrations d'apprentissage en contexte.

Annotation et étiquetage

Un guide d'annotation structuré a été développé via un pilote à deux personnes et six rounds de raffinement. Il met l'accent sur le « triage à partir du texte uniquement », distinguant les symptômes actifs des requêtes informatives, et appliquant des seuils plus bas pour les populations vulnérables.

• Étiquettes Silver : Générées par Claude Sonnet 4.5.
• Calibration Gold : Les examinateurs humains ont comparé leurs étiquettes indépendantes aux étiquettes initiales de Sonnet. Pour l'ensemble Gold, 38 % des étiquettes ont été révisées, résultant en un $\kappa$ de Cohen Sonnet-humain de 0,35, soulignant la nécessité d'une calibration humaine.

Configuration expérimentale

L'étude compare les bases de référence supervisées aux Modèles de langage (LLM) sollicités par des prompts dans des conditions de faibles ressources.

• Bases de référence supervisées :
  • TF-IDF : Régression logistique, Forêt aléatoire et XGBoost entraînés sur l'ensemble Silver de 700 enregistrements.
  • BioBERT : BioBERT-v1.1 affiné sur l'ensemble Silver.
  • Note : Les deux conditions d'entraînement « par défaut » (700 exemples complets) et « équilibrée » (sous-échantillonnés à 91 exemples par classe) ont été évaluées.
• LLM sollicités par des prompts : Six modèles (Llama3.1-8B, Qwen3-8B, Mistral-7B, DeepSeek-R1-7B, GPT-4o-mini, Claude Haiku 4.5) évalués sans mise à jour des paramètres.
• Conditions de prompting : Les modèles ont été testés dans des conditions 0-shot, 4-shot (un exemple par classe) et 12-shot (trois exemples par classe).

Métriques d'évaluation

• Métrique principale : Macro-F1 (pour tenir compte du déséquilibre des classes).
• Métriques conscientes de la sécurité : Rappel des urgences, rappel urgent ou supérieur, taux de sous-triage (prédire une sévérité inférieure à la réalité) et taux de sous-triage sévère (écart de $\ge$ 2 niveaux).
• Analyse de consensus : Une simulation d'Oracle Human-in-the-Loop (HITL) où les prédictions sont automatiquement acceptées uniquement si deux modèles s'accordent ; sinon, les cas sont escaladés vers une révision humaine.

Résultats clés

Performance de classification

• Bases de référence supervisées : La base de référence supervisée la plus performante était BioBERT-v1.1 (par défaut) avec un Macro-F1 de 0,378. La performance était notablement faible sur la classe orientation vers les urgences (F1 $\approx$ 0,26).
• Performance des LLM : Le prompting few-shot a amélioré les performances. Le modèle le plus performant, Claude Haiku 4.5 (12-shot), a atteint un Macro-F1 de 0,475. Les autres meilleurs performants incluaient Llama3.1-8B (0,464) et Qwen3-8B (0,444).
• Significativité statistique : Bien que les LLM surpassent les bases de référence dans les estimations ponctuelles, les intervalles de confiance se chevauchaient. Les tests de McNemar ont indiqué que seul Llama3.1-8B était significativement meilleur que BioBERT-v1.1 ; les meilleurs LLM n'étaient pas significativement différents les uns des autres.

Performance spécifique aux classes et sécurité

• Difficulté des classes : « Autosoins » était la classe la plus facile pour les LLM (F1 > 0,65). « Révision clinique urgente » restait la classe la plus difficile pour tous les modèles (F1 < 0,35), reflétant l'ambiguïté des cas d'acuité intermédiaire.
• Métriques de sécurité : Les LLM ont démontré des profils de sécurité supérieurs par rapport aux bases de référence supervisées.
  • Sous-triage : Toutes les configurations de LLM performantes ont atteint un taux de sous-triage sévère de 0,000 sur l'ensemble Gold, tandis que les bases de référence supervisées variaient de 0,269 à 0,308.
  • Rappel : GPT-4o-mini (12-shot) a atteint le rappel urgent ou supérieur le plus élevé (0,984) et le taux de sous-triage le plus bas (0,053), malgré un Macro-F1 inférieur à celui de Claude Haiku 4.5.

Sensibilité au prompting et consensus

• Sensibilité au prompting : Les gains de performance issus du prompting few-shot n'étaient ni monotones ni uniformes. Alors que Claude Haiku 4.5 s'améliorait de manière monotone avec plus de shots, Qwen3-8B a culminé à 4-shot, et Llama3.1-8B a performé moins bien à 4-shot qu'à 0-shot.
• Consensus à deux modèles : L'accord entre les modèles était fortement dépendant de l'étiquette.
  • Autosoins : Fiabilité d'accord élevée (précision du consensus > 90 %).
  • Révision clinique urgente : Faible fiabilité d'accord (précision du consensus $\approx$ 25 %).
  • Oracle-HITL : Simuler un flux de travail où les désaccords sont escaladés vers des humains a produit un Macro-F1 théorique allant jusqu'à 0,708 (GPT-4o-mini + Llama3.1-8B), suggérant un potentiel significatif pour l'aide à la décision.

Importance et affirmations

L'article conclut que les LLM sollicités par des prompts peuvent soutenir la priorisation du triage et la révision humaine sélective, mais ne sont pas prêts pour un déploiement autonome.

• Aide à la décision, non remplacement : Les auteurs soutiennent que la valeur des LLM réside dans leur capacité à interpréter les symptômes en texte libre et à suivre des directives complexes sans affinage spécifique à la tâche. Cependant, la difficulté persistante à classifier les cas de « révision clinique urgente » et le risque de sous-triage dans des scénarios à haut risque excluent un routage autonome.
• Intégration du flux de travail : L'étude propose une stratégie de prédiction sélective où les LLM gèrent les accords « autosoins » à faible risque (qui sont fiables) et signalent les cas à haut risque ou incertains pour révision humaine.
• Évaluation consciente de la sécurité : L'article souligne que les métriques agrégées comme le Macro-F1 obscurcissent les compromis critiques en matière de sécurité. Des modèles avec des scores F1 plus bas peuvent être préférables s'ils minimisent le sous-triage, une découverte qui nécessite des cadres d'évaluation conscients de la sécurité dans le TALN clinique.
• Limites : Les auteurs reconnaissent des limites incluant l'utilisation d'un seul corpus public, la taille modeste de l'ensemble Gold (particulièrement pour les cas d'urgence), la dépendance aux étiquettes Silver pour l'entraînement supervisé, et le caractère hors ligne de l'évaluation. Ils affirment qu'une validation prospective avec des examinateurs cliniciens est requise avant de formuler des affirmations sur la réduction de la charge de travail ou la sécurité.

En résumé, ce travail fournit une référence rigoureuse pour les LLM dans le triage des patients en ligne, démontrant que si les LLM few-shot surpassent les bases de référence supervisées traditionnelles dans des contextes de faibles ressources, leur déploiement doit être strictement encadré par une supervision humaine et des signaux de confiance dépendants des étiquettes.