💬 NLP

A Multi-Agent LLM Framework for Rating the Quality of Surgical Feedback

Ce papier présente un cadre LLM multi-agents en deux étapes qui découvre des critères de qualité de rétroaction chirurgicale interprétables pour évaluer automatiquement les interactions en salle d'opération en temps réel, démontrant une performance supérieure aux méthodes antérieures dans la prédiction de l'efficacité de la rétroaction et des ajustements comportementaux des stagiaires.

Auteurs originaux : Rafal Kocielnik, J. Everett Knudsen, Steven Y. Cen, Jasmine Lin, Cherine H. Yang, Atharva Deo, Ujjwal Pasupulety, Peter Wager, Anima Anandkumar, Andrew J. Hung

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rafal Kocielnik, J. Everett Knudsen, Steven Y. Cen, Jasmine Lin, Cherine H. Yang, Atharva Deo, Ujjwal Pasupulety, Peter Wager, Anima Anandkumar, Andrew J. Hung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une salle d'opération comme un orchestre à haut risque. Le chirurgien en formation est le premier violon, et le chirurgien senior (le professeur) est le chef d'orchestre. Pour que la musique soit parfaite, le chef doit donner des retours. Mais voici le problème : parfois, les retours du chef sont un murmure doux, parfois un cri perçant, et parfois un murmure confus.

Depuis des années, les chercheurs ont tenté de noter ces directions musicales en écoutant ce que dit le chef (par exemple, « corrige la note » contre « jouez plus fort »). Mais ce nouvel article soutient que la manière dont le feedback est délivré compte tout autant que les mots eux-mêmes. Le professeur a-t-il semblé urgent ? L'instruction était-elle claire ? A-t-il semblé encourageant ?

Les auteurs, une équipe du Caltech et de Cedars-Sinai, ont construit un « robot auditeur intelligent » (un cadre de modèle de langage de grande taille) pour résoudre ce problème. Voici comment ils ont procédé, décomposé en étapes simples :

1. La « Fête de Remue-méninges » (Découverte)

Au lieu de deviner ce qui constitue un bon feedback, les chercheurs ont demandé à une équipe d'agents IA (pensez-y comme à cinq critiques musicaux experts différents) d'écouter des milliers de conversations chirurgicales réelles.

Le Déroulement : Ils ont fourni à ces agents IA une liste de ce à quoi ressemble un « bon » feedback (comme « l'étudiant a corrigé son erreur ») et leur ont demandé de déterminer pourquoi certains feedbacks fonctionnaient et d'autres non.
Le Résultat : Les agents IA ont produit une longue et désordonnée liste d'idées. Les chercheurs ont ensuite tenu une « réunion de consolidation » où ils ont regroupé les idées similaires et les ont résumées en six règles d'or pour un bon feedback :
1. Encourageant : Renforce-t-il la confiance ? (par exemple, « Excellent travail ! »)
2. Urgent : Crie-t-il « Arrêtez tout de suite ! » ? (par exemple, « Ne coagulez pas ! »)
3. Actionnable : Est-ce une étape spécifique ? (par exemple, « Déplacez l'aiguille de 2 cm vers la gauche. »)
4. Opportun : A-t-il été dit pendant que l'action se déroulait, ou des heures plus tard ?
5. Clair : Est-il facile à comprendre ou confus ?
6. Réflexif : Pousse-t-il l'étudiant à réfléchir ? (par exemple, « Pourquoi avez-vous choisi cela ? »)

2. Le « Juge Robot » (Notation)

Une fois ces six règles établies, ils ont transformé l'IA en juge. Ils lui ont soumis 4 200 extraits réels de feedbacks chirurgicaux et lui ont demandé de noter chacun d'eux de 1 à 5 selon les six règles.

L'Analogie : Imaginez un professeur notant la dissertation d'un élève. Au lieu de simplement donner une lettre de note, ce robot fournit un bulletin détaillé : « Votre urgence était de 5/5, mais votre clarté n'était que de 2/5. »

3. La Preuve (Est-ce que ça marche ?)

L'équipe a testé si ces notes de robot prédisaient réellement ce qui se passait ensuite dans la salle d'opération.

Le Test : Ils ont examiné si l'étudiant modifiait son comportement (comme déplacer un outil correctement) ou se contentait de dire « D'accord » pour accuser réception du professeur.
Le Résultat : Les six règles de l'IA étaient meilleures pour prédire les réactions des étudiants que les méthodes précédentes qui se contentaient d'examiner le sujet de la conversation.
- Exemple : Ils ont constaté que les feedbacks « Urgents » et « Actionnables » incitaient les étudiants à bouger plus vite. Mais les feedbacks « Réflexifs » et « Clairs » incitaient les étudiants à répondre davantage.
- Surprise : Le feedback « Encourageant » rendait en fait les étudiants moins susceptibles de modifier leur comportement ou de prendre la parole. L'article suggère que cela s'explique par le fait que l'encouragement est souvent utilisé lorsque l'étudiant fait déjà un bon travail, donc aucun changement n'est nécessaire !

4. La Vérification Humaine (Fiabilité)

Pour s'assurer que le robot ne faisait pas que halluciner, ils ont demandé à de vrais chirurgiens humains de noter les mêmes feedbacks en utilisant les six règles de l'IA.

La Correspondance : Les humains et l'IA étaient en accord assez bien (environ 60 à 70 % d'accord). Cela prouve que les règles sont suffisamment claires pour que les humains et les machines puissent les comprendre.

Pourquoi cela compte (selon l'article)

Ce cadre est comme offrir à chaque enseignant en chirurgie un « tableau de bord de contrôle qualité ».

Il ne vous dit pas seulement quoi a été enseigné ; il vous dit à quel point cela a été bien enseigné.
Il peut noter automatiquement des milliers d'heures de chirurgie sans qu'un humain ait besoin de s'asseoir là et de prendre des notes pendant des jours.
Il aide à identifier si un enseignant est trop vague, trop tardif ou trop confus, ce qui pourrait aider à améliorer la formation des chirurgiens.

En résumé : L'article a construit un système d'IA qui a appris à noter les enseignants en chirurgie non pas sur leur vocabulaire, mais sur leur style de délivrance. Il a constaté que la clarté, l'urgence et l'actionnabilité sont l'ingrédient secret pour amener les étudiants à réellement corriger leurs erreurs en temps réel.

Résumé technique : Un cadre LLM multi-agents pour évaluer la qualité des retours chirurgicaux

Énoncé du problème

Les retours verbaux des chirurgiens chefs d'équipe aux résidents en formation dans le bloc opératoire (BO) sont essentiels à l'acquisition de compétences et aux résultats chirurgicaux. Cependant, l'évaluation systématique de la qualité de ces retours — spécifiquement la manière dont ils sont délivrés plutôt que leur simple contenu — demeure un défi majeur. Les recherches antérieures se sont principalement concentrées sur la catégorisation du contenu des retours (par exemple, références anatomiques, manipulation des instruments) à l'aide d'annotations manuelles ou de méthodes automatisées telles que l'analyse par mots-clés et la modélisation thématique. Ces approches existantes échouent à capturer des attributs de délivrance nuancés tels que la clarté, l'urgence, la ponctualité et le ton émotionnel, qui sont essentiels pour comprendre l'efficacité des retours. De plus, l'annotation manuelle est laborieuse et non évolutive, tandis que les méthodes automatisées existantes manquent de sensibilité au langage clinique et de la capacité à distinguer des tâches instructionnelles identiques délivrées avec des tons ou des urgences différents.

Méthodologie

Les auteurs proposent un cadre en deux étapes, basé sur un modèle de langage large (LLM), conçu pour découvrir des critères interprétables de qualité des retours et noter automatiquement les retours chirurgicaux. Le pipeline intègre une approche de prompt multi-agents, l'injection de connaissances du domaine et une approche « LLM en tant que juge ».

1. Phase de découverte des critères

Le processus de découverte utilise une stratégie multi-agents pour générer et consolider des critères d'évaluation :

Initiation guidée par le domaine : Des agents GPT-4o sont amorcés avec des définitions formelles des résultats des retours chirurgicaux (Ajustement comportemental, Reconnaissance verbale, Approbation du formateur) et une définition du retour lui-même. Ils reçoivent un petit sous-ensemble d'exemples de retours non étiquetés (<1 % de l'ensemble de données) pour inférer des dimensions évaluatives pertinentes par raisonnement analogique.
Génération multi-agents : Cinq agents GPT-4o indépendants, configurés avec une température d'échantillonnage élevée ( $T=1.0$ ) pour encourager la diversité, proposent indépendamment des dimensions de qualité candidates. Chaque agent a pour tâche de définir des critères abstraits et généralisables pouvant être notés sur une échelle de notation ancrée comportementalement (BARS) à 5 points, uniquement sur la base d'une seule ligne de retour transcrite.
Consolidation des critères : Les critères candidats de tous les agents sont appliqués à l'ensemble de données complet. Un algorithme de clustering hiérarchique (liaison simple, distance euclidienne) regroupe les critères sémantiquement similaires. Le nombre optimal de clusters ( $k=6$ ) est déterminé via le coefficient de silhouette. Une instance finale GPT-4o (en mode déterministe, $T=0.0$ ) synthétise une définition unifiée et des ancres BARS pour chaque cluster, garantissant la reproductibilité et l'absence de chevauchement.

2. Consolidation et validation des critères

Le processus a produit six dimensions interprétables de qualité des retours :

Encourageant : Ton de soutien renforçant la confiance.
Urgent : Communication indiquant qu'une action immédiate est requise.
Actionnable : Étapes claires et spécifiques que l'apprenant peut mettre en œuvre.
Ponctuel : Retour fourni pendant ou immédiatement après l'action.
Clair : Message direct et sans ambiguïté.
Réflexif : Incitations à l'auto-évaluation ou à une compréhension plus profonde.

3. Notation automatique et évaluation

LLM en tant que juge : La grille finale à six dimensions est utilisée pour noter 4 210 instances de retours chirurgicaux en direct à l'aide de GPT-4o. Le modèle attribue des scores de 1 à 5 pour chaque dimension.
Modélisation prédictive : Les auteurs ont évalué la capacité de ces scores dérivés de l'IA à prédire quatre résultats comportementaux : Changement de comportement de l'apprenant, Réponse verbale de l'apprenant, Approbation du formateur et Désapprobation du formateur. Ils ont comparé leur modèle aux approches de modélisation thématique antérieures et aux catégories humaines annotées manuellement à l'aide de classificateurs Random Forest avec validation croisée stratifiée à cinq plis.
Alignement Humain-AI : Deux évaluateurs humains possédant des connaissances du domaine ont noté un sous-ensemble de 30 instances en utilisant la grille découverte par l'IA. La fiabilité inter-évaluateurs a été évaluée à l'aide du Kappa quadratique pondéré ( $\kappa$ ) pour mesurer l'accord entre les humains, entre les exécutions de l'IA, et entre les humains et l'IA.

Résultats clés

Performance prédictive

Les critères de qualité découverts par l'IA ont démontré un pouvoir prédictif supérieur par rapport aux méthodes antérieures :

Performance autonome : En utilisant uniquement les six scores de qualité, le modèle a obtenu des scores AUROC de 0,75 pour le changement de comportement de l'apprenant, 0,71 pour la réponse verbale, 0,66 pour l'approbation du formateur et 0,60 pour la désapprobation du formateur.
Amélioration comparative : Lorsqu'ils sont combinés avec des fonctionnalités de modélisation thématique antérieures, les scores de l'IA ont amélioré la prédiction du changement de comportement de l'apprenant de 12 % (AUROC 0,77) et de la désapprobation du formateur de 11 % (AUROC 0,63). Lorsqu'ils sont combinés avec des catégories définies par l'homme, les améliorations ont varié de 3 % à 12 % pour tous les résultats.
Significativité statistique : Le test de DeLong a confirmé que l'ajout de scores de qualité dérivés de l'IA a entraîné des améliorations statistiquement significatives ( $p < 0,05$ ) par rapport à la fois à la modélisation thématique et aux catégories définies par l'homme pour la plupart des résultats.

Alignement Humain-AI

Cohérence : Les exécutions de l'IA ont montré une cohérence interne quasi parfaite ( $\kappa = 0,92–1,00$ ).
Alignement : L'accord Humain-AI était substantiel ( $\kappa = 0,60–0,79$ ) pour cinq des six critères (Encouragement, Urgence, Actionnabilité, Clarté, Réflexion), approchant les niveaux d'accord inter-humain. L'accord était plus faible pour la « Ponctualité » ( $\kappa = 0,54$ ), reflétant la difficulté inhérente à juger des aspects temporels.

Association avec les résultats

L'analyse de la relation entre des dimensions de qualité spécifiques et les résultats a révélé des modèles distincts :

Ajustement comportemental : Fortement associé aux retours Actionnables (RR=1,22), Ponctuels (RR=1,24) et Urgents (RR=1,11). À l'inverse, les retours Encourageants et Réflexifs étaient associés à une réduction de l'ajustement comportemental, probablement parce qu'ils confirment un comportement correct ou stimulent une compréhension à long terme plutôt qu'une correction immédiate.
Reconnaissance verbale : Fortement associée aux retours Réflexifs (RR=1,34) et Clairs (RR=1,13). Les retours Encourageants et Ponctuels étaient associés à une réduction de la reconnaissance verbale.

Importance et revendications

L'article revendique faire progresser le domaine de l'éducation chirurgicale et de l'analyse de la communication de plusieurs manières :

Mécanisme de découverte novateur : Contrairement aux travaux antérieurs reposant sur des taxonomies prédéfinies ou un clustering non supervisé, ce cadre utilise une stratégie guidée par un LLM en deux étapes pour découvrir de nouveaux critères de notation interprétables par l'homme, ancrés dans des interactions cliniques réelles.
Évolutivité et interprétabilité : Le cadre fournit une méthode évolutive et automatisée pour évaluer la qualité de la délivrance des retours sans nécessiter d'annotation manuelle extensive. L'utilisation de BARS garantit que les critères sont interprétables à la fois par les humains et les machines.
Pertinence clinique : Les dimensions découvertes ne sont pas de simples caractéristiques linguistiques mais sont ancrées dans le comportement, montrant des associations statistiquement significatives avec les ajustements comportementaux des apprenants et les réactions des formateurs.
Application pratique : Les auteurs postulent que ce cadre peut sous-tendre des tableaux de bord de soins, des analyses longitudinales de curriculum et des audits automatisés d'assurance qualité. Il offre une voie pour améliorer l'efficacité de l'enseignement peropératoire et soutenir le développement des formateurs.
Généralisabilité : Bien que développé pour le bloc opératoire, les auteurs suggèrent que le pipeline pourrait se généraliser à d'autres contextes cliniques reposant sur des directives orales (par exemple, visites en réanimation, télémédecine), à condition que l'entrée soit basée sur du texte.

Les auteurs adoptent une attitude modeste concernant les limites, reconnaissant que l'analyse repose uniquement sur du texte (excluant les indices prosodiques ou visuels), que l'évaluation était rétrospective et que la découverte de la grille reposait sur un modèle propriétaire (GPT-4o), bien qu'ils aient publié la grille finale pour permettre une réimplémentation avec des modèles open source.