Speech-to-SOAP: End-to-End Summarization of Medical Dialogues: KIT@BeTraC 2026

Dans le rythme quotidien d'une consultation médicale, une partie importante du temps est souvent consacrée non pas au patient, mais à l'ordinateur. Tandis qu'un médecin écoute les symptômes et pose des questions, il doit simultanément saisir des notes dans un dossier numérique, une tâche qui détourne son attention de la personne en face de lui. Cette charge documentaire est une source bien connue de fatigue pour les travailleurs de la santé. Pour résoudre ce problème, les chercheurs se tournent depuis longtemps vers la reconnaissance vocale, espérant transformer les paroles prononcées directement en dossiers médicaux. Cependant, une simple transcription de ce qui a été dit est rarement suffisante ; l'objectif est de créer un résumé structuré appelé note SOAP. Ce format organise une visite en quatre sections distinctes : les plaintes subjectives du patient, les constatations objectives de l'examen, l'évaluation du médecin et le plan de traitement. Le défi consiste à apprendre à un ordinateur à écouter une conversation, à comprendre le contexte médical et à rédiger ce type spécifique de résumé sans intervention humaine, tout en préservant des indices subtils comme une toux ou une pause qui pourraient être perdus si l'ordinateur devait d'abord transcrire chaque mot avant de résumer.

Une équipe de chercheurs de l'Institut de technologie de Karlsruhe et de l'Université Carnegie Mellon s'est donné pour mission de relever ce défi lors du concours BeTraC 2026, une compétition conçue pour tester la capacité des machines à automatiser la documentation médicale. Leur approche, intitulée « Speech-to-SOAP », s'est concentrée sur la construction d'un système capable d'écouter un dialogue médecin-patient et de générer la note médicale finale en une seule étape continue, en sautant l'étape intermédiaire de la rédaction d'une transcription complète. Ils ont utilisé un type puissant de modèle d'intelligence artificielle connu sous le nom de modèle de fondation, qui avait déjà été entraîné sur de vastes quantités de données linguistiques et vocales générales. L'innovation principale des chercheurs n'était pas seulement d'utiliser ce modèle existant, mais de lui apprendre à gérer la nature désordonnée et variée des véritables conversations médicales. Ils ont créé un pipeline combinant plusieurs jeux de données différents, incluant certains entièrement synthétiques et d'autres contenant des enregistrements réels, afin d'entraîner le système. Pour les conversations dépourvues d'enregistrements audio, ils ont utilisé la parole générée par ordinateur pour combler les lacunes, garantissant ainsi que le modèle puisse apprendre à partir d'un volume massif d'exemples totalisant plus de 1,6 million d'heures d'audio.

Pour rendre les données d'entraînement utiles, l'équipe a dû enseigner à l'ordinateur ce qu'est réellement une note SOAP. Comme beaucoup de leurs conversations sources ne comprenaient pas de résumés préécrits, ils ont utilisé un autre outil d'IA pour générer ces résumés automatiquement. Ils ont élaboré des instructions spécifiques pour s'assurer que ces notes générées respectaient la bonne structure et utilisaient une terminologie médicale cohérente, créant ainsi une immense bibliothèque d'exemples pour l'étude du système principal. Les chercheurs ont ensuite testé diverses manières d'enseigner au modèle. Ils ont expérimenté différentes façons de donner des instructions à l'ordinateur, découvrant que les instructions détaillées fonctionnaient mieux lorsqu'elles étaient placées comme une commande directe au modèle plutôt que comme une règle de fond. Ils ont également étudié si le fait de montrer au modèle la transcription textuelle de la conversation aux côtés de l'audio était bénéfique. Leurs résultats ont suggéré que le fait de voir ensemble le son et le texte aidait le modèle à identifier les concepts médicaux avec plus de précision, même si le résumé final ressemblait à un résumé généré à partir de l'audio seul.

L'équipe a également exploré si le fait de diviser la tâche en étapes plus petites aiderait, comme demander à l'ordinateur d'écrire d'abord la transcription puis de la résumer, ou de lui demander d'expliquer son raisonnement avant de rédiger la note. Les résultats ont montré que, bien que ces étapes intermédiaires offraient certains avantages, l'approche la plus efficace pour la qualité globale du résumé était d'entraîner le modèle à passer directement de la parole au résumé final. Cependant, ils ont découvert que la supervision par Chaîne de Pensée (Chain-of-Thought ou CoT) permettait spécifiquement d'obtenir le score le plus élevé pour l'extraction de concepts cliniquement pertinents, suggérant que la modélisation explicite des étapes de raisonnement intermédiaire peut améliorer l'identification des détails médicaux, même si elle n'a pas surpassé la génération directe sur d'autres mesures. Concernant le nettoyage des données, l'équipe a constaté que la suppression des segments où la parole générée par ordinateur ne correspondait pas au texte n'améliorait pas les performances ; en fait, les meilleurs résultats ont été obtenus avec le jeu de données non nettoyé, filtré à une durée maximale de 21 minutes. Ils ont également découvert que limiter la longueur des conversations utilisées pour l'entraînement à vingt et une minutes était le point d'équilibre idéal ; des conversations plus longues introduisaient trop de bruit pour être utiles.

Dans l'étape finale de leur travail, les chercheurs ont combiné les meilleures versions de leurs modèles entraînés pour créer un système unique et robuste. Ce système fusionné a été testé contre une soumission contrastive spécifique des mêmes auteurs en utilisant trois ensembles de données de test différents : des conversations très similaires au matériel d'entraînement, des scénarios de jeux de rôle simulés et des enregistrements réalistes de visites médicales réelles. Le système combiné a systématiquement surpassé cette soumission contrastive sur tous les ensembles de test officiels, particulièrement dans les scénarios réalistes où les différences entre les données d'entraînement et les données de test étaient les plus grandes. Ce succès suggère que la moyenne des connaissances de plusieurs modèles entraînés différemment rend le système plus adaptable et moins susceptible d'être confondu par de nouvelles situations. L'étude conclut qu'en unifiant des sources de données diverses et en utilisant une approche directe de la parole au résumé, il est possible de créer un outil qui réduit considérablement la charge documentaire des professionnels de santé, leur permettant de se concentrer sur l'aspect humain des soins.