Iterative LLM-based improvement for French Clinical Interview Transcription and Speaker Diarization

Cette étude propose une architecture de post-traitement itérative basée sur un LLM (Qwen3-Next-80B) qui alterne la reconnaissance des locuteurs et des mots pour améliorer significativement la précision de la transcription et du diarisation des conversations cliniques françaises, réduisant les erreurs de diarisation tout en restant viable pour un déploiement hors ligne.

L'essentiel

🎙️ Le Problème : La machine qui "bégaye" en français médical

Imaginez que vous avez un traducteur automatique (une machine) qui écoute des conversations entre médecins et patients. Le but est de transformer la voix en texte écrit.

Le problème, c'est que dans le monde médical français, cette machine est souvent très mauvaise.

• Elle confond des mots qui se ressemblent (comme "crise d'épilepsie" et "crise d'épistaxe").
• Elle ne sait pas toujours qui parle (est-ce le médecin, l'infirmière ou le patient ?).
• Elle rate les hésitations ("euh...", "hm...") qui sont pourtant cruciales pour comprendre l'état émotionnel d'un patient.

Sur des conversations réelles, la machine se trompe plus de 30 % du temps. C'est comme si un interprète traduisait un discours politique en oubliant la moitié des mots et en attribuant les phrases à la mauvaise personne !

🛠️ La Solution : Le "Coach" IA (L'LLM)

Les chercheurs ont eu une idée brillante : au lieu de laisser la machine travailler seule, ils lui ont donné un réviseur humain virtuel, une Intelligence Artificielle très intelligente (appelée Qwen3-Next-80B).

Imaginez que la machine fait un premier brouillon (le "transcript"), et que l'IA agit comme un éditeur de texte super-puissant qui relit ce brouillon pour le corriger.

Mais attention, ils n'ont pas juste demandé "corrige ça". Ils ont créé une méthode en plusieurs étapes (comme un jeu de rôle) :

1. Étape 1 : Qui est qui ? (Le Detective)
   L'IA regarde le texte et dit : "Ah, celui qui pose des questions sur les images, c'est le neuropsychologue. Celui qui répond avec fatigue, c'est le patient." Elle remplace les noms génériques ("Locuteur 1", "Locuteur 2") par de vrais rôles.
2. Étape 2 : Qu'est-ce qu'il a dit ? (Le Correcteur)
   Maintenant qu'elle sait qui parle, l'IA utilise le contexte pour corriger les mots. Si le médecin parle de "tumeur", l'IA comprend que le mot "tutoie" (qui ressemble phonétiquement) est une erreur et le change en "tumeur".
3. Étape 3 : On re-vérifie tout !
   Comme le texte est maintenant plus propre, l'IA revient en arrière pour s'assurer qu'elle n'a pas fait d'erreur sur les rôles. C'est un va-et-vient entre "Qui parle ?" et "Qu'est-ce qu'il dit ?".

🧪 L'Expérience : Deux terrains de jeu différents

Les chercheurs ont testé cette méthode sur deux types de conversations très différents, comme tester une voiture sur un circuit de Formule 1 et sur un chemin de terre :

1. Le terrain "Neurochirurgie" (AN) : C'est une conversation structurée, comme un examen. Le médecin pose des questions précises, le patient répond. C'est calme et ordonné.
2. Le terrain "Prévention du suicide" (SP) : C'est une conversation téléphonique chargée d'émotions. Les gens parlent vite, s'interrompent, hésitent, pleurent parfois. C'est le chaos émotionnel.

🏆 Les Résultats : Une victoire pour l'IA

Voici ce qu'ils ont découvert :

• L'IA est un excellent éditeur : En utilisant cette méthode en 3 passes (3 tours de correction), ils ont réduit les erreurs de transcription de manière significative, surtout dans les conversations émotionnelles (prévention du suicide). Là où la machine se trompait souvent, l'IA a réussi à comprendre le contexte et à corriger les mots.
• La méthode "Qui parle d'abord" est la meilleure : Il vaut mieux d'abord identifier les rôles (médecin/patient) avant de corriger les mots. C'est comme essayer de corriger une dictée : il faut savoir qui a écrit la phrase pour comprendre le sens !
• Pas besoin d'être trop gourmand : Faire 3 passes de correction est le "juste milieu". Faire 4 ou 5 passes ne gagne pas beaucoup de temps supplémentaire, mais prend beaucoup plus de temps de calcul (comme relire un texte 10 fois pour gagner 1 seconde de précision).
• Gratuit et Privé : Ils ont utilisé un modèle "Open Source" (gratuit et téléchargeable) qui fonctionne aussi bien que les modèles payants des géants américains (comme GPT-4). Cela signifie que les hôpitaux français peuvent l'utiliser sur leurs propres serveurs, sans envoyer les données sensibles des patients sur internet.

💡 L'Analogie Finale

Imaginez que la transcription automatique de base est un touriste qui écoute une conversation en français et note ce qu'il entend. Il fait beaucoup de fautes d'orthographe et confond les gens.

Cette recherche propose d'ajouter un professeur de français natif (l'IA) qui se tient à côté du touriste.

1. Le professeur dit : "Attends, celui qui parle de 'tête', c'est le neurologue, pas le patient."
2. Le professeur corrige : "Non, il n'a pas dit 'je tue toi', il a dit 'je te tutoie'."
3. Le professeur vérifie : "Ok, maintenant que le texte est clair, je suis sûr que c'est bien le patient qui a dit ça."

En résumé : Cette étude montre qu'on peut transformer un brouillon médical plein de fautes en un texte précis et fiable, simplement en faisant travailler une IA intelligente en plusieurs étapes, sans coûter cher et en respectant la vie privée des patients. C'est une avancée majeure pour aider les médecins à mieux comprendre leurs patients grâce à l'ordinateur.

Résumé technique

1. Problématique

La reconnaissance automatique de la parole (ASR) pour les conversations médicales en français reste un défi majeur, avec des taux d'erreur de mots (WER) souvent supérieurs à 30 % dans des contextes spontanés. Les systèmes actuels, même adaptés au domaine médical, peinent à capturer les détails cliniques importants et à gérer la diarisation (attribution des locuteurs) lors de tours de parole rapides et de chevauchements.

• Limites spécifiques : Difficultés lexicales dues à la morphologie riche et aux homophones en français, rareté des données d'entraînement étiquetées de haute qualité, et erreurs de diarisation qui impactent l'analyse clinique.
• Objectif : Améliorer la précision de la transcription et l'attribution des locuteurs dans des entretiens cliniques français sans recourir à des solutions propriétaires coûteuses ou non conformes aux contraintes de confidentialité.

2. Méthodologie

Les auteurs proposent une architecture de post-traitement itérative basée sur les grands modèles de langage (LLM), alternant entre la reconnaissance des locuteurs (Speaker Recognition - SR) et la reconnaissance des mots (Word Recognition - WR).

• Données : L'étude utilise deux jeux de données cliniques français distincts :
  1. Prévention du suicide (SP) : Appels téléphoniques de suivi post-tentative, caractérisés par une grande diversité lexicale et une structure conversationnelle émotionnelle.
  2. Neurochirurgie éveillée (AN) : Consultations préopératoires structurées (question-réponse) impliquant des patients et divers professionnels de santé.
• Pipeline de base : Transcription initiale via WhisperX (modèle large-v3) et diarisation via Pyannote 3.1, générant une référence de base (Baseline) avec un WDER (Word Diarization Error Rate) d'environ 43 %.
• Architecture N-pass (Itérative) :
  • Le système utilise le modèle Qwen3-Next-80B (80 milliards de paramètres, version quantifiée 4-bit) pour le post-traitement.
  • Stratégie SR-led (Locuteur d'abord) : L'approche optimale identifiée alterne les passes :
    1. SR (Amélioration) : Mapping des labels génériques (SPEAKER 00) vers des rôles cliniques (Patient, Neurochirurgien) basé sur le vocabulaire et la hiérarchie.
    2. WR (Amélioration) : Correction des erreurs ASR, résolution des homophones et anonymisation des noms propres, en utilisant le contexte des rôles identifiés.
    3. SR (Raffinement) : Réévaluation de l'attribution des locuteurs sur la base du texte corrigé.
  • Prompting : Utilisation de Zero-shot prompting avec des instructions spécifiques au domaine (ex: préservation des marqueurs de parole spontanée comme "euh", "hm" pour l'analyse clinique).
• Évaluation : Métrique principale : WDER (taux d'erreur de diarisation au niveau des mots), combinant erreurs de transcription et erreurs d'attribution. Tests statistiques (Wilcoxon) et analyse du coût computationnel (Facteur Temps Réel - RTF).

3. Contributions Clés

• Architecture itérative SR/WR : Démonstration que l'alternance entre la correction des locuteurs et celle du texte améliore significativement la précision globale, surpassant les approches en une seule passe.
• Validation de modèles Open-Source : Preuve que le modèle open-weight Qwen3-Next-80B égale, voire dépasse, les performances des modèles commerciaux (GPT-4o-mini) dans ce contexte médical, tout en permettant un déploiement local (respect de la vie privée, pas de coûts par inférence).
• Stratégie de Prompting Robuste : Démonstration que le Zero-shot est préférable au Few-shot pour la stabilité de production (zéro échec de formatage) tout en maintenant de bonnes performances.
• Optimisation du compromis Coût/Précision : Identification de l'architecture 3-pass comme le point optimal, offrant les meilleurs gains sans dégradation de la stabilité ni explosion des coûts de calcul.

4. Résultats

• Performance Globale :
  • Sur le jeu de données Suicide Prevention (SP) : Réduction significative du WDER (de 42,45 % à 39,57 % avec la méthode 3-pass SR-led), avec une amélioration statistiquement significative (p < 0.05). La réduction relative atteint 6,8 %.
  • Sur le jeu de données Neurochirurgie (AN) : Le système maintient la stabilité du Baseline (WDER ~43,8 % vs 43,0 %), sans dégradation significative, ce qui est crucial pour les consultations structurées.
• Stabilité : Zéro échec de formatage (outliers) avec la configuration 3-pass et Qwen80B, contrairement à certaines configurations Few-shot ou modèles plus petits (QwenVL) qui ont généré des erreurs de parsing.
• Efficacité Computationnelle : Le facteur temps réel (RTF) de la méthode optimale est de 0,32 (le traitement prend environ un tiers du temps de l'enregistrement audio), rendant le déploiement hors ligne (offline) viable pour l'analyse clinique.
• Analyse Statistique : Les tests de Wilcoxon confirment que les améliorations sur les conversations émotionnelles (SP) sont significatives, tandis que la méthode ne dégrade pas les performances sur les consultations structurées (AN).

5. Signification et Impact

• Déploiement Clinique Réaliste : Cette étude valide la faisabilité d'utiliser des LLM open-source pour le post-traitement de transcriptions médicales en français, offrant une alternative aux plateformes commerciales qui posent des problèmes de confidentialité des données patients.
• Adaptabilité aux Contextes Émotionnels : La méthode excelle particulièrement dans les contextes à forte charge émotionnelle et diversité lexicale (comme la prévention du suicide), où la compréhension fine des rôles et des marqueurs prosodiques est critique pour l'analyse clinique.
• Cadre Reproductible : Le code source et les prompts sont publics, fournissant un cadre reproductible pour d'autres langues sous-équipées en ressources médicales, réduisant la dépendance aux modèles anglophones.
• Perspectives : Bien que la taille de l'échantillon soit modeste, les résultats ouvrent la voie à l'intégration de techniques avancées (Chain-of-Thought, ensembles de modèles) et à une validation sur des corpus plus larges et d'autres spécialités médicales.

En conclusion, cette recherche propose une solution robuste, économiquement viable et respectueuse de la vie privée pour améliorer la qualité des transcriptions d'entretiens cliniques en français, avec un impact mesurable sur la précision de l'attribution des locuteurs dans des scénarios complexes.