StethoLM: Audio Language Model for Cardiopulmonary Analysis Across Clinical Tasks

Ce papier présente StethoLM, le premier modèle de langage audio spécialisé dans l'auscultation cardiopulmonaire, qui intègre l'encodage audio et un modèle linguistique médical pour exécuter une variété de tâches cliniques instructionnelles avec une grande robustesse grâce à l'entraînement sur le benchmark StethoBench.

L'essentiel

🩺 StethoLM : Le "Super-Interprète" pour les Sons du Cœur et des Poumons

Imaginez que vous êtes médecin. Votre outil le plus ancien et le plus simple est le stéthoscope. En posant l'oreille sur le dos d'un patient, vous écoutez le cœur battre ou l'air circuler dans les poumons. C'est comme écouter une symphonie : un rythme régulier est une bonne nouvelle, mais un sifflement, un craquement ou un battement irrégulier peut révéler une maladie.

Le problème ? Pour comprendre cette "musique" médicale, il faut des années d'entraînement. Un expert peut distinguer un simple rhume d'une pneumonie grave juste au son. Mais beaucoup de médecins n'ont pas ce niveau d'expertise, et dans les régions pauvres, il n'y a souvent personne pour écouter.

C'est ici qu'intervient StethoLM.

🤖 Ce n'est pas un simple "détecteur de bruit"

Jusqu'à présent, les intelligences artificielles (IA) qui écoutaient les poumons fonctionnaient comme des étiquettes de tri. On leur disait : "Est-ce normal ou anormal ?" et elles répondaient par un simple "Oui" ou "Non". C'est utile, mais très limité. C'est comme si un traducteur vous disait seulement "Oui, c'est du français" sans jamais vous expliquer ce que la personne a dit.

StethoLM, lui, est différent. C'est un modèle de langage audio.
Imaginez-le comme un médecin-robot très bavard et très curieux.

1. Il écoute le son (le stéthoscope numérique).
2. Il réfléchit comme un humain (il utilise un cerveau d'IA entraîné sur des millions de livres médicaux).
3. Il parle : au lieu de juste dire "Anormal", il vous explique : "J'entends un sifflement dans la partie inférieure droite du poumon, ce qui ressemble à de l'asthme. Voici pourquoi..."

🎓 Comment l'a-t-on appris à parler ? (Le "StethoBench")

Pour entraîner ce robot, les chercheurs ont dû lui donner des milliers d'exercices. Ils ont créé un immense manuel d'apprentissage appelé StethoBench.

Imaginez que vous voulez apprendre à un enfant à jouer au foot. Vous ne lui donnez pas juste un ballon. Vous lui donnez :

• Des vidéos de matchs (les enregistrements de sons).
• Des commentaires d'experts (les diagnostics).
• Des milliers de questions et réponses : "Qu'est-ce que c'est ?", "Où est-ce que ça fait mal ?", "Est-ce grave ?", "Compare ce son avec celui d'hier."

Les chercheurs ont pris 16 000 enregistrements de cœurs et de poumons et ont demandé à une IA très puissante de générer 77 000 questions et réponses différentes à partir de ces sons. C'est comme si on avait créé une école de médecine virtuelle où le robot a lu tous les manuels et écouté tous les patients possibles.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Lorsqu'ils ont testé StethoLM, ils l'ont mis en compétition avec d'autres IA :

• Les IA "Généralistes" (comme celles qui écoutent de la musique ou la parole humaine) : Elles ont échoué. Elles entendaient le son, mais ne comprenaient pas la différence subtile entre un "craquement fin" et un "craquement grossier" qui change tout pour un médecin. C'est comme essayer de reconnaître une maladie en écoutant un concert de rock : les sons sont là, mais le sens médical manque.
• StethoLM : Grâce à son entraînement spécial, il a devancé tout le monde. Il ne se contente pas de classer le son, il raisonne. Il peut dire : "Ce son est anormal, et voici la raison probable."

⚠️ Les Limites : Il n'est pas encore un Dieu

Le papier est très honnête sur les limites. StethoLM est un super-assistant, pas un médecin autonome.

• Il se trompe parfois : Sa précision est d'environ 48 %. C'est bien mieux que rien, mais pas assez pour prendre une décision de vie ou de mort tout seul.
• Il a besoin de contexte : Si on lui donne un son de mauvaise qualité ou un type de maladie qu'il n'a jamais entendu, il peut se tromper.
• Il ne doit pas mentir : Les chercheurs ont remarqué un problème étrange : si on enlève le son et qu'on lui demande juste de parler, il continue de donner un diagnostic ! C'est dangereux. Il faut donc qu'un humain vérifie toujours ce qu'il dit.

🌟 En résumé

StethoLM, c'est comme donner un stéthoscope magique à un assistant médical. Il ne remplace pas le docteur, mais il peut l'aider à :

1. Écouter des sons que l'oreille humaine pourrait manquer.
2. Expliquer ce qu'il entend en langage clair.
3. Comparé les sons d'un patient d'une semaine à l'autre pour voir si ça s'améliore.

C'est une première étape vers un futur où l'IA aide les médecins à sauver plus de vies, surtout là où les experts sont rares. C'est un outil de détection et d'aide à la décision, pas un remplaçant de l'humain.

Résumé technique

1. Problématique et Contexte

L'auscultation (écoute des sons cardiaques et pulmonaires) est une étape fondamentale de l'examen clinique, permettant de détecter des murmures, des sifflements (wheezes) et des crépitements. Cependant, son interprétation nécessite une expertise clinique de longue date, ce qui limite sa scalabilité, en particulier dans les régions à ressources limitées.

Les approches d'apprentissage automatique existantes pour l'analyse des sons cardiopulmonaires sont principalement limitées à un paradigme de classification binaire (ex: "normal" vs "anormal" ou "murmure" vs "pas de murmure"). Ces modèles :

• Manquent d'interprétabilité clinique.
• Ne peuvent pas effectuer de tâches complexes de raisonnement clinique (diagnostic différentiel, comparaison temporelle, génération de rapports).
• Échouent à capturer les nuances acoustiques fines (ex: durée des crépitements <5ms vs >10ms, timing systolique/diastolique) nécessaires à un diagnostic expert.

Il existe donc un besoin critique d'un système capable de comprendre les instructions naturelles et de fournir des réponses textuelles libres et interprétables, mimant le dialogue clinique, plutôt que de se contenter d'une étiquette fixe.

2. Méthodologie

L'approche proposée, StethoLM, est le premier modèle de langage audio spécialisé pour l'auscultation cardiopulmonaire.

A. Architecture du Modèle

StethoLM est un modèle multimodal composé de trois modules principaux :

1. Encodeur Audio ($E_A$) : Un EfficientNet pré-entraîné sur des sons médicaux qui transforme le spectrogramme Mel (64 bandes de fréquence) en vecteurs de caractéristiques.
2. Réseau de Projection ($M_P$) : Un Perceptron Multicouche (MLP) qui projette les caractéristiques audio dans l'espace d'embedding du modèle de langage, générant des "tokens préfixes" audio (4 tokens de dimension 4096).
3. Backbone de Langage ($G_{LLM}$) : Utilisation de MedGemma-4B-IT, un modèle de langage pré-entraîné avec des connaissances médicales, fine-tuné via LoRA (Low-Rank Adaptation) pour adapter les poids sans les modifier entièrement.

Le modèle apprend à générer une séquence de tokens de réponse $y$ conditionnée par l'audio $x$ et une instruction textuelle $q$, en maximisant la vraisemblance de la réponse.

B. Entraînement et Optimisation

L'entraînement suit une stratégie en deux étapes :

1. Supervised Fine-Tuning (SFT) : Le modèle est entraîné sur des triplets (Audio, Instruction, Réponse) pour apprendre sept types de tâches cliniques. Les encodeurs audio et le réseau de projection sont mis à jour entièrement, tandis que le backbone LLM utilise LoRA.
2. Direct Preference Optimization (DPO) : Une tentative d'utilisation de l'optimisation par préférence directe (mDPO) pour affiner la qualité des réponses en apprenant à distinguer les réponses préférées des non-préférées, bien que les résultats de cette étape aient montré des limites (voir section Résultats).

C. StethoBench : Le Benchmark

Pour entraîner et évaluer le modèle, les auteurs ont créé StethoBench, un benchmark multimodal complet :

• Données : Agrégation de 16 125 enregistrements audio provenant de 7 jeux de données publics (ICBHI, KAUH, COUGHVID, etc.), couvrant des pathologies respiratoires et cardiaques.
• Génération de données : Utilisation de LLMs (GPT-4o) pour synthétiser 77 027 paires instruction-réponse à partir des métadonnées et annotations existantes.
• Tâches couvertes :
  1. Classification binaire (Normal/Anormal).
  2. Détection d'événements acoustiques.
  3. Rapport clinique (génération de texte structuré).
  4. Raisonnement diagnostique (explication des mécanismes physiopathologiques).
  5. Diagnostic différentiel (classement des hypothèses).
  6. Analyse comparative (comparaison de deux enregistrements).
  7. Analyse basée sur la localisation anatomique.
• Évaluation OOD (Out-of-Distribution) : Le benchmark inclut des données externes (TR, CinC, BMD, FluSense) pour tester la robustesse face aux changements de dispositifs d'enregistrement, de populations de patients et de protocoles.

3. Résultats Clés

Les expériences ont été menées sur StethoBench en comparant StethoLM à des modèles de langage textuel, des modèles audio-langage généraux (Pengi, LTU, GAMA) et des modèles multimodaux massifs (Gemini-2.5-Flash, Qwen2.5-Omni).

• Performance Supérieure : StethoLM atteint un BERTScore de 71,8 % et une précision clinique de 47,8 %, surpassant significativement tous les modèles de base. Par rapport au meilleur modèle généraliste (Qwen2.5-Omni), StethoLM améliore la précision de +26,6 points de pourcentage.
• Importance de l'Ancrage Audio : Un modèle de langage médical sans entrée audio (MedGemma seul) obtient un BERTScore correct (43,8 %) mais une précision clinique quasi nulle (2,8 %), prouvant que la connaissance médicale textuelle seule ne suffit pas sans l'ancrage acoustique.
• Spécialisation de Domaine : Les modèles entraînés sur des sons généraux (musique, parole) échouent presque totalement (précision < 4 %), confirmant que les caractéristiques diagnostiques de l'auscultation (temporelles et spectrales fines) nécessitent un entraînement spécifique sur des données médicales.
• Généralisation OOD : StethoLM maintient une performance supérieure sur la plupart des données hors distribution (ex: 25,7 % de précision sur le dataset TR), bien que la précision chute sur des données très bruitées ou non structurées comme FluSense, révélant les limites de la spécialisation face à des environnements non contrôlés.
• Classification Zero-Shot : Grâce à la génération de rapports descriptifs, StethoLM peut effectuer une classification zero-shot compétitive (ex: 69,6 % pour la détection COVID par expiration), surpassant des modèles de classification supervisés classiques.
• Limites de l'Optimisation par Préférence : L'ajout de mDPO n'a pas amélioré les performances et a légèrement dégradé les résultats, suggérant que le BERTScore n'est pas un signal de préférence fiable pour la justesse diagnostique et que le SFT fournit déjà une supervision suffisante.

4. Contributions Principales

1. StethoLM : Le premier modèle audio-langage conçu spécifiquement pour l'auscultation cardiopulmonaire, capable d'exécuter sept tâches cliniques distinctes via des instructions naturelles.
2. StethoBench : Un benchmark exhaustif de 77 027 paires instruction-réponse, dépassant le paradigme de classification unique pour faciliter le développement de modèles généralistes en auscultation.
3. Preuve de Concept : Démonstration que l'entraînement spécialisé sur des données cliniques audio est indispensable pour atteindre des performances cliniques, surpassant les capacités émergentes des grands modèles multimodaux généralistes.
4. Analyse de l'Explicabilité : Visualisation des mécanismes d'attention montrant que le modèle maintient un lien fort avec les embeddings audio tout au long de la génération de texte, confirmant un véritable raisonnement basé sur le son.

5. Signification et Perspectives

Ce travail marque un tournant dans l'IA médicale pour l'auscultation, passant d'une classification rigide à un système d'aide à la décision clinique interactif et interprétable.

• Impact Clinique : StethoLM ne vise pas à remplacer le médecin, mais à agir comme un outil d'augmentation capable de générer des rapports préliminaires, d'expliquer les raisonnements et de comparer des enregistrements longitudinaux.
• Défis et Sécurité : L'étude met en lumière des risques de sécurité, notamment la tendance du modèle à générer des réponses diagnostiques même en l'absence d'audio (après entraînement multimodal), soulignant la nécessité de mécanismes de refus robustes avant un déploiement réel.
• Futur : Les auteurs suggèrent des directions pour l'intégration de données démographiques et d'antécédents médicaux, l'ajout de quantification de l'incertitude, et la validation clinique prospective pour évaluer l'impact réel sur le flux de travail des soignants.

En conclusion, StethoLM établit une fondation solide pour des systèmes d'IA suivant des instructions dans le domaine de l'auscultation, démontrant que la combinaison d'un entraînement spécialisé et d'interfaces linguistiques naturelles peut soutenir les tâches de raisonnement complexes des cliniciens.