Unifying Acoustic Features and Text with Multimodal LLMs for Neurodegenerative Screening

Résumé Technique : NeurMLLM pour le dépistage des maladies neurodégénératives

Énoncé du problème
Les maladies neurodégénératives, spécifiquement la maladie d'Alzheimer (MA) et la maladie de Parkinson (MP), représentent un fardeau important pour les systèmes de santé mondiaux, restant souvent sous-diagnostiquées jusqu'à ce que des dommages irréversibles surviennent. Bien que l'imagerie neurofonctionnelle et les tests cliniques soient définitifs, leur coût élevé, leur caractère invasif et leur accessibilité limitée entravent le dépistage à grande échelle. Le dépistage basé sur la voix offre une alternative évolutive et non invasive, car la neurodégénérescence perturbe le contrôle moteur de la parole et la planification linguistique cognitive, se manifestant par des changements acoustiques et linguistiques mesurables (ex. : ralentissement de l'articulation, réduction de la variation de la hauteur tonale).

Cependant, les approches actuelles sont confrontées à deux défis majeurs :

1. Intégration des données : De nombreuses études actuelles sur les grands modèles de langage (LLM) sont centrées sur les transcriptions, échouant à intégrer des représentations acoustiques hétérogènes (spectrogrammes, MFCC) avec des contextes linguistiques et démographiques au sein d'un modèle unique unifié.
2. Rigidité de la décision : De nombreux systèmes basés sur les LLM reposent sur une tête de classification qui mappe les représentations agrégées vers un espace d'étiquettes fixes. Cette couche de décision rigide est difficile à généraliser à travers différentes tâches et est moins alignée avec les interactions multimodales au niveau des tokens, particulièrement dans des contextes à ressources limitées avec de petites cohortes.

Méthodologie : NeurMLLM
Les auteurs proposent NeurMLLM, un cadre génératif multimodal efficace conçu pour la stadification neurodégénérative fine. L'architecture fonctionne comme suit :

• Modalités d'entrée : Le modèle traite trois entrées distinctes :
  • Caractéristiques acoustiques : Spectrogrammes et coefficients cepstraux sur l'échelle Mel (MFCC) dérivés des données vocales des patients.
  • Contexte linguistique : Transcriptions de la parole alignées.
  • Contexte démographique : Attributs tels que l'âge et le genre.
• Architecture :
  • Encodage acoustique : Deux Transformers de vision (ViT) spécifiques à la modalité encodent les cartes de spectrogrammes et de MFCC.
  • Projection : Des couches linéaires légères projettent ces plongements (embeddings) acoustiques dans l'espace d'encodage d'un LLM de base.
  • Séquence unifiée : Les plongements acoustiques projetés sont concaténés avec les plongements textuels (dérivés des transcriptions et des instructions démographiques) et des marqueurs de modalité spéciaux (ex. : [SPEC], [MFCC], [TEXT]) pour former une séquence de tokens unique.
  • Fusion : Le LLM de base utilise des mécanismes d'auto-attention pour permettre l'interaction cross-modale entre tous les tokens au sein de la séquence unifiée.
• Stratégie d'entraînement :
  • Ajustement fin (Fine-tuning) : Le modèle est ajusté via l'adaptation de bas rang (LoRA) sur les matrices de projection de requête (query) et de valeur (value) des blocs transformeurs, maintenant la majorité des poids du modèle de base gelés pour garantir l'efficacité paramétrique.
  • Objectif génératif : Au lieu d'utiliser une tête de classification, la tâche de stadification est formulée comme une génération de tokens d'étiquettes contrainte. Le modèle est entraîné par instruction pour prédire de manière autorégressive un token d'étiquette spécifique (ex. : "MCI", "AD", "CN") à partir d'un ensemble prédéfini, guidé par des invites (prompts) spécifiques à la tâche.

Principales contributions

1. Architecture multimodale : Introduction d'un cadre qui modélise conjointement les facteurs paralinguistiques (acoustiques), linguistiques (transcription) et de population (démographie) au sein d'une architecture unique, comblant ainsi la lacune des études de LLM centrées sur la transcription.
2. Paradigme de stadification générative : Démonstration que les LLM ajustés par instruction effectuant une génération de tokens d'étiquettes contrainte surpassent à la fois les méthodes classiques d'apprentissage automatique et les approches basées sur les LLM utilisant des têtes de classification.
3. Validation approfondie : Évaluation complète sur le jeu de données Bridge2AI-Voice (v3.0.0) pour la stadification multi-classes de la MA et de la MP, montrant une supériorité constante par rapport aux modèles de référence (baselines).

Résultats expérimentaux
Le cadre a été évalué sur le jeu de données Bridge2AI-Voice, impliquant 156 participants pour la MA (stratifiés en CN, MCI, AD) et 167 pour la MP (stratifiés en Contrôle Sain, Stade Précoce, Stade Avancé).

• Performance : NeurMLLM a obtenu les meilleurs résultats pour les deux maladies. Pour la stadification de la MA, il a amélioré l'AUROC macro de 0,852 (baseline ClsHead) à 0,917 et la précision de 0,740 à 0,823. Pour la stadification de la MP, il a atteint un AUROC macro de 0,872 et une précision de 0,735.
• Analyse de la modalité : Bien que les entrées uniquement acoustiques aient été performantes, la fusion multimodale des données acoustiques, textuelles et démographiques a produit les meilleurs résultats, indiquant que l'information linguistique fournit un contexte complémentaire qui améliore le rappel, particulièrement dans les cas limites.
• Sensibilité du modèle de base (Backbone) : Les expériences avec différents modèles de base (Llama-3.2-3B, Qwen2.5-3B) ont indiqué que les modèles entraînés par instruction (ex. : Llama-3.2-3B-Instruct) s'alignent généralement mieux avec l'objectif de stadification que les modèles de base, particulièrement pour la MA.

Signification et affirmations
L'article affirme que le fait de reformuler la stadification neurodégénérative en une tâche de génération de tokens d'étiquettes contrainte, combinée à un ajustement par instruction efficace en paramètres, offre une alternative simple et efficace aux têtes de classification traditionnelles. Les auteurs soutiennent que le décodage génératif réutilise les projections de sortie pré-entraînées, préservant la cohérence avec l'objectif de pré-entraînement du LLM et évitant les difficultés liées à l'apprentissage d'une nouvelle tête de classification à partir de cohortes de petite taille.

Les résultats suggèrent que les LLM multimodaux ont un fort potentiel pour un dépistage neurodégénératif accessible et évolutif. En intégrant des données acoustiques, linguistiques et démographiques, NeurMLLM permet une stadification fine avec une précision et une sensibilité accrues pour les classes minoritaires. Les auteurs notent que bien que la petite taille de la cohorte introduise une variance, les conclusions constituent des signaux encourageants quant à la viabilité de cette approche, les travaux futurs pouvant potentiellement s'étendre à d'autres modalités (ex. : imagerie neurofonctionnelle) et à des sorties génératives plus complexes (ex. : résumés cliniques).