Single Microphone Own Voice Detection based on Simulated Transfer Functions for Hearing Aids

Cet article présente une méthode de détection de la voix propre pour les appareils auditifs utilisant un seul microphone, qui combine des fonctions de transfert acoustiques simulées et un classificateur basé sur des transformers pour atteindre une grande précision et une bonne généralisation aux conditions réelles.

L'essentiel

🎧 Le Défi : "Pourquoi ma propre voix me fait-elle mal aux oreilles ?"

Imaginez que vous portez un appareil auditif. C'est une merveille de technologie qui amplifie les voix des autres pour vous aider à entendre. Mais il y a un petit problème : votre propre voix.

Quand vous parlez, le son voyage à l'intérieur de votre tête (par les os) et sort par votre bouche. L'appareil auditif capte ce son, mais il le trouve souvent trop fort, trop grave ou "étrange". Pour éviter que l'utilisateur ne se plaigne, les fabricants baissent souvent le volume général, ce qui rend les autres voix moins claires. C'est un peu comme si on éteignait la lumière pour ne pas être ébloui par son propre reflet.

L'objectif de cette étude : Créer un "intelligent" capable de dire instantanément : "Attends, c'est le porteur qui parle !" et d'ajuster le volume spécifiquement pour sa propre voix, sans toucher aux autres.

🎤 Le Problème : Trop de microphones, trop cher

Les solutions actuelles utilisent souvent plusieurs microphones (comme un orchestre) pour trianguler d'où vient le son. C'est efficace, mais c'est cher, ça consomme beaucoup de batterie et ça ne marche pas bien si vous n'avez qu'un seul appareil auditif (une seule oreille).

Les chercheurs se sont demandé : Peut-on faire ça avec un seul micro, comme un détective solitaire ?

🧠 La Solution : L'Entraînement par la "Réalité Virtuelle"

C'est ici que l'astuce de l'article devient fascinante. Pour entraîner une intelligence artificielle (IA) à reconnaître la voix, il faut lui montrer des milliers d'exemples. Mais mesurer la façon dont le son voyage dans la tête de chaque humain est impossible (trop long, trop cher).

Alors, les chercheurs ont utilisé une analogie culinaire :

Imaginez que vous voulez apprendre à un chef à reconnaître un gâteau parfait. Au lieu de faire cuire 10 000 vrais gâteaux (ce qui prendrait des années), vous créez une recette mathématique pour simuler des milliers de gâteaux virtuels avec des ingrédients légèrement différents.

Voici comment ils ont fait, étape par étape :

1. La "Boule de Billard" (Le début simple)

Au départ, ils ont modélisé la tête humaine comme une simple boule rigide (comme une boule de billard) avec une bouche qui vibre.

• L'analogie : C'est comme dessiner un bonhomme bâton. Ce n'est pas réaliste, mais ça permet de comprendre les bases de la physique du son : comment le son rebondit sur une surface ronde.
• Le but : Entraîner l'IA sur des milliers de situations différentes (angles, distances) très rapidement.

2. Le "Mannequin de Couture" (Le passage au réel)

Ensuite, ils ont affiné le modèle. Ils ont remplacé la boule de billard par un mannequin en 3D avec une tête et un torse, plus proche de la réalité humaine.

• L'analogie : C'est comme passer du dessin animé au film en images de synthèse de haute qualité. L'IA apprend maintenant comment les oreilles, le nez et les épaules modifient le son.

3. Le "Super-Héros" (L'IA Transformer)

Ils ont utilisé un type d'IA très puissant (appelé "Transformer") qui agit comme un chef d'orchestre.

• Au lieu d'écouter chaque note séparément, il écoute toute la phrase pour comprendre le contexte.
• Il analyse les "empreintes digitales" du son : comment le son de votre propre voix (qui sort de votre bouche et rebondit sur votre tête) est différent du son d'un voisin qui parle devant vous.

🚀 Les Résultats : De la Simulation à la Réalité

Les chercheurs ont testé leur "chef d'orchestre" numérique :

1. En simulation pure : L'IA a réussi à distinguer la voix propre de la voix étrangère avec une précision de 95 %. C'est comme si elle avait un oreille de super-héros.
2. En situation réelle (avec un vrai appareil auditif) : C'est le vrai test. Ils ont pris des enregistrements réels de gens parlant dans une pièce.
   • Sans aucune modification de l'IA, elle a réussi à 80 %.
   • C'est énorme ! Cela prouve que l'entraînement par "réalité virtuelle" (simulation) a bien fonctionné pour apprendre à l'IA à gérer le monde réel, même sans avoir vu de vrais appareils auditifs pendant l'entraînement.

💡 Pourquoi c'est génial ?

• Économie : Pas besoin de microphones coûteux. Un seul micro suffit.
• Accessibilité : Ça marche même pour les gens qui n'ont qu'une seule oreille sourde.
• Le futur : Imaginez un appareil auditif qui s'adapte tout seul : il baisse le volume de votre voix quand vous parlez pour que ce soit confortable, mais il reste à fond pour entendre votre ami qui vous parle. Tout cela grâce à un "cerveau" qui a appris à voir le monde à travers des simulations mathématiques.

En résumé : Les chercheurs ont appris à une intelligence artificielle à reconnaître votre voix en lui faisant jouer à un jeu vidéo ultra-réaliste de propagation du son, lui évitant ainsi de devoir passer des années à mesurer la tête de millions de personnes. C'est une victoire pour le confort des utilisateurs d'appareils auditifs !

Résumé technique

1. Problématique

La détection de la voix propre (Own Voice Detection - OVD) est cruciale pour les appareils auditifs afin d'ajuster dynamiquement l'amplification : réduire le gain lorsque l'utilisateur parle pour éviter une sensation de voix trop forte ou « dans la tête », et l'augmenter pour les voix externes.

Cependant, les solutions existantes présentent plusieurs limites :

• Complexité matérielle : La plupart des méthodes reposent sur des réseaux de microphones multiples ou des capteurs supplémentaires (accéléromètres, capteurs osseux), ce qui augmente le coût, la consommation énergétique et la complexité de calibration.
• Limitations des méthodes ML actuelles : Les approches par apprentissage automatique (ML) existantes se concentrent souvent sur les caractéristiques vocales spécifiques à l'utilisateur (vocalisme), ce qui nécessite beaucoup de temps de traitement et de données d'entraînement par utilisateur.
• Difficulté de collecte de données : Obtenir de grandes quantités de mesures réelles de fonctions de transfert acoustiques (ATF) couvrant toutes les anatomies humaines et configurations d'appareils est extrêmement coûteux et peu scalable.

L'objectif de ce travail est de développer une méthode robuste d'OVD utilisant un seul microphone, basée sur l'analyse spatiale plutôt que sur les caractéristiques vocales, en surmontant le manque de données réelles grâce à une simulation avancée.

2. Méthodologie

L'approche proposée repose sur une stratégie d'augmentation de données utilisant des fonctions de transfert acoustiques (ATF) simulées pour entraîner un classifieur basé sur l'apprentissage profond.

A. Modélisation Acoustique et Génération de Données

Au lieu de mesurer physiquement les ATF, les auteurs proposent un pipeline de simulation en deux étapes pour générer des données d'entraînement diversifiées :

1. Modélisation Analytique (Étape 1) :
   • La tête est modélisée comme une sphère rigide.
   • La voix externe est simulée comme une source ponctuelle diffusée par la sphère.
   • La voix propre est modélisée comme un cap vibratoire (vibrating spherical cap) sur la surface de la sphère, représentant la radiation de la bouche couplée à la diffusion de la tête.
   • Cela permet de générer massivement des données avec des variations contrôlées (angles, distances, rayons de tête).
2. Modélisation Numérique (Étape 2) :
   • Utilisation de la méthode des éléments finis (via le logiciel Mesh2HRTF combinant ML-FMM et BEM).
   • Progression vers des modèles anatomiques réalistes : d'abord une sphère rigide, puis une tête humaine, et enfin un modèle tête et torse.
   • Ces simulations capturent des effets complexes comme la diffraction et les filtres spatiaux réalistes.

B. Architecture du Modèle

• Classification : Le problème est formulé comme une classification binaire au niveau du segment (voix propre vs voix externe).
• Réseau de Neurones : Utilisation d'un classifieur basé sur un Conformer (une architecture Transformer adaptée au traitement de la parole).
• Traitement :
  • Entrée : Spectrogramme log-Mel dérivé du STFT (Short-Time Fourier Transform) des signaux audio augmentés par les ATF.
  • Mécanisme : Un temporal gate pooling agrège les caractéristiques au niveau des trames (frames) pour produire une décision unique au niveau du segment.
• Stratégie d'Entraînement :
  1. Pré-entraînement sur les données analytiques (sphère rigide) pour apprendre les principes fondamentaux de propagation.
  2. Fine-tuning progressif sur les données numériques (Sphère → Tête → Tête et Torse) pour adapter le modèle à la complexité anatomique croissante.

C. Adaptation au Monde Réel (Test-Time Feature Compensation)

Pour combler l'écart de distribution entre les données simulées et les enregistrements réels d'appareils auditifs (sans nécessiter de fine-tuning sur des données réelles), les auteurs appliquent une compensation de caractéristiques légère au moment du test :

• Compensation de la coloration spectrale de l'appareil à l'aide d'un enregistrement de bruit blanc.
• Alignement des statistiques (moyenne et écart-type) des caractéristiques du domaine réel avec celles du domaine d'entraînement simulé (inspiré de l'adaptation de domaine CORAL).

3. Contributions Clés

1. Pipeline de Simulation Évolutive : Une méthode novatrice générant des ATF synthétiques allant de modèles géométriques simples à des modèles anatomiques détaillés, éliminant le besoin de mesures physiques coûteuses pour l'entraînement initial.
2. Approche Spatiale à Microphone Unique : Démonstration que les différences de propagation spatiale (capturées par les ATF simulées) suffisent à distinguer la voix propre des voix externes, sans dépendre des caractéristiques vocales de l'utilisateur.
3. Généralisation Simulé-Réel : Validation réussie d'un modèle entraîné uniquement sur des données simulées sur des enregistrements réels d'appareils auditifs, grâce à une compensation de domaine efficace.
4. Architecture Efficace : Utilisation d'un Conformer optimisé (0,9M de paramètres) adapté aux contraintes de calcul des appareils auditifs.

4. Résultats Expérimentaux

• Performance sur Données Simulées :
  • 95,52 % de précision sur un jeu de test basé sur le modèle « Tête et Torse » avec des énoncés de 15 secondes.
  • 90,02 % de précision sur des segments courts de 1 seconde, démontrant la robustesse pour une latence faible.
• Robustitude au Bruit : Le modèle maintient des performances élevées (jusqu'à 80-90 % selon le type de bruit et le SNR) même avec des augmentations de bruit (MUSAN dataset).
• Validation sur Données Réelles :
  • Sur des enregistrements réels d'un prototype d'appareil auditif, le modèle atteint 80 % de précision sans aucun fine-tuning sur ces données réelles, uniquement avec la compensation de caractéristiques.
  • L'AUC (Area Under Curve) passe de 0,96 (simulé) à 0,80 (réel, sans compensation de classe) et 0,94 (oracle).
• Comparaison avec l'État de l'Art :
  • Comparé à une base de référence ResNet (López-Espejo et al.), le modèle Conformer proposé surpasse les performances globales (96,66 % contre 94,30 %) et la détection de voix externes (91,80 % contre 83,18 %) sur un benchmark de données mesurées, tout en bénéficiant d'un pré-entraînement simulé.
• Analyse des Caractéristiques : Des études d'ablation confirment que le modèle ne repose pas sur le volume sonore (amplitude) mais bien sur les indices spatiaux et spectraux fournis par les ATF.

5. Signification et Perspectives

Ce travail démontre la faisabilité pratique d'une détection de voix propre fiable sur un seul microphone pour les appareils auditifs, en contournant les obstacles majeurs de coût et de complexité matérielle.

• Impact : Cette approche permettrait de réduire le coût et la consommation des appareils auditifs (en supprimant la nécessité de multiples microphones ou capteurs) tout en améliorant le confort de l'utilisateur.
• Futur : Les auteurs prévoient de réduire davantage la complexité du modèle, d'améliorer la détection sur des fenêtres temporelles encore plus courtes et de développer une implémentation en temps réel (causal) pour un déploiement matériel direct.

En résumé, cette étude propose un changement de paradigme : passer d'une dépendance aux mesures physiques coûteuses et aux capteurs multiples à une approche basée sur la simulation physique et l'apprentissage profond, ouvrant la voie à des solutions d'audiologie plus accessibles et performantes.