Fine-grained Soundscape Control for Augmented Hearing

Ce papier présente Aurchestra, le premier système permettant un contrôle fin et en temps réel des paysages sonores sur des appareils auditifs contraints, grâce à une interface dynamique et un réseau d'extraction multi-sorties qui génère des flux audio séparés pour jusqu'à cinq sources sonores simultanées afin de permettre un mélange personnalisé de l'environnement acoustique.

L'essentiel

Imaginez que votre monde sonore est comme une grande soupe où tous les ingrédients sont mélangés : la voix de votre collègue, le bruit de la circulation, le chant des oiseaux, le klaxon d'une voiture et la musique d'un café. Aujourd'hui, les écouteurs intelligents (les "hearables") vous donnent deux options très grossières : soit vous mettez le bocal au congélateur pour tout figer (annulation de bruit totale), soit vous essayez d'entendre un seul ingrédient en espérant que le reste disparaisse. C'est comme essayer de manger de la soupe en ne goûtant que le sel, ou en avalant tout d'un coup sans pouvoir choisir.

Aurchestra, c'est le système présenté dans cet article qui change radicalement la donne. Voici comment cela fonctionne, expliqué simplement :

1. Le Chef d'Orchestre de votre vie

L'idée centrale est de transformer le monde sonore en un studio d'enregistrement programmable. Au lieu de subir le bruit, vous devenez le chef d'orchestre (ou l'ingénieur du son) de votre propre réalité.

• L'analogie du mixage : Imaginez que chaque type de son (la parole, les voitures, les oiseaux) est une piste sur une console de mixage. Avec Aurchestra, vous pouvez tourner le bouton de volume de la "piste trafic" vers le bas pour le rendre silencieux, tout en augmentant le volume de la "piste conversation" pour mieux entendre votre ami, et en gardant le volume de la "piste nature" pour profiter du chant des oiseaux. Tout cela se fait en temps réel, directement dans vos oreilles.

2. La Magie de la "Détection Dynamique"

Le problème avec les anciennes technologies, c'est qu'elles vous obligeaient à choisir manuellement parmi une liste interminable de 20 ou 30 sons possibles. C'est fastidieux.

Aurchestra est plus malin :

• Le radar intelligent : Le système écoute en permanence l'environnement. Si vous êtes dans un parc, il détecte automatiquement les oiseaux et les voitures. Si vous entrez dans un bureau, il repère les claviers et les conversations.
• L'interface vivante : Au lieu de vous montrer toute la liste, l'application sur votre téléphone ne vous affiche que les sons qui sont réellement là. C'est comme si votre téléphone vous disait : "Hé, il y a du bruit de circulation et des oiseaux ici, veux-tu régler le volume de l'un ou de l'autre ?" Cela vous évite de chercher dans une longue liste et vous fait gagner du temps.

3. Le Cerveau dans l'oreille (et le téléphone)

Faire tout cela demande beaucoup de calculs, ce qui est difficile pour de petits appareils comme des écouteurs qui ont une batterie limitée. Les chercheurs ont dû créer des "cerveaux" (des modèles d'intelligence artificielle) très légers et rapides.

• La découpe en tranches : Le système découpe le son en de toutes petites tranches (comme des tranches de pain très fines, de 6 millisecondes seulement). Il analyse chaque tranche instantanément pour séparer les sons.
• L'optimisation : Ils ont adapté ce cerveau pour qu'il fonctionne aussi bien sur un petit ordinateur portable (comme un Raspberry Pi) que sur des puces spécialisées dans les aides auditives. Résultat : tout se passe en temps réel, sans délai perceptible.

4. Pourquoi c'est révolutionnaire ?

Dans les tests réels, les utilisateurs ont pu :

• Écouter leur conversation dans un café bruyant tout en gardant un fond sonore agréable.
• Entendre un klaxon pour leur sécurité tout en atténuant le bruit de la circulation.
• Profiter de la nature sans être dérangé par les travaux à côté.

En résumé, Aurchestra ne se contente pas de bloquer le bruit. Il vous donne les outils pour sculpter votre monde sonore. Il transforme le chaos acétique en une expérience personnalisée, où vous décidez ce que vous voulez entendre, ce que vous voulez atténuer et ce que vous voulez laisser tel quel. C'est passer d'un spectateur passif à un directeur artistique de votre propre vie.

Résumé technique

Voici un résumé technique détaillé du papier de recherche « Fine-grained Soundscape Control for Augmented Hearing » (Contrôle fin du paysage sonore pour l'audition augmentée), présentant le système Aurchestra.

1. Problématique

Les dispositifs auditifs portables (hearables) actuels, qu'ils soient commerciaux ou prototypes de recherche, offrent un contrôle sonore « grossier » (blunt). Les utilisateurs ne peuvent généralement choisir qu'entre deux modes :

• Une annulation de bruit globale (tout supprimer).
• Une focalisation sur une seule source sonore cible (tout le reste est atténué).

Cependant, les scènes acoustiques réelles sont complexes et dynamiques, contenant de multiples sources simultanées (voix, trafic, oiseaux, musique, alarmes). Les utilisateurs souhaitent souvent ajuster indépendamment le volume de certaines sources tout en en atténuant d'autres, sans pour autant tout supprimer. Le défi technique réside dans la création d'un système capable d'extraire et de mixer plusieurs flux sonores en temps réel sur des dispositifs à ressources limitées (faible puissance de calcul, contraintes énergétiques strictes, latence inférieure à 20 ms).

2. Méthodologie et Architecture du Système

Aurchestra est le premier système à fournir un contrôle fin du paysage sonore par classe de son sur des écouteurs. Il repose sur trois piliers techniques :

A. Extraction de Cible Multi-Sorties en Temps Réel

Le cœur du système est un réseau de neurones conçu pour extraire plusieurs classes de sons simultanément à partir d'un mélange binaural.

• Architecture : Le modèle utilise une approche temps-fréquence (TF) avec un encodeur convolutif, des blocs de modélisation TF (spectral et temporel) et un décodeur.
• Conditionnement : Le réseau est conditionné par un encodage « multi-hot » (une représentation binaire des classes de sons sélectionnées par l'utilisateur).
• Stratégie de Sortie : Au lieu de générer un flux pour chaque classe possible (ce qui serait inefficace), le réseau génère un nombre fixe de flux de sortie (par exemple, 5). Les classes cibles sélectionnées sont mappées dynamiquement à ces flux selon un ordre déterministe (ordre alphabétique des classes actives). Cela évite l'utilisation de techniques d'entraînement invariantes aux permutations (PIT), souvent instables, et réduit la charge computationnelle.
• Latence : Le système traite des chunks audio de 6 ms avec une latence algorithmique totale de 10 ms, utilisant une fenêtre STFT à double fenêtre pour permettre la reconstruction parfaite du signal tout en minimisant le délai.

B. Optimisation Matérielle (Hardware-Aware)

Pour fonctionner sur des plateformes variées et contraintes, trois variantes du modèle ont été développées :

1. Orange Pi 5B (CPU Cortex-A76) : Utilise des LSTM bidirectionnels et une architecture complète.
2. Raspberry Pi 4B (CPU Cortex-A72) : Version compressée avec réduction du nombre de bandes de fréquence et dimensions latentes plus petites.
3. NeuralAids (Accélérateur GAP9 RISC-V) : Remplace les LSTM séquentiels par des blocs MLP-Mixer hautement parallélisables pour exploiter les 10 cœurs du processeur, permettant une inférence très efficace en faible puissance (56 mW).

C. Interface Dynamique et Détection d'Événements Sonores (SED)

Pour éviter de forcer l'utilisateur à parcourir une liste statique de 20+ catégories :

• Un modèle de détection d'événements sonores (basé sur un Audio Spectrogram Transformer - AST fine-tuné) analyse l'environnement en temps réel.
• L'interface mobile affiche uniquement les classes de sons actuellement actives.
• Fine-tuning : Le modèle AST a été entraîné sur des mélanges denses et chevauchants (jusqu'à 5 sources simultanées) pour maintenir une haute précision, là où les modèles pré-entraînés standards échouent.
• Réduction de latence perçue : Une stratégie de mise en mémoire tampon décalée (staggered buffering) permet de mettre à jour l'interface sans que l'utilisateur ne ressente le délai de traitement des segments audio de 3 à 5 secondes.

3. Contributions Clés

1. Premier système de contrôle par classe : Aurchestra permet de mixer le monde sonore comme un ingénieur du son, en ajustant le volume de chaque classe (ex: augmenter la voix, réduire le trafic, garder les oiseaux) indépendamment.
2. Extraction Multi-Sorties Efficace : Démonstration qu'un réseau peut extraire jusqu'à 5 flux simultanés avec une qualité supérieure et moins de paramètres (0,5 M) que les approches précédentes (ex: Waveformer avec 1,2 M de paramètres).
3. Adaptabilité Matérielle : Validation du système sur trois plateformes hétérogènes (Orange Pi, Raspberry Pi, GAP9) avec des temps d'inférence inférieurs à 6 ms, garantissant le fonctionnement en temps réel.
4. Interface Contextuelle : Réduction de 67,9 % du temps de sélection des sons grâce à la détection automatique des sons actifs, éliminant la charge cognitive de la recherche manuelle.

4. Résultats Expérimentaux

• Qualité de Séparation :
  • Sur le modèle Orange Pi, le système atteint un SNRi de 11,99 dB (contre 7,29 dB pour la baseline Waveformer) avec moins de la moitié des paramètres.
  • La performance reste stable lors de l'extraction de jusqu'à 5 flux simultanés (SNRi ~9,5–12 dB), bien que la qualité chute significativement au-delà de 5 sources.
• Performance Matérielle :
  • Temps d'inférence : 5,22 ms (Orange Pi), 4,47 ms (Raspberry Pi), 5,23 ms (GAP9).
  • Consommation énergétique : 56 mW sur GAP9, prouvant la viabilité sur des appareils à batterie limitée.
• Détection d'Événements (SED) :
  • Le modèle AST fine-tuné atteint 93,2 % de précision pour la détection de 5 sources simultanées, contre 63,8 % pour YAMNet et 81,5 % pour l'AST de base.
• Études Utilisateurs (In-the-Wild) :
  • Une étude avec 17 participants a montré une amélioration significative de la suppression du bruit de fond (+1,54 points) et de l'expérience d'écoute globale (+0,95 points) par rapport à une base sans IA, sans distorsion notable.
  • Les sons impulsionnels (alarmes, marteaux) sont extraits avec une clarté supérieure aux sons spectraux larges (oiseaux, typing).

5. Signification et Perspectives

Aurchestra marque un tournant dans le domaine de l'audition augmentée en passant d'une approche binaire (bruit vs signal) à une approche programmable et granulaire.

• Impact : Cela transforme les écouteurs en outils actifs de sculpture de l'environnement auditif, bénéfique pour les personnes malentendantes, les personnes neurodivergentes ou toute personne souhaitant une meilleure immersion ou concentration.
• Limites actuelles : Le système est limité à 20 classes prédéfinies. L'extension à un vocabulaire ouvert (open-set) ou à des hiérarchies de classes plus vastes reste un défi pour les dispositifs à faible puissance.
• Futur : Les auteurs envisagent l'intégration de préférences utilisateur, la prédiction des sons futurs basée sur le contexte, et l'ajout d'effets de traitement du signal par classe (égalisation, changement de hauteur) au-delà du simple contrôle du volume.

En résumé, ce travail démontre qu'il est possible de décomposer et de remixer le monde sonore en temps réel sur des dispositifs portables, rendant le paysage sonore véritablement « programmable ».