Spacing Out: On the Reliability of Binaural Music Source Separation Metrics

Le son de l'espace : Pourquoi vos écouteurs pourraient vous mentir

Imaginez que vous soyez à un concert en direct. Vous n'entendez pas seulement la musique ; vous ressentez le batteur sur votre gauche, le chanteur juste devant vous, et la basse qui vibre depuis le sol. Cette sensation d'être « à l'intérieur » du son est appelée audio immersif. Depuis des décennies, les scientifiques et les ingénieurs tentent d'apprendre aux ordinateurs à faire la même chose : prendre un mélange complexe de musique et en extraire les instruments individuels (comme séparer les voix de la batterie) tout en préservant cette sensation magique de localisation de chaque élément. Cette tâche est connue sous le nom de Séparation de Sources Musicales (MSS - Music Source Separation).

Pour ce faire, les ordinateurs utilisent souvent l'audio binaural, une méthode spéciale d'enregistrement sonore qui imite la façon dont nos deux oreilles entendent le monde. C'est l'ingrédient secret qui rend la réalité virtuelle (VR) et la réalité augmentée (AR) si réelles. Mais voici le problème : lorsque les ordinateurs tentent de séparer ces pistes binaurales, ils dérèglent souvent la partie « spatiale ». Les instruments peuvent alors paraître plats, ou le batteur peut soudainement sembler se tenir à côté du chanteur, même s'ils étaient éloignés l'un de l'autre. Pour corriger cela, les chercheurs ont besoin d'un moyen de mesurer la qualité de leurs modèles informatiques. Ils utilisent des formules mathématiques appelées métriques pour noter la séparation. Mais et si ces formules étaient défaillantes ? Et si l'ordinateur disait : « Excellent travail ! » alors qu'un auditeur humain pense : « Ça sonne terriblement mal » ? Cet article plonge dans ce mystère exact, en se demandant si les outils que nous utilisons pour mesurer le son 3D sont réellement fiables.

L'article : Quand les mathématiques rencontrent l'oreille humaine

Dans cette étude, les chercheurs de l'Université de New York ont décidé de jouer les détectives avec les outils utilisés pour mesurer la séparation musicale binaurale. Ils voulaient savoir : Les scores informatiques correspondent-ils à ce que les humains entendent réellement ?

Pour le découvrir, ils ont construit un nouveau modèle informatique spécifiquement entraîné sur la musique binaurale (appelons-le le « Détective Binaural ») et l'ont comparé à un modèle plus ancien entraîné uniquement sur de la musique stéréo standard (le « Détective Stéréo »). Ils ont ensuite demandé à un groupe d'auditeurs humains de juger les résultats. Les humains ont écouté des instruments séparés — comme la basse, la batterie et les voix — et devaient choisir quelle version ressemblait le plus à l'original, et si les instruments semblaient être au bon endroit dans l'espace 3D.

La grande surprise : Les mathématiques sont confuses

Les résultats ont été un choc. Les chercheurs ont découvert que les métriques informatiques (les formules mathématiques) et les auditeurs humains ne concordaient pas toujours.

• La bonne nouvelle : Deux métriques spécifiques, appelées $\Delta$ILD (qui mesure les différences de volume entre les oreilles) et SRR (qui mesure la quantité de « bruit résiduel » dans le mixage), ont plutôt bien réussi à correspondre à ce que les humains appréciaient. Si ces chiffres étaient élevés, les humains trouvaient généralement le son bon.
• La mauvaise nouvelle : La métrique pour le $\Delta$ITD (qui mesure la minuscule différence de temps entre le moment où un son frappe l'oreille gauche par rapport à l'oreille droite) était un désastre total. C'est pourtant l'indice le plus important pour nous indiquer d'où vient un son, et pourtant le calcul de l'ordinateur à ce sujet était totalement peu fiable.

Le « Problème de la Basse »

L'article a découvert que la métrique $\Delta$ITD est particulièrement médiocre lorsqu'elle traite des instruments de basse. Pensez à la guitare basse ou à la grosse caisse ; elles produisent des sons graves et sourds. Les chercheurs ont constaté que pour ces instruments, le calcul de la différence de temps de l'ordinateur abandonnait souvent pour dire : « Tout est juste devant vous », même quand la basse était clairement à gauche ou à droite.

Pourquoi ? La méthode mathématique utilisée pour calculer cette différence de temps (une méthode appelée GCC-PHAT) est comme un microphone hyper-sensible qui se laisse déconcentrer par la moindre trace de statique ou d'« artefacts de séparation » (de minuscules erreurs laissées par le travail de l'ordinateur). Lorsque l'ordinateur tente de séparer la basse, il laisse derrière lui de minuscules bugs invisibles. La formule mathématique voit ces bugs et panique, perdant totalement la trace de la différence de temps.

L'arbitrage impossible

Les chercheurs ont tenté de corriger cela en ajustant les mathématiques, en utilisant différentes versions du calcul (comme le Weighted GCC-PHAT et le Masked GCC-PHAT). Ils espéraient rendre le calcul plus robuste (moins susceptible de casser).

Cependant, ils ont mis au jour un arbitrage frustrant :

• Si ils rendaient les mathématiques robustes (pour qu'elles ne cassent pas facilement), elles devenaient moins précises (elles ne pouvaient plus distinguer la gauche de la droite).
• Si elles étaient précises (pour pouvoir distinguer la gauche de la droite), elles devenaient fragiles (elles se brisaient dès qu'il y avait un tout petit peu de bruit).

C'est comme essayer de régler une radio : si vous tournez le cadran pour obtenir un signal super clair, la station peut disparaître complètement si vous déplacez votre main d'un centimètre. Si vous le laissez lâche pour qu'elle reste allumée, le son est plein de statique. L'article suggère que pour les instruments de basse, nous n'avons actuellement aucun moyen d'obtenir à la fois la clarté et la stabilité.

Confusion sur le devant de la scène

Une autre découverte intéressante concernait les instruments placés au centre de la scène sonore (comme un chanteur principal). Les humains avaient du mal à faire la différence entre le « Détective Binaural » et le « Détective Stéréo » lorsque le chanteur était au milieu. Comme les humains sont habitués à entendre des chanteurs principaux au centre de la musique stéréo, ils préféraient souvent la version stéréo, même si la version binaurale était techniquement plus précise. Les métriques informatiques, cependant, continuaient de dire que la version binaurale était meilleure. Cela a montré que les mathématiques récompensaient un détail technique dont les humains ne se souciant pas réellement dans cette situation spécifique.

L'essentiel à retenir

L'article conclut que, bien que nous disposions de bons outils pour mesurer à quel point la musique séparée est forte et propre ($\Delta$ILD et SRR), nos outils pour mesurer d'où vient le son ($\Delta$ITD) sont actuellement défaillants, surtout pour les instruments à basses fréquences comme la basse.

Les auteurs suggèrent que nous ne pouvons plus simplement faire confiance aux scores informatiques. Nous devons construire de nouvelles métriques plus intelligentes qui comprennent comment les humains perçoivent réellement l'espace, plutôt que de simplement traiter des chiffres qui pourraient s'effondrer à la première trace d'erreur infime. D'ici là, si vous voulez savoir si votre séparation musicale 3D fonctionne, vous devrez peut-être demander à un humain, et non à une calculatrice.