Vibrato Matching for Modulation Control and Blending in Sound Mixtures
Cet article introduit un algorithme de correspondance de vibrato qui supprime puis transfère des motifs de vibrato entre des signaux afin de fusionner les sources sonores et de réduire la perception de sources multiples, dégradant ainsi également les performances des systèmes de séparation de sources.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde du son, nos oreilles sont remarquablement habiles pour déterminer qui joue quoi, même lorsque plusieurs instruments jouent la même note en même temps. Cette capacité repose largement sur une technique musicale subtile appelée vibrato, un léger et rapide vacillement de la hauteur et du volume que les musiciens ajoutent naturellement aux notes tenues. Bien que ce vacillement soit souvent utilisé pour exprimer l'émotion, il remplit également une fonction pratique pour le cerveau : puisque deux musiciens ne font pas vibrer leurs notes exactement de la même manière, ces infimes différences agissent comme des empreintes digitales uniques. Lorsqu'un auditeur entend deux violons jouer ensemble, son cerveau utilise ces vacillements distincts pour séparer les deux voix, percevant ainsi deux sources distinctes plutôt qu'une seule. Ce principe est si fiable que les programmes informatiques conçus pour séparer les signaux audio mixtes s'appuient également sur ces différences pour démêler le fouillis.
Un chercheur de l'Université de Californie à San Diego a maintenant développé une méthode pour effacer délibérément ces différences, enseignant ainsi à un ordinateur comment faire en sorte que deux sources sonores différentes semblent vibrer en parfaite unison. En prenant l'enregistrement d'un instrument et en supprimant son vacillement naturel, puis en appliquant soigneusement le motif de vacillement exact d'un second instrument, le chercheur a créé un système capable de fusionner deux sons distincts en une entité unique et fluide. L'étude démontre que lorsque cet appariement est effectué, la capacité des algorithmes informatiques à identifier deux sources séparées diminue considérablement. Bien que des tests d'écoute n'aient pas encore été menés pour confirmer que l'utilisation de l'appariement du vibrato sur des signaux en unison réduit la capacité d'un auditeur humain à percevoir des sources multiples, le fait que les algorithmes de séparation de sources inspirés par des tests d'écoute similaires montrent une capacité de séparation réduite suggère qu'une dégradation similaire peut se produire chez les auditeurs humains. Ce travail suggère qu'en contrôlant ces modulations subtiles, les ingénieurs du son peuvent créer des instruments hybrides ou masquer la présence de plusieurs joueurs dans un mixage, transformant un indice naturel de séparation en un outil de fusion.
Le processus commence par un son cible, tel qu'un enregistrement d'un chanteur, et un son source, tel qu'un enregistrement d'un saxophone. La première étape consiste en un nettoyage numérique de l'enregistrement cible. L'ordinateur analyse la voix du chanteur pour trouver le vacillement naturel de la hauteur et du volume, puis l'adoucit jusqu'à ce que la voix soit parfaitement stable, supprimant entièrement le vibrato naturel. Une fois que le signal cible est dépouillé de son mouvement original, le système se tourne vers le signal source pour apprendre son motif de vacillement spécifique. Il ne se contente pas de copier la forme globale du son ; au contraire, il décompose la source en ses tons musicaux individuels et dans le bruit de fond qui se trouve entre eux. Pour chacun de ces tons, le système calcule exactement comment le volume monte et descend, et pour le bruit de fond, il cartographie la façon dont l'énergie se déplace à travers différentes fréquences.
Avec ces motifs détaillés en main, le système les applique au signal cible stable. Il prend la voix lisse et sans vacillement et commence à la moduler, ajoutant le vacillement spécifique de volume et de hauteur qui appartenait au saxophone. Crucialement, il ne s'agit pas d'une application universelle. Le système applique un vacillement de volume unique à chaque ton musical au sein de la voix, tout comme un véritable saxophone le ferait, et il applique également un vacillement distinct et complexe au bruit de fond de la voix. Cette attention aux détails garantit que le résultat semble naturel plutôt que robotique. Le résultat final est une voix qui conserve le timbre et la hauteur originaux du chanteur, mais qui bouge avec la personnalité rythmique et dynamique exacte du saxophone.
Les chercheurs ont testé cette méthode en mélangeant deux enregistrements vocaux différents. Dans le mixage original, où les chanteurs avaient des motifs de vacillement naturels différents, le son était rugueux et irrégulier, et un programme informatique pouvait facilement séparer les deux voix car leurs mouvements étaient distincts. Cependant, lorsque les chercheurs ont utilisé leur algorithme pour faire vibrer les chanteurs exactement de la même manière, le résultat a radicalement changé. Le son mixé est devenu fluide et unifié, ressemblant à un seul chanteur qui aurait été enregistré deux fois avec une cohérence parfaite. Lorsque le même programme informatique a tenté de séparer les voix dans ce nouveau mixage apparié, il a totalement échoué, incapable de distinguer les deux sources. La représentation visuelle du son montrait les deux voix fusionnant en une seule ligne solide, indiscernable d'une performance unique.
Cet effet s'est avéré vrai même lorsque les chercheurs mélangeaient des instruments très différents les uns des autres, tels qu'un basson et un hautbois grave. Avant le processus d'appariement, l'ordinateur pouvait séparer les deux instruments en se basant sur leurs différents motifs de vacillement. Après que l'algorithme les a forcés à partager le même vibrato, la séparation a échoué, et les deux instruments sonnaient comme une entité unique et fusionnée. L'étude suggère que bien que d'autres facteurs comme la couleur du timbre jouent encore un rôle dans notre perception du son, l'appariement de ces motifs de vacillement spécifiques est un outil puissant pour occulter la présence de sources multiples. Les chercheurs proposent que cette technique puisse être utilisée de manière créative pour concevoir de nouveaux sons d'instruments hybrides ou pour contrôler la façon dont les auditeurs regroupent les sons, masquant efficacement la complexité d'un arrangement musical en faisant en sorte que ses parties bougent comme une seule.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.