Vibrato Matching for Modulation Control and Blending in Sound Mixtures
Dit artikel introduceert een vibrato-matchingalgoritme dat vibratopatronen onderdrukt en vervolgens tussen signalen overdraagt om geluidsbronnen te mengen en de perceptie van meerdere bronnen te verminderen, waardoor daarmee ook de prestaties van bronscheidingssystemen worden verslechterd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van het geluid zijn onze oren opmerkelijk bekwaam in het sorteren van wie wat speelt, zelfs wanneer meerdere instrumenten dezelfde noot tegelijkertijd spelen. Deze vaardigheid rust zwaar op een subtiele muzikale techniek genaamd vibrato, een lichte, snelle schommeling in toonhoogte en volume die muzikanten van nature toevoegen aan aangehouden noten. Hoewel deze schommeling vaak wordt gebruikt om emotie uit te drukken, dient het ook een praktische functie voor de hersenen: omdat geen twee muzikanten hun noten op precies dezelfde manier laten trillen, fungeren deze kleine verschillen als unieke vingerafdrukken. Wanneer een luisteraar twee violen samen hoort spelen, gebruiken hun hersenen deze afwijkende schommelingen om de twee stemmen te scheiden, waardoor ze twee verschillende bronnen waarnemen in plaats van één. Dit principe is zo betrouwbaar dat computerprogramma's die ontworpen zijn om gemengde audiosignalen te scheiden, ook vertrouwen op deze verschillen om de chaos te ontwarren.
Een onderzoeker aan de Universiteit van Californië in San Diego heeft nu een methode ontwikkeld om deze verschillen doelbewust uit te wissen, waarbij de computer effectief leert om twee verschillende geluidsbronnen te laten klinken alsof ze in perfecte unisono trillen. Door een opname van één instrument te nemen en de natuurlijke schommeling ervan weg te strippen, om vervolgens zorgvuldig het exacte schommelingspatroon van een tweede instrument erop te "schilderen", creëerde de onderzoeker een systeem dat twee verschillende geluiden kan mengen tot één enkele, naadloze entiteit. De studie laat zien dat wanneer deze afstemming wordt uitgevoerd, het vermogen van computeralgoritmen om te onderscheiden dat er twee afzonderlijke bronnen zijn, aanzienlijk afneemt. Hoewel er nog geen luistertests zijn uitgevoerd om te bevestigen dat het gebruik van vibrato-matching op unisono-signalen het vermogen van een menselijke luisteraar om meerdere bronnen waar te nemen vermindert, suggereert het feit dat bronscheidingsalgoritmen, geïnspireerd door vergelijkbare luistertests, een verminderd vermogen tot scheiding vertonen, dat een vergelijkbare degradatie kan optreden bij menselijke luisteraars. Het werk suggereert dat door deze subtiele modulaties te controleren, geluidstechnici hybride instrumenten kunnen creëren of de aanwezigheid van meerdere spelers in een mix kunnen verbergen, waarbij ze een natuurlijke aanwijzing voor scheiding veranderen in een instrument voor versmelting.
Het proces begint met een doelgeluid, zoals een opname van een zanger, en een brongeluid, zoals een opname van een saxofoon. De eerste stap omvat een digitale schoonmaak van de doelopname. De computer analyseert de stem van de zanger om de natuurlijke schommeling in toonhoogte en volume te vinden, en vlakt deze vervolgens af totdat de stem perfect stabiel is, waarbij de natuurlijke vibrato volledig wordt verwijderd. Zodra het doelsignaal is ontdaan van zijn oorspronkelijke beweging, richt het systeem zich op het bronsignaal om het specifie-ke schommelingspatroon te leren. Het kopieert niet simpelweg de algemene vorm van het geluid; in plaats daarvan breekt het de bron af in de individuele muzikale tonen en de achtergrondruis die tussen hen in zit. Voor elk van deze tonen berekent het systeem exact hoe het volume stijgt en daalt, en voor de achtergrondruis brengt het in kaart hoe de energie over verschillende frequenties verschuift.
Met deze gedetailleerde patronen in de hand, past het systeem deze toe op het stabiele doelsignaal. Het neemt de gladde, niet-schommelende stem en begint deze te moduleren door de specifieke volumeschommelingen en toonhoogteverschuivingen toe te voegen die bij de saxofoon hoorden. Cruciaal is dat dit geen eenheidsworst is; het systeem past een unieke volumeschommeling toe op elke muzikale toon binnen de stem, net zoals een echte saxofoon dat zou doen, en het past ook een aparte, complexe schommeling toe op de achtergrondruis van de stem. Deze aandacht voor detail zorgt ervoor dat het resultaat natuurlijk klinkt in plaats van robotachtig. De uiteindelijke output is een stem die de oorspronkelijke toon en toonhoogte van de zanger behoudt, maar beweegt met de exacte ritmische en dynamische persoonlijkheid van de saxofoon.
De onderzoekers testten deze methode door twee verschillende vocale opnames met elkaar te mengen. In de originele mix, waar de zangers verschillende natuurlijke schommelingspatronen hadden, was het geluid ruig en ongelijkmatig, en kon een computerprogramma de twee stemmen gemakkelijk scheiden omdat hun bewegingen verschillend waren. Echter, toen de onderzoekers hun algoritme gebruikten om de zangers op exact dezelfde manier te laten trillen, veranderde het resultaat drastisch. De gemengde klank werd vloeiend en verenigd, klinkend als één enkele zanger die tweemaal met perfecte consistentie is opgenomen. Wanneer hetzelfde computerprogramma probeerde de stemmen te scheiden in deze nieuwe, gematchte mix, faalde het volledig en was het niet in staat om tussen de twee bronnen te onderscheiden. De visuele representatie van het geluid liet de twee stemmen samensmelten tot één enkele, solide lijn, ononderscheidbaar van een enkele uitvoering.
Dit effect bleef standhouden, zelfs toen de onderzoekers instrumenten mengden die zeer verschillend van elkaar zijn, zoals een fagot en een bas-hobo. Vóór het matchingproces kon de computer de twee instrumenten scheiden op basis van hun verschillende schommelingspatronen. Na de verwerking door het algoritme, dat hen dwong hetzelfde vibrato te delen, faalde de scheiding en klonken de twee instrumenten als een enkele, samengesmolten entiteit. De studie suggereert dat hoewel andere factoren zoals klankkleur nog steeds een rol spelen in hoe we geluid horen, het afstemmen van deze specifieke schommelingspatronen een krachtig hulpmiddel is om de aanwezigheid van meerdere bronnen te verhullen. De onderzoekers stellen voor dat deze techniek creatief kan worden gebruikt om nieuwe hybride instrumentklanken te ontwerpen of om te controleren hoe luisteraars geluiden bij elkaar groeperen, waarbij de complexiteit van een muzikale arrangement effectief wordt verborgen door de onderdelen als één te laten bewegen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.