An Artificial Glottal Spectrum-Based Excitation Model with LP-Based Spectral Modelling for Prosody Modification
Dieses Paper schlägt eine neuartige Methode zur Prosodiemodifikation vor, die die traditionelle Zeitbereich-Pitch-Markierung durch ein künstliches, auf dem glottalen Spektrum basierendes Erregungsmodell ersetzt, um Pitch-Markierungs-Ambiguitäten und Artefakte zu eliminieren und dadurch eine hochwertige, natürliche und effiziente Pitch- und Dauer-Manipulation zu erreichen, die für Text-to-Speech- und Voice-Conversion-Anwendungen geeignet ist.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die menschliche Sprache ist ein komplexes physikalisches Ereignis, eine flüchtige Schwingung der Luft, die Bedeutung, Emotion und Identität trägt. Im Kern beruht der Klang, den wir erzeugen, auf zwei unterschiedlichen Teilen, die im Einklang zusammenarbeiten. Der erste ist die Quelle: der rohe, rhythmische Impuls, der entsteht, wenn Luft durch die Stimmlippen im Rachen strömt. Der zweite ist das System: die Form des Mundes, der Zunge und des Rachens, die wie ein Filter wirkt und diesen rohen Impuls in die spezifischen Laute von Vokalen und Konsonanten färbt. Wenn wir sprechen, sind diese beiden Elemente untrennbar miteinander verbunden, was es schwierig macht, eines zu verändern, ohne das andere zu beeinflussen. Dies stellt eine erhebliche Herausforderung für Ingenieure dar, die versuchen, Maschinen zu bauen, die natürlich sprechen oder die Stimme einer Aufnahme verändern können. Wenn ein Computer versucht, eine Aufnahme einfach zu dehnen oder zu stauchen, um die Geschwindigkeit oder die Tonhöhe einer Stimme zu ändern, klingt das Ergebnis oft roboterhaft oder verzerrt und verliert die natürliche Qualität des menschlichen Sprechers.
Forscher suchen seit langem nach Wegen, diese beiden Komponenten zu entwirren, um sie unabhängig voneinander manipulieren zu können. Die gängigste Methode über Jahrzehnte hinweg war eine Technik, die das Sprachsignal basierend auf dem Timing der Stimmlippenvibrationen in winzige Stücke schneidet und diese Stücke dann neu anordnet, um die Geschwindigkeit oder Tonhöhe zu ändern. Während diese Methode für kleine Anpassungen effektiv ist, stößt sie bei drastischen Änderungen an ihre Grenzen. Sie verlässt sich stark darauf, den exakten Moment zu finden, in dem sich die Stimmlippen schließen – eine Aufgabe, die nur schwer perfekt auszuführen ist. Wenn der Computer diese Momente falsch errät, entwickelt die rekonstruierte Stimme seltsame Artefakte und klingt metallisch oder fehlerhaft, insbesondere wenn die Tonhöhe signifikant erhöht oder zu stark gesenkt wird.
In einer kürzlich durchgeführten Studie schlug ein Team von Forschern aus Indien einen anderen Weg vor, um dieses Problem zu handhaben. Anstatt zu versuchen, die ursprünglichen Schallwellen zu retten und neu anzuordnen, entschieden sie sich, die Quelle vollständig zu ersetzen. Ihre Methode besteht darin, die ursprüngliche Stimmlippenvibration aus einer Sprachaufnahme zu entfernen und sie durch eine perfekt saubere, künstliche Version zu ersetzen, die von einem Computer generiert wurde. Sie halten den ursprünglichen „Filter“ – die einzigartige Form des Mundes und des Rachens des Sprechers – intakt, um sicherzustellen, dass die Stimme immer noch wie dieselbe Person klingt. Durch die Generierung eines neuen, idealisierten Impulses basierend auf der gewünschten Tonhöhe und der Kombination mit dem ursprünglichen Filter können sie die Stimme umgestalten, ohne die Verzerrungen, die ältere Methoden plagen.
Die Forscher testeten diesen neuen Ansatz gegenüber der traditionellen Methode unter Verwendung von Aufnahmen tamilischer Sprecher. Sie baten menschliche Zuhörer, die Qualität der modifizierten Sprache auf einer Skala von eins bis fünf zu bewerten. Die Ergebnisse zeigten, dass ihre neue Methode konsistent hochwertigere Stimmen erzeugte, insbesondere wenn die Tonhöhe in großen Schritten geändert wurde. Während die traditionelle Methode unnatürlich klang und an Qualität verlor, wenn die Tonhöhe über einen gewissen Punkt hinaus verändert wurde, bewahrte der neue Ansatz Klarheit und Natürlichkeit über einen breiteren Bereich. Das Team stellte fest, dass diese Technik sowohl für männliche als auch für weibliche Stimmen gut funktionierte und die Identität des Sprechers bewahrte, selbst wenn die Tonhöhe signifikant nach oben oder unten verschoben wurde.
Über einfache Tonhöhenänderungen hinaus untersuchte die Studie auch, wie gut die Methode mit expressiver Sprache umgehen kann, bei der der Tonfall der Stimme steigt und fällt, um Emotionen oder Betonungen zu vermitteln. Die Forscher erstellten spezifische Muster der Tonhöhenbewegung, wie etwa steigende Töne für Fragen oder fallende Töne für Aussagen, und wandten diese auf die Sprache an. Die neue Methode handhabte diese dynamischen Veränderungen reibungsloser als der traditionelle Ansatz, der oft hörbare Fehler (Glitches) verursachte, wenn sich der Tonhöhenverlauf schnell änderte. Die von ihnen generierte künstliche Quelle war flexibel genug, um diesen komplexen Kurven zu folgen, ohne den Fluss des Klangs zu unterbrechen.
Der Prozess des Wiederaufbaus der Stimme aus diesen separaten Teilen erforderte einen spezifischen Schritt, um sicherzustellen, dass der Klang nicht nur eine Sammlung von Frequenzen, sondern eine kohärente Welle ist. Da die Forscher mit der Amplitude der Schallwellen, aber nicht mit deren Zeitphasen arbeiteten, verwendeten sie einen iterativen mathematischen Prozess, um die fehlenden Zeitinformationen zu schätzen. Dieser Schritt, bekannt als Phasenrekonstruktion, ermöglichte es ihnen, eine endgültige Wellenform zu synthetisieren, die für das menschliche Ohr natürlich klang. Während die Forscher anmerkten, dass dieser Rekonstruktionsschritt nicht perfekt ist und einen winzigen Spielraum für Verbesserungen lässt, war die Gesamtqualität der Sprache der bestehenden Techniken überlegen.
Die Studie kommt zu dem Schluss, dass es durch das Aufgeben des Versuchs, die ursprünglichen Stimmlippenvibrationen perfekt zu verfolgen, und stattdessen durch das Generieren einer sauberen, künstlichen Quelle möglich ist, eine robustere und expressivere Stimmenmodifikation zu erreichen. Dieser Ansatz beseitigt die Mehrdeutigkeit und die Fehler, die mit der Erkennung des exakten Moments des Verschlusses der Stimmritze verbunden sind, was einen hartnäckigen Engpass in diesem Bereich darstellte. Die Ergebnisse legen nahe, dass für Anwendungen wie Text-to-Speech-Systeme oder Sprachkonvertierung, bei denen Natürlichkeit und Flexibilität von zentraler Bedeutung sind, der Ersatz der Quelle durch ein kontrolliertes, künstliches Modell einen zuverlässigeren Weg bietet als der Versuch, das Originalsignal zu dehnen. Die Arbeit zeigt, dass man manchmal, um eine Stimme menschlicher klingen zu lassen, bereit sein muss, das menschliche Element durch ein präzises, mathematisches Ideal zu ersetzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.