141 Arbeiten
Die Arbeit stellt SEMamba++ vor, ein allgemeines Framework zur Sprachwiederherstellung, das durch die Einführung von Frequency GLP und einem multi-resolutionen Zeit-Frequenz-Dual-Verarbeitungsblock spezifische spektrale Muster wie Periodizität und Multi-Resolution-Analysen effizient nutzt, um bei geringem Rechenaufwand den aktuellen Stand der Technik zu übertreffen.
Die Arbeit stellt RAF (Relativistic Adversarial Feedback) vor, ein neues Trainingsziel für GAN-Sprachsynthesemodelle, das durch die Integration von selbstüberwachtem Lernen und relativistischem Pairing die Klangqualität und Generalisierungsfähigkeit verbessert und dabei BigVGAN mit nur 12 % der Parameter übertrifft.
Die Studie stellt einen neuen Datensatz vor und zeigt, dass die Emotionserkennung aus Oberflächen-EMG-Signalen des Gesichts und des Halses sowohl bei phonierter als auch bei stummer Sprache zuverlässig möglich ist, wobei Frustration besonders gut mit einem AUC-Wert von 0,845 klassifiziert werden kann.
Die Arbeit stellt ReDimNet2 vor, eine verbesserte Architektur zur Extraktion von Sprecherrepräsentationen, die durch eine zeitliche Pooling-Operation im 1D-Pfad eine effizientere Skalierung der Kanäle ermöglicht und damit auf den VoxCeleb1-Benchmarks eine überlegene Genauigkeit bei geringerem Rechenaufwand im Vergleich zum Vorgängermodell ReDimNet erzielt.
Die Studie zeigt, dass ein auf entrauschter MRT-Sprache trainiertes Modell auch für saubere, mRT-freie Aufnahmen effektiv zur akustisch-artikulatorischen Inversion genutzt werden kann und dabei mit einem RMSE von 1,56 mm eine vergleichbare Genauigkeit erreicht.
Diese Studie vergleicht verschiedene Stufen phonetischer Segmentierungsgenauigkeit zur Rekonstruktion des Vokaltrakts aus Sprachsignalen mittels MRT-Daten und zeigt, dass manuell korrigierte phonetische Darstellungen nach Ausrichtung die beste Leistung erbringen und die MFCC-Baseline erreichen.
Diese umfassende Übersicht stellt eine neue Taxonomie für Stille-Sprach-Schnittstellen vor, die durch die Integration von Large Language Models die Informationslücke physiologischer Biosignale schließen, die Genauigkeit für den praktischen Einsatz steigern und den Weg zu unauffälligen, ethisch gesicherten Wearables ebnen.
Die Arbeit stellt ein paralinguistisch erweitertes Feinabstimmungsverfahren (PE-FT) vor, das durch gezielte Schichtanalyse und eine duale Klassifizierungskopf-Architektur Large Audio Language Models befähigt, paralinguistische Hinweise effektiv zu nutzen und dabei sogar die Leistung einer vollständigen Schicht-Feinabstimmung übertrifft.
Die Arbeit stellt Dr. SHAP-AV vor, ein Framework zur Analyse der Beitragsverteilung von Audio- und Visualmodalitäten in der audiovisuellen Spracherkennung mittels Shapley-Werten, das aufzeigt, wie Modelle unter Rauschen zwar visuell dominieren, aber eine starke Audio-Bias beibehalten, und dabei SNR als treibenden Faktor für die Modalitätsbewertung identifiziert.
Die Arbeit stellt SGMD vor, ein stilgeleitetes Motion-Diffusion-Modell, das Transformer-Architekturen mit einem Stil-Modulationsmodul und einem räumlich-zeitlichen Maskierungsmechanismus kombiniert, um kontrollierbare, stilistisch konsistente und realistische Tanzsequenzen zu generieren, die sowohl zur Musik als auch zu benutzerdefinierten Stilvorgaben passen.
Die Arbeit stellt ExSampling vor, ein integriertes System aus Aufnahme- und Deep-Learning-Umgebung, das durch automatische Zuordnung von Feldaufnahmen zu Ableton-Live-Spuren die Echtzeit-Performance von Umgebungsgeräuschen sowie die Interaktion zwischen Aufnehmern, Komponisten und Performern ermöglicht.
Diese Studie zeigt, dass bei Kopf-Hals-Krebs-Patienten starke Zusammenhänge zwischen subjektiven und objektiven Sprachmaßen bestehen und schlägt vor, dass für das klinische Monitoring nach Chemoradiotherapie eine einzige Intelligibilitätsmessung ausreicht.
Diese Studie analysiert durch ein groß angelegtes Probing-Experiment an 11 selbstüberwachten Sprachmodellen, wie diese sprecher-spezifische Informationen wie Akustik, Prosodie und paralinguistische Merkmale kodieren, und widerlegt dabei die Annahme, dass die finalen Schichten rein linguistischen Inhalt enthalten, indem sie zeigen, dass größere Modelle ihre Identität in tiefen Schichten wiederherstellen und mittlere Schichten Prosodie besser erfassen als spezialisierte Sprecher-Embeddings.
Die vorgestellte Arbeit stellt TSPC vor, eine zweistufige, phonemzentrierte Architektur, die durch die Verwendung eines erweiterten vietnamesischen Phonemsatzes als Zwischendarstellung die Wortfehlerrate bei der Code-Switching-Erkennung für Vietnamesisch-Englisch signifikant senkt und dabei ressourceneffizient bleibt.
Das Paper stellt BabyHuBERT vor, ein selbstüberwachtes, mehrsprachiges Sprachmodell, das auf 13.000 Stunden kindzentrierter Aufnahmen trainiert wurde und bei der Unterscheidung von Sprechertypen in langen, natürlichen Aufnahmen unterrepräsentierter Sprachen deutlich bessere Ergebnisse liefert als bestehende Modelle.
Das Paper stellt SAM vor, ein Audio-Sprach-Modell mit Mamba-2-Backbone, das durch optimierte Token-Repräsentationen und Instruktionstraining mit weniger Parametern die Leistung größerer Transformer-Modelle erreicht und gleichzeitig praktische Designprinzipien für SSMs in diesem Bereich etabliert.
Die Studie zeigt, dass Sprachmodelle als Rückgrat von SpeechLLMs bei der Verarbeitung spontaner, unflüssiger Konversationen strukturelle Robustheitslücken aufweisen, wobei Reasoning-Modelle durch eine Tendenz zur semantischen Abstraktion flüssige Inhalte übermäßig löschen und Feinabstimmung zwar Spitzenleistungen erzielt, aber die Generalisierungsfähigkeit beeinträchtigt.
Die Arbeit stellt „Noise-to-Notes" vor, ein diffusion-basiertes generatives Framework für die automatische Schlagzeugtranskription, das durch die Einführung eines annealierten Pseudo-Huber-Verlusts und die Integration von Merkmalen aus Musik-Foundation-Modellen neue State-of-the-Art-Ergebnisse auf mehreren Benchmarks erzielt.
Die Autoren stellen Schrödinger Bridge Mamba (SBM) vor, ein effizientes Ein-Schritt-Modell für die Sprachverbesserung, das durch die Kombination des Schrödinger-Brücken-Trainingsparadigmas mit der Mamba-Architektur sowohl bei der Rauschunterdrückung als auch bei der Entreverberation überlegene Ergebnisse im Vergleich zu bestehenden Methoden erzielt.
Diese Arbeit stellt ein Multi-Loss-Lernframework für die Spracherkennung von Emotionen vor, das eine energieadaptive Mixup-Methode und ein Frame-Level-Attention-Modul integriert, um durch eine Kombination verschiedener Verlustfunktionen auf vier gängigen Datensätzen einen State-of-the-Art-Ergebnis zu erzielen.