157 Arbeiten
Die vorgestellte Arbeit stellt S2S-ZEST vor, ein textloses und nicht-paralleles Framework für das Zero-Shot-Emotionsstil-Transfer, das emotionale Merkmale aus einer Referenz auf eine Quelle überträgt, während Inhalt und Sprecheridentität erhalten bleiben, und dabei sowohl die Leistung als auch Anwendungen zur Daten-Augmentierung demonstriert.
Diese Arbeit stellt den TI-DANSE+-Algorithmus vor, der die langsame Konvergenz des bestehenden TI-DANSE-Ansatzes in drahtlosen akustischen Sensornetzwerken durch die Nutzung partieller Summen und eine Baumschnittstrategie überwindet und dabei die Vorteile des ursprünglichen DANSE-Algorithmus mit einer bandbreiteneffizienteren, topologieunabhängigen Peer-to-Peer-Kommunikation vereint.
Die Arbeit stellt Human-CLAP vor, ein auf menschlicher Wahrnehmung basiertes kontrastives Sprach-Audio-Pretraining-Modell, das die Korrelation zwischen CLAPScore und subjektiven menschlichen Bewertungen im Vergleich zu herkömmlichen CLAP-Modellen signifikant verbessert.
Das Papier stellt VSSFlow vor, ein einheitliches Flow-Matching-Framework auf Basis von Diffusion Transformern, das Video-zu-Sound- und Visuelles Text-zu-Sprache-Generierung durch eine neuartige, entkoppelte Bedingungsaggregation erfolgreich vereint und dabei durch gemeinsames Lernen sogar die Leistung spezialisierter State-of-the-Art-Modelle übertrifft.
Das Paper stellt VoiceBridge vor, ein einstufiges latentes Brückenmodell, das mittels eines energieerhaltenden VAE, eines gemeinsamen neuronalen Priors und eines kombinierten Trainingsansatzes effizient und ohne Distillation hochwertige 48-kHz-Sprache aus vielfältigen Verzerrungen wiederherstellt.
Die Arbeit stellt LARA-Gen vor, ein Framework, das durch die Ausrichtung latenter affektiver Repräsentationen und die Nutzung eines kontinuierlichen Valenz-Arousal-Raums eine präzise, kontinuierliche Emotionssteuerung in Text-zu-Musik-Modellen ermöglicht und dabei Text-Prompts umgeht.
Diese Arbeit stellt ein noise-conditioned Mixture-of-Experts-Framework vor, das durch spezialisierte, rauschbewusste Subräume und ein SNR-abnehmendes Curriculum-Learning die Robustheit der Sprechererkennung unter verschiedenen Störgeräuschen signifikant verbessert.
Diese Studie zeigt, dass die Vorhersage kontinuierlicher latenter Repräsentationen in Kombination mit einer Feinabstimmung des Encoders die effektivste Strategie für die Sprachverbesserung darstellt, wobei nicht-autoregressive Modelle aufgrund ihres besseren Kompromisses zwischen Qualität und Effizienz den autoregressiven Ansätzen vorzuziehen sind.
Diese Arbeit stellt mit AV-CDiT und dem AVW-4k-Datensatz das erste formale Rahmenwerk für audiovisuelle Weltmodelle vor, das synchronisierte binaurale Audio- und Visuelle-Dynamiken unter Aktionskontrolle simuliert und so die Leistung von Agenten bei der Navigation verbessert.
Die Studie zeigt, dass sich Sprecher und Zuhörer in lauten Umgebungen durch komplexere Handgesten, modulierte Kopfbewegungen und veränderte Körperhaltungen anpassen, um die Kommunikation zu unterstützen, wobei die Synchronität zwischen Sprache und Gesten bei moderatem Lärm leicht abnimmt.
Diese Arbeit führt die erste systematische Untersuchung zur Kodierung von Akzentinformationen in diskreten Sprachrepräsentationstokens durch und stellt ein einheitliches Evaluierungsframework vor, das zeigt, dass die Schichtauswahl den größten Einfluss hat, ASR-Überwachung die Akzentinformationen erheblich reduziert und eine naive Verkleinerung des Codebooks nicht ausreicht, um Akzente von phonetischen und Sprechereigenschaften zu trennen.
Das Paper stellt EDMFormer vor, ein Transformer-Modell, das durch die Kombination von selbstüberwachtem Lernen mit dem neu eingeführten, professionell annotierten EDM-98-Datensatz und einer genre-spezifischen Taxonomie die Segmentierung der Musikstruktur in elektronischer Tanzmusik, insbesondere bei Drops und Buildups, deutlich verbessert.
Der technische Bericht stellt Fish Audio S2 vor, ein Open-Source-Text-to-Speech-System, das durch mehrstufiges Training und eine spezielle Datenpipeline eine natürliche Sprachsteuerung, Multi-Speaker-Fähigkeiten und Multi-Turn-Generation ermöglicht und dabei mit einer effizienten SGLang-Inferenz-Engine eine Echtzeitfaktor von 0,195 sowie eine Latenz unter 100 ms erreicht.
Die Arbeit stellt VoxEmo vor, ein umfassendes Benchmark-Toolkit für die Spracherkennung von Emotionen mit Sprach-LLMs, das durch die Einbeziehung von 35 Korpora in 15 Sprachen, standardisierte Prompt-Strategien und ein weiches Labeling-Verfahren die subjektive Natur menschlicher Emotionen besser abbildet als herkömmliche Ansätze.
Der Artikel stellt die Universal Speech Content Factorization (USCF) vor, eine einfache und invertierbare lineare Methode, die in einem Open-Set-Szenario phonetischen Inhalt von Sprechereigenschaften trennt und so eine effiziente Zero-Shot-Stimmenkonversion sowie das Training von Text-zu-Sprache-Modellen ermöglicht.
Diese Studie analysiert Geschlechterverzerrungen in Audio-Deepfake-Erkennungsmodellen und zeigt, dass herkömmliche Leistungsmetriken Diskrepanzen in der Fehlerverteilung zwischen den Geschlechtern überdecken, wodurch geschlechtergerechte Evaluierungsmetriken für die Entwicklung fairer und robusterer Systeme unerlässlich sind.
Die Studie zeigt, dass bei neuronalen Audio-Codecs für robuste Spracherkennung eine nicht-monotone Trade-off-Beziehung zwischen der Quantisierungs-Tiefe und der Adversarial-Robustanz besteht, wobei mittlere Residual-Vektor-Quantisierungstiefen den optimalen Kompromiss zwischen der Unterdrückung von Störungen und dem Erhalt des Sprachinhalts bieten.
Diese Arbeit repliziert das Band-Split-RNN-Modell zur Musikquellen-Trennung, um die durch fehlenden Quellcode verursachten Reproduzierbarkeitsprobleme zu analysieren, optimierte Varianten zu entwickeln und die Bedeutung transparenter Forschungspraktiken in der Community zu unterstreichen.
Diese Studie analysiert systematisch vier Kontrastive-Decoding-Strategien für Large Audio Language Models, identifiziert Audio-Aware und Audio Contrastive Decoding als effektivste Methoden und stellt mittels eines Übergangsmatrix-Rahmens fest, dass diese zwar Unsicherheiten und falsche Audio-Negationen korrigieren, aber keine fehlerhaften Schlussfolgerungen beheben können, wodurch sich Leitlinien für die architekturspezifische Eignung ergeben.
Diese Studie stellt ein paralinguistisches und emotionsbewusstes Modell vor, das ohne Textkontext den optimalen Zeitpunkt für emotionale Validierung in japanischen empathischen Dialogen allein anhand von Sprachmerkmalen erkennt und so die Mensch-Roboter-Interaktion verbessert.