159 papers
Dit artikel introduceert S2S-ZEST, een tekstloos en niet-parallel framework voor zero-shot emotiestijloverdracht dat de emotionele kenmerken van een referentie op een bronstem toepast terwijl de spraakinhoud en sprekeridentiteit behouden blijven.
Dit paper introduceert TI-DANSE+, een verbeterd verspreid algoritme voor signaalschatting in draadloze akoestische sensornetwerken dat, in tegenstelling tot eerdere methoden, sneller convergeert door gebruik te maken van partiële sommen van buren en een boom-inkortingsstrategie, terwijl het tegelijkertijd bandbreedte bespaart en robuust blijft bij verbindingsstoringen.
Dit paper introduceert Human-CLAP, een verbeterd taal-audiomodel dat is getraind op menselijke subjectieve beoordelingen om de zwakke correlatie tussen de bestaande CLAPScore en menselijke perceptie aanzienlijk te verbeteren.
Dit artikel introduceert VSSFlow, een verenigd flow-matching framework dat video-geconditioneerde geluids- en spraakgeneratie succesvol combineert door middel van een ontward condition-aggregatiemechanisme binnen een Diffusion Transformer-architectuur.
Dit artikel introduceert VoiceBridge, een efficiënt één-staps latent bridge-model dat diverse spraakhersteltaken, zoals ruisreductie en super-resolutie, verenigt in één generatief proces voor het reconstrueren van hoogwaardige 48 kHz spraak zonder distillatie.
Dit artikel introduceert LARA-Gen, een kader dat continue en fijne emotionele controle mogelijk maakt voor muziekgeneratiemodellen door middel van latent affectieve representatie-uitlijning en een module gebaseerd op de valentie-arousal-ruimte, wat resulteert in superieure prestaties ten opzichte van bestaande methoden.
Dit paper introduceert een robuust framework voor sprekerherkenning onder ruisomstandigheden dat gebruikmaakt van een noise-conditioned mixture-of-experts-architectuur met gespecialiseerde netwerken en een curriculumleerprotocol om de prestaties te verbeteren ten opzichte van bestaande methoden.
Dit onderzoek vergelijkt strategieën voor spraakverbetering in de latente ruimte van neurale audio-codecs en concludeert dat het voorspellen van continue latente representaties, gecombineerd met het fijnafstemmen van de encoder, de beste prestaties levert, hoewel autoregressieve modellen weliswaar hogere kwaliteit maar lagere efficiëntie bieden.
Dit paper introduceert het eerste formele kader voor audio-visuele wereldmodellen, inclusief het AVW-4k dataset en het AV-CDiT-model, om agents in staat te stellen toekomstige multimodale toestanden te simuleren en zo hun prestaties bij navigatie significant te verbeteren.
Dit onderzoek toont aan dat sprekers en luisteraars in een lawaaierige omgeving hun communicatiegedrag aanpassen door complexere handgebaren, gemoduleerde hoofdbewegingen en verhoogde spraakproductie te gebruiken, terwijl de synchronisatie tussen spraak en gebaren bij matig lawaai licht afneemt.
Dit artikel presenteert het eerste systematische onderzoek naar de codering van accentinformatie in discrete spraakrepresentatietokens en introduceert een unificerend evaluatiekader dat aantoont dat de keuze van lagen de belangrijkste factor is voor het behoud van accentinformatie, terwijl ASR-supervisie deze informatie aanzienlijk vermindert.
Deze paper introduceert EDMFormer, een transformer-model dat gebruikmaakt van zelftoezicht en een specifiek EDM-dataset (EDM-98) om de zwakke prestaties van bestaande modellen bij het segmenteren van elektronische dansmuziek te overwinnen door zich te richten op energie-, ritme- en timbre-veranderingen in plaats van op tekst of harmonie.
Dit paper introduceert Fish Audio S2, een open-source tekst-naar-spraak-systeem dat multi-spreker- en multi-turn-generatie combineert met instructievolgende controle via natuurlijke taal, ondersteund door een schaalbaar trainingsproces en een productieklaar inferentie-engine met een zeer lage latentie.
Dit paper introduceert VoxEmo, een uitgebreide benchmark voor spraak-gevoelsherkenning met spraak-LLMs die 35 corpora in 15 talen omvat en een nieuwe evaluatiemethode biedt die rekening houdt met de subjectiviteit en ambiguïteit van menselijke emoties.
Dit paper introduceert Universal Speech Content Factorization (USCF), een eenvoudige en omkeerbare lineaire methode die spraakinhoud effectief scheidt van sprekerstijl, waardoor hoogwaardige zero-shot stemconversie en efficiënt training van tekst-naar-spraakmodellen mogelijk zijn zonder uitgebreide neurale training of veel doel-speakersdata.
Dit artikel analyseert genderbias in audio-deepfake-detectiemodellen met behulp van de ASVspoof 5-dataset en toont aan dat eerlijkheidsmetrieken essentiële inzichten bieden in demografische ongelijkheden die door traditionele prestatie-indicatoren worden gemaskeerd.
Dit onderzoek toont aan dat er een niet-monotoon compromis bestaat tussen capaciteit en robuustheid in neurale audiocodecs voor spraakherkenning, waarbij een intermediaire diepte van residual vector quantization (RVQ) de beste balans biedt tussen het behoud van spraakinformatie en het onderdrukken van adversariale perturbaties.
Deze studie repliceert het Band-Split RNN-model voor muziekscheiding om de kosten van reproduceerbaarheid te analyseren, waarbij de auteurs ondanks het niet kunnen reproduceren van de originele resultaten een geoptimaliseerd model ontwikkelen en pleiten voor meer transparantie en open source-praktijken binnen de gemeenschap.
Deze studie toont aan dat Contrastive Decoding de prestaties van grote audio-taalmodellen verbetert door specifieke inferentiefouten te corrigeren, waarbij de effectiviteit echter afhangt van het model en de gekozen strategie, zoals in kaart gebracht door een nieuw Transition Matrix-framework.
Dit onderzoek presenteert een model dat paralinguistische en emotionele spraakinformatie combineert om het juiste moment voor emotionele validatie in Japanse empathische gesprekken te detecteren zonder gebruik te maken van tekstuele context, waardoor de empathische interactie tussen mens en robot kan worden verbeterd.