140 papers
Dit artikel introduceert S2S-ZEST, een tekstloos en niet-parallel framework voor zero-shot emotiestijloverdracht dat de emotionele kenmerken van een referentie op een bronstem toepast terwijl de spraakinhoud en sprekeridentiteit behouden blijven.
Dit paper introduceert TI-DANSE+, een verbeterd verspreid algoritme voor signaalschatting in draadloze akoestische sensornetwerken dat, in tegenstelling tot eerdere methoden, sneller convergeert door gebruik te maken van partiële sommen van buren en een boom-inkortingsstrategie, terwijl het tegelijkertijd bandbreedte bespaart en robuust blijft bij verbindingsstoringen.
Dit paper introduceert Human-CLAP, een verbeterd taal-audiomodel dat is getraind op menselijke subjectieve beoordelingen om de zwakke correlatie tussen de bestaande CLAPScore en menselijke perceptie aanzienlijk te verbeteren.
Dit onderzoek vergelijkt menselijke en machineprestaties bij meertalige spraakbegrip in complexe akoestische omgevingen en toont aan dat mensen beter presteren in hun moedertaal dankzij selectieve aandacht, terwijl spraak-gestuurde grote taalmodellen (LLMs) weliswaar uitstekend presteren bij schone spraak maar moeite hebben met het selectief focussen op sprekers in gemengde scenario's.
Dit artikel presenteert een uitgebreide evaluatie van 17 vooraf getrainde spraakembedding-systemen voor de detectie van dysartrie op zes verschillende datasets, waarbij de auteurs concluderen dat de aanzienlijke variatie in prestaties binnen en tussen datasets vragen opwerpt over de geschiktheid van huidige benchmarks en de klinische validiteit van systemen die op dezelfde dataset zijn getraind en getest.
Dit artikel introduceert VSSFlow, een verenigd flow-matching framework dat video-geconditioneerde geluids- en spraakgeneratie succesvol combineert door middel van een ontward condition-aggregatiemechanisme binnen een Diffusion Transformer-architectuur.
Dit artikel introduceert VoiceBridge, een efficiënt één-staps latent bridge-model dat diverse spraakhersteltaken, zoals ruisreductie en super-resolutie, verenigt in één generatief proces voor het reconstrueren van hoogwaardige 48 kHz spraak zonder distillatie.
Dit paper introduceert de Latent Speech-Text Transformer (LST), een model dat spraaktokens aggregeert tot latente patches om de rekenefficiëntie te verbeteren en de prestaties van zowel spraak- als teksttaken te verhogen door de sequentiegranulariteit tussen beide modaliteiten te aligneren.
Dit paper introduceert een robuust framework voor sprekerherkenning onder ruisomstandigheden dat gebruikmaakt van een noise-conditioned mixture-of-experts-architectuur met gespecialiseerde netwerken en een curriculumleerprotocol om de prestaties te verbeteren ten opzichte van bestaande methoden.
Dit onderzoek vergelijkt strategieën voor spraakverbetering in de latente ruimte van neurale audio-codecs en concludeert dat het voorspellen van continue latente representaties, gecombineerd met het fijnafstemmen van de encoder, de beste prestaties levert, hoewel autoregressieve modellen weliswaar hogere kwaliteit maar lagere efficiëntie bieden.
Dit paper introduceert WhisperVC, een drie-staps framework dat kruis-domein uitlijning en spraakgeneratie ontkoppelt om in een low-resource setting fluisterende spraak effectief om te zetten naar normale spraak met behoud van intelligibiliteit, timbre en sprekeridentiteit.
Dit paper introduceert een multiplexing-paradigma voor audio-watermerken, bestaande uit de trainingsvrije PA-TFM-methode en het modelgebaseerde MaskNet-framework, die door het combineren van meerdere technieken aanzienlijk robuuster zijn dan bestaande single-watermark-oplossingen tegen geavanceerde vervormingen en neurale reconstructie-aanvallen.
Dit onderzoek toont aan dat sprekers en luisteraars in een lawaaierige omgeving hun communicatiegedrag aanpassen door complexere handgebaren, gemoduleerde hoofdbewegingen en verhoogde spraakproductie te gebruiken, terwijl de synchronisatie tussen spraak en gebaren bij matig lawaai licht afneemt.
Dit artikel presenteert het eerste systematische onderzoek naar de codering van accentinformatie in discrete spraakrepresentatietokens en introduceert een unificerend evaluatiekader dat aantoont dat de keuze van lagen de belangrijkste factor is voor het behoud van accentinformatie, terwijl ASR-supervisie deze informatie aanzienlijk vermindert.
Dit paper presenteert een nieuwe bottleneck-transformer-architectuur die frame-niveaueigenschappen leert en informatie aggregeert via multi-head self-attention om de Short-Time Objective Intelligibility (STOI) score nauwkeuriger te voorspellen dan bestaande zelftoezicht-gebaseerde methoden, zonder dat een schoon referentiesignaal nodig is.
Dit paper introduceert VoxEmo, een uitgebreide benchmark voor spraak-gevoelsherkenning met spraak-LLMs die 35 corpora in 15 talen omvat en een nieuwe evaluatiemethode biedt die rekening houdt met de subjectiviteit en ambiguïteit van menselijke emoties.
Deze paper introduceert het eerste exemplaarvrije benchmark voor voortdurend leren in audio-visuele segmentatie en stelt ATLAS voor, een nieuwe methode die gebruikmaakt van audio-gestuurde pre-fusie en Low-Rank Anchoring om catastrofisch vergeten te voorkomen in dynamische omgevingen.
Dit paper introduceert Universal Speech Content Factorization (USCF), een eenvoudige en omkeerbare lineaire methode die spraakinhoud effectief scheidt van sprekerstijl, waardoor hoogwaardige zero-shot stemconversie en efficiënt training van tekst-naar-spraakmodellen mogelijk zijn zonder uitgebreide neurale training of veel doel-speakersdata.
Dit onderzoek toont aan dat er een niet-monotoon compromis bestaat tussen capaciteit en robuustheid in neurale audiocodecs voor spraakherkenning, waarbij een intermediaire diepte van residual vector quantization (RVQ) de beste balans biedt tussen het behoud van spraakinformatie en het onderdrukken van adversariale perturbaties.
Deze paper introduceert de 'Emotion-Aware Prefix', een methode voor een twee-staps stemconversie die de emotieconversie-accuraatte verdubbelt van 42,40% naar 85,50% door gezamenlijke controle van sequentiemodulatie en akoestische realisatie, terwijl de spraakkwaliteit en de sprekeridentiteit behouden blijven.