137 papers
Deze thesis onderzoekt hoe akoestische en semantische informatie gezamenlijk kunnen worden gemodelleerd om emotionele expressie in gesproken taal beter te begrijpen en te synthetiseren, door middel van emotion-bewust voortrainen, hiërarchische architecturen voor conversatie en een tekstloze framework voor emotionele stijltransfer.
Het paper introduceert SPAR-K, een modaal bewust framework voor vroegtijdig uitstappen dat de inferentie van gesproken taalmodellen versnelt door een gescheduleerd, periodiek wisselend uitstapstrategie te gebruiken die de perceptuele kwaliteit behoudt en de rekenkosten verlaagt zonder aanzienlijke nauwkeurigheidsverlies.
Deze studie toont aan dat Contrastive Decoding de prestaties van grote audio-taalmodellen verbetert door specifieke inferentiefouten te corrigeren, waarbij de effectiviteit echter afhangt van het model en de gekozen strategie, zoals in kaart gebracht door een nieuw Transition Matrix-framework.
Dit paper introduceert StuPASE, een verbeterde versie van PASE die door middel van finetuning met droge targets en een flow-matching module studio-kwaliteit spraakverbetering bereikt met een minimale hallucinatie.
Dit paper introduceert de Pulse-Train-Resonator (PTR), een differentieerbaar synthesemodel dat motorgeluiden nauwkeuriger nabootst door fysisch geïnformeerde pulsreeksen en resonatoren te gebruiken in plaats van traditionele harmonische benaderingen, wat resulteert in een significante verbetering in reconstructiekwaliteit en interpreteerbare parameters.
Deze paper introduceert een end-to-end multi-kanaals framework voor trefwoorddetectie dat ruimtelijke aanwijzingen en directionele priors combineert om de robuustheid in lawaaierige omgevingen aanzienlijk te verbeteren.
Deze paper introduceert een snelle solver voor interpolerende stochastische differentiaalvergelijkingen (iSDE's) die het aantal benodigde neurale netwerkberekeningen voor spraakherstel met diffusion-modellen zoals SGMSE+ reduceert tot slechts tien evaluaties.
Dit paper introduceert Speech-Omni-Lite, een kostenefficiënt framework dat bestaande visueel-taalmodellen uitbreidt met spraakvaardigheden via lichte, trainbare modules en een innovatieve data-strategie, waardoor uitstekende prestaties worden bereikt met slechts duizenden uren trainingsdata in plaats van miljoenen.
Dit paper introduceert een nieuwe methode voor het genereren van kamerimpulsresponsen door een vooraf getraind tekst-naar-audio-model te finetunen met behulp van door vision-language modellen gegenereerde labels, wat resulteert in realistische akoestische simulaties die effectief zijn voor spraakdata-augmentatie.
Dit paper introduceert MUGEN, een benchmark die de beperkingen van grote audio-taalmodellen bij het verwerken van meerdere simultane audio-invoeren blootlegt en aantoont dat trainingsvrije strategieën zoals Audio-Permutational Self-Consistency de prestaties aanzienlijk verbeteren.
Dit paper introduceert DRES, een semi-spontane Nederlandse spraakdataset van 1,5 uur opgenomen in lawaaierige openbare ruimtes, die dient als testset voor ASR en SE-modellen en aantoont dat moderne single-channel spraakverbetering de herkenning niet altijd verbetert in realistische omstandigheden.
Deze paper introduceert de niet-iteratieve, optimale dMWF-algoritme voor draadloze akoestische sensornetwerken, dat de prestaties van een centraal systeem bereikt met minder bandbreedte en zonder de beperkingen van eerdere methoden zoals DANSE.
Dit paper introduceert MLVAS, een multimodaal systeem dat audio- en videostroboscopische data combineert om automatische segmentatie, kenmerkextractie en objectieve visualisatie te bieden voor de ondersteunde diagnose van stembandverlamming.
ExpGest is een innovatief diffusion-model dat door het synchroniseren van tekst- en audio-informatie expressieve, natuurlijke en emotioneel gecontroleerde full-body gebaren genereert, waarmee het de beperkingen van bestaande methoden die zich uitsluitend op audio en het bovenlichaam richten, overwint.
Dit paper introduceert Task 5 van de DCASE 2025 Challenge, een meerdimensionale benchmark voor audio-vraag-antwoordtaken die de redeneervermogens van audio-taalmodellen in diverse akoestische domeinen evalueert.
Dit paper introduceert BemaGANv2, een geavanceerde GAN-gebaseerde vocoder voor hoogwaardige en langdurige audio-generatie die gebruikmaakt van innovatieve architecturale wijzigingen en een systematische evaluatie van discriminatorscombinaties om temporale coherentie en harmonische structuur te verbeteren.
Dit paper introduceert WaLi, een aanval die intelligibele spraak reconstrueert uit ruisende druksensor-data van HVAC-systemen door gebruik te maken van een complex-waardige conformer en een Complex Global Attention Block, waarmee een tot nu toe onbekend privacyrisico voor deze sensoren wordt blootgelegd.
Dit paper introduceert SUBARU, een energiezuinige aanpak voor hearables die door het bewust toepassen van sub-Nyquist sampling en lage bit-resolutie in combinatie met een breedband-reconstructiemethode, de stroomverbruik met een factor 3,31 verlaagt terwijl het spraakverbetering in realistische omstandigheden behoudt.
Dit paper introduceert ECHO, een nieuw foundation model dat geavanceerde band-split architectuur en frequentie-positional embeddings combineert om variabele lengte signaalanalyses op willekeurige samplefrequenties mogelijk te maken, wat leidt tot state-of-the-art prestaties in machine-anomaliedetectie en foutclassificatie.
Dit paper introduceert LibriTTS-VI, het eerste publieke corpus voor numerieke stemindrukcontrole, en stelt nieuwe methoden voor om het probleem van 'impression leakage' op te lossen door het ontkoppelen van sprekeridentiteit en stemindruk, wat leidt tot een aanzienlijke verbetering in de controleerbaarheid van de gegenereerde spraak.