163 papers
Dit werk presenteert een kwantumgeïnspireerde uitbreiding van het GenomeBits-model om (0,1)-binair sequences, zoals genoomsequenties, te analyseren door een complex golffunctie te gebruiken die karakteristieke geluidsgolf-achtige eigenschappen vertoont.
Deze studie toont aan dat er sterke correlaties bestaan tussen subjectieve perceptuele beoordelingen en objectieve akoestische maatstaven van spraak bij patiënten met hoofd-halstumoren, wat suggereert dat een enkele intelligibiliteitsmeting voldoende kan zijn voor klinische monitoring.
Deze studie onthult door middel van een grootschalige analyse van elf zelftoezichtmodellen voor spraak hoe deze modellen sprekerspecifieke informatie coderen, waarbij wordt vastgesteld dat diepere lagen onverwacht identiteit herstellen en dat tussenliggende representaties dynamische prosodie beter vastleggen dan gespecialiseerde spreker-embeddings.
InterActHuman is een nieuw kader dat end-to-end menselijke animatie mogelijk maakt met meerdere concepten door modale voorwaarden zoals tekst, afbeeldingen en lokaal geluid nauwkeurig te koppelen aan specifieke ruimtelijke gebieden, waardoor realistische interacties tussen meerdere personen en objecten worden gegenereerd.
Dit artikel introduceert Vevo2, een unificerend en controleerbaar framework dat twee geavanceerde audio-tokenizers en een hybride modelleringstijl combineert om zowel spraak als zang te genereren, waarbij de schaarste aan gelabelde zangdata wordt overwonnen en een sterke generalisatievermogen voor diverse synthesetaken wordt bereikt.
Deze paper introduceert TSPC, een tweestapsarchitectuur die op fonemen is gebaseerd en een uitgebreide Vietnamese fonemenset als tussenrepresentatie gebruikt om de woordfoutenratio voor code-switching tussen het Vietnamees en Engels aanzienlijk te verlagen.
Dit paper introduceert BabyHuBERT, een meertalig zelftoezichtend spraakmodel getraind op 13.000 uur aan kinderopnames dat aanzienlijk beter presteert dan bestaande modellen bij het segmenteren van sprekers in daglange, natuurlijke kinderopnames.
Het artikel introduceert SAM, een audio-taalmodel met een Mamba-2-architectuur dat, ondanks minder parameters, presteert op het niveau van grotere transformer-modellen en via systematische analyse belangrijke ontwerpprincipes voor effectieve audio-taalmodellen op basis van state-space-modellen blootlegt.
Dit paper introduceert Noise-to-Notes (N2N), een generatief diffusion-framework dat automatisch drumtranscriptie herdefinieert als een conditionele generatieve taak en door middel van een Annealed Pseudo-Huber loss en features van muziek-foundationmodellen nieuwe state-of-the-art prestaties bereikt.
Dit artikel introduceert Schrödinger Bridge Mamba (SBM), een nieuw model dat de Schrödinger Bridge-training combineert met de Mamba-architectuur om spraakverbetering in één stap te realiseren met superieure prestaties en real-time capaciteit.
Dit artikel presenteert een multi-loss leerframework voor spraakemotierecognitie dat energie-adaptieve mixup en frame-level aandacht integreert om de prestaties op vier standaarddatasets te verbeteren door middel van geavanceerde augmentatie en verliesfuncties.
Dit artikel introduceert de MultiAPI Spoof-dataset en het Nes2Net-LA-netwerk om de kloof tussen bestaande benchmarks en real-world scenario's met diverse commerciële API's te overbruggen, waardoor robuustere detectie en bronherkenning van nep-spraak mogelijk wordt.
Deze paper introduceert RA-QA, een nieuw benchmark-systeem met 9 miljoen vraag-antwoordparen en een gestandaardiseerde evaluatieprotocol om de robuustheid van multimodale AI-modellen voor respiratoire audio-diagnose te testen onder realistische, heterogene omstandigheden.
Aurchestra is het eerste systeem dat op beperkte hearables real-time fijnmazige controle biedt over individuele geluidsklassen in een omgeving, waardoor gebruikers hun geluidswaarneming kunnen aanpassen alsof ze een audio-engineer zijn.
Dit artikel introduceert VoxKnesset, een open-access dataset van ongeveer 2.300 uur Hebreeuwse parlementaire spraak over een periode van 16 jaar, die wordt gebruikt om de uitdagingen van veroudering in stemherkenning en -verificatie te onderzoeken en de noodzaak van longitudinale modellen te onderstrepen.
Deze paper introduceert en valideert een nieuwe hybride poolingstrategie die relatieve afwijkingen benadrukt, waardoor training-vrije detectie van abnormale geluiden met zelf-superviserende audio-embeddings aanzienlijk verbetert en de state-of-the-art prestaties op meerdere benchmarks, inclusief DCASE2025, bereikt.
Dit onderzoek toont aan dat het toepassen van het SAM-Audio-ruisfilter als voorbewerkingsstap voor zero-shot spraakherkenning met Whisper de prestaties systematisch verslechtert, ondanks een verbeterde akoestische kwaliteit, wat aantoont dat perceptueel schoner geluid niet noodzakelijkerwijs leidt tot betere machineherkenning.
Dit artikel beschrijft een oplossing voor de DL Sprint 4.0 die door middel van woordgrens-bewuste ASR met WhisperX en op het Bengaalse corpus gefinetuned Pyannote-diariaisatie, de nauwkeurigheid van transcriptie en sprekeridentificatie in lange, meerspreker-Bengaalse opnames aanzienlijk verbetert.
De auteurs presenteren Focus-Then-Listen (FTL), een plug-and-play audioversterker die de robuustheid van grote audiolanguage-modellen in ruige omstandigheden verbetert door spraak en geluid te scheiden en modality-aware fusie toe te passen zonder dat er fijnafstemming op de modellen nodig is.
Dit artikel presenteert de resultaten en inzichten van de eerste Environmental Sound Deepfake Detection Challenge, waarbij 97 teams 1.748 inzendingen leverden om de robuustheid, evaluatie en toekomstige onderzoeksrichtingen op het onderbelichte gebied van het detecteren van nep-milieugeluiden te benchmarken.