159 papers
Deze paper introduceert een lichtgewicht raamwerk voor de aanpassing van spraakverbeteringsmodellen in realistische omgevingen, dat door middel van zelftoezicht opgeleerde low-rank adapters minder dan 1% van de parameters bijwerkt om met slechts 20 updates een robuustheid en geluidskwaliteit te bereiken die concurreren met geavanceerdere methoden.
Deze studie toont aan dat privacybehoud bij de detectie van de ziekte van Parkinson via spraak mogelijk is met de kNN-VC-anonimiseringsmethode, die pathologische informatie behoudt terwijl STT-TTS deze door het verwijderen van prosodie te sterk aantast.
Deze paper introduceert een nieuw raamwerk voor 'Speech Generation Speaker Poisoning' om de privacyrisico's van zero-shot tekst-naar-spraakmodellen te beperken door specifieke stemidentiteiten te verwijderen, waarbij wordt aangetoond dat dit effectief werkt voor tot 15 sprekers maar schaalbaarheidsproblemen ondervindt bij 100 sprekers.
De auteurs presenteren Nwāchā Munā, een nieuw spraakcorpus en benchmark voor de bedreigde Nepal Bhasha-taal, en tonen aan dat effectieve spraakherkenning mogelijk is door middel van computerefficiënte, taalkundig nabije transfer van het Nepalees, in plaats van zware meertalige modellen.
Dit artikel introduceert een analyse-gedreven framework voor de procedurale generatie van een openbaar dataset met 19 uur aan motorgeluiden en nauwkeurige RPM- en koppelannotaties, die de industriële behoefte aan schaalbare, schone trainingsdata voor data-gedreven akoestische modellering en synthese adresseert.
Het artikel introduceert VoiceSHIELD-Small, een lichtgewicht model dat spraak in real-time tegelijkertijd transcribeert en detecteert of deze kwaadaardig is, waardoor vertragingen worden vermeden en een hoge nauwkeurigheid wordt bereikt.
SoundWeaver is een trainingsvrij en modelonafhankelijk serversysteem dat de latentie van tekst-naar-audio diffusiemodellen aanzienlijk verlaagt door het generatieproces warm te starten op basis van semantisch vergelijkbare, in cache opgeslagen audiofragmenten, zonder in te leveren op de perceptuele kwaliteit.
Deze paper introduceert een modulaire, onbewaakte domeinadaptatie-pijplijn die statistische transformaties combineert met Wav2Vec 2.0-embeddings om de generalisatie van audio-deepfake-detectiesystemen over verschillende domeinen te verbeteren zonder gelabelde doelgegevens.
Deze paper introduceert MambaDance, een nieuwe aanpak voor het genereren van dansbewegingen die een op Mamba gebaseerd diffusiemodel en een Gaussische beat-representatie combineert om langere, ritmisch coherente en muziekgesynchroniseerde dansen te creëren die de beperkingen van bestaande Transformer-methoden overwinnen.
Dit paper introduceert WhispEar, een bidirectioneel framework dat schaalbare pseudo-parallelle fluisterdata genereert via een N2W-model om de conversie van fluister- naar normaal spraak te verbeteren, ondersteund door het grootste tweetalige corpus tot nu toe.
Dit paper introduceert PathBench, een unificerend benchmarkkader voor het beoordelen van pathologische spraak met behulp van openbare datasets, waarbij diverse methoden worden vergeleken en een nieuwe referentievrije methode genaamd DArtP wordt voorgesteld die de hoogste correlatie bereikt.
FoleyFlow introduceert een gecoördineerde video-naar-audio generatiemethode die via gemaskeerde audio-visuele uitlijning en dynamische conditionele flows zowel semantische als ritmische synchronisatie tussen video en gegenereerde audio verbetert.
Deze studie introduceert een spectrogram-gebaseerde CNN-methode die MFCC-technieken overtreft bij het uitvoeren van multilabel-classificatie van complexe Zuid-Aziatische geluiden, zoals aangetoond op de SAS-KIIT- en UrbanSound8K-datasets.
Deze paper introduceert ESC, een kalibratiemethode gebaseerd op evolutiestrategieën die specifiek is ontworpen voor spraakmodellen om near-lossless prestaties te bereiken bij low-bit (INT4 en INT8) kwantisatie door de unieke uitdagingen van audioactivaties aan te pakken.
DualTurn is een model dat door middel van generatieve pretraining op dubbelkanaals spraak natuurlijke wisselgesprekken leert en zo de onnatuurlijke stilte-tijdouten van traditionele spraakpijplijnen overbrugt door continue anticipatie op wisselpunten en het genereren van agent-acties.
Dit artikel introduceert een raamwerk voor grote audio-taalmodellen dat dubbelzinnige spraakemotieherkenning behandelt als een distributief redeneerprobleem door een ambiguiteitsbewust doel en gestructureerde chain-of-thought-supervisie te combineren, wat leidt tot consistente prestatieverbeteringen op benchmarkdatasets.
Deze paper introduceert RNDVoC, een schaalbare neurale vocoder die de range-null space-decompositie combineert met een dubbel-pad framework om transparante, lichtgewicht en state-of-the-art spraaksynthese te realiseren die flexibel is voor verschillende invoerconfiguraties.
Dit artikel introduceert Trilobyte, een byte-level tokenisatiemethode die autoregressieve taalmodellen toepasbaar maakt voor verliesvrije compressie van volledige audiokwaliteit (tot 24-bit), hoewel de compressiewinst ten opzichte van bestaande codecs zoals FLAC afneemt naarmate de bitdiepte toeneemt.
Deze studie toont aan dat diepe spraakruisreductiemodellen kwetsbaar zijn voor psychoakoestisch verborgen adversariële ruis die de output onbegrijpelijk maakt zonder dat de ruis zelf waarneembaar is, wat dringende maatregelen vereist voordat deze systemen veilig in kritieke toepassingen kunnen worden ingezet.
Dit artikel presenteert een robuuste emotion-bewuste methode voor audio-visuele sprekerextractie die, door te trainen met een hoge mate van ontbrekende modaliteiten, stabiele prestaties behoudt bij testtijd-uitval van signalen en zo de uitdagingen van de cocktailparty-situatie effectief aanpakt.