163 papers
Dit onderzoek toont aan dat LoRA-finetuning van een compact LLM (Qwen-0.5B) voor tekst-naar-spraak, mits ondersteund door diverse trainingsdata, aanzienlijke verbeteringen oplevert in perceptuele kwaliteit, sprekerstrouw en signaalruisverhouding vergeleken met een bevroren basismodel.
Deze paper introduceert een trainingsvrije multi-stap inferentiemethode voor doel-sprekerextractie die een bevroren voorgeïmplementeerd model iteratief verfijnt via interpolatie en selectie, waarbij een gezamenlijke optimalisatie van niet-intrusieve metrieken wordt voorgesteld om de prestaties te balanceren zonder grondwaarheid.
Het artikel introduceert V2M-Zero, een methode die video naar tijd-gealigneerde muziek vertaalt zonder gekoppelde trainingsdata, door gebruik te maken van binnen-modale gebeurteniskrommen om de gedeelde temporele structuur tussen video en muziek te benutten.
Dit artikel introduceert CSP-FT, een efficiënte strategie voor gedeeltelijke fijne afstemming die door selectief slechts twee specifieke lagen van een LLM-gebaseerd TTS-model aan te passen, de spraakherkenning en emotionele expressie verbetert terwijl het trainingsproces twee keer sneller verloopt en het risico op catastrofaal vergeten aanzienlijk wordt verminderd.
Dit paper introduceert HVAC-EAR, een systeem dat intelligibele spraak kan reconstrueren uit ruisende drukdata van HVAC-systemen door een complex-waardige conformer te gebruiken, waardoor voor het eerst privacyrisico's oplopen tot 1,2 meter afstand worden aangetoond.
Dit paper introduceert een end-to-end framework voor audio-visuele spraakherkenning dat ruisbestendigheid bereikt door spraakverbetering en een Conformer-gebaseerde fusie te gebruiken zonder expliciete maskers, waardoor semantische informatie beter behouden blijft dan bij eerdere methoden.
Dit paper presenteert een compact acoustisch kader dat MFCC-, STFT- en pitch-kenmerken combineert met een verbeterde Legendre Memory Unit (LMU) en een geposte ensemble-fusie om de cross-domein classificatie van babyhuilen te verbeteren, wat leidt tot betere generalisatie en efficiëntie voor draagbare gezondheidsmonitoring.
Dit paper introduceert Whisper-RIR-Mega, een nieuw benchmarkdataset met gekoppelde schone en reverberante spraak om de robuustheid van Whisper-spraakherkenningsmodellen tegen ruimteakoestiek te evalueren en vast te stellen dat reverberatie de prestaties consistent verslechtert.
Het paper introduceert Omni-C, een efficiënte, dichte Transformer-encoder die heterogene modaliteiten comprimeert tot gedeelde representaties zonder MoE-architecturen, waardoor de complexiteit en het geheugengebruik aanzienlijk worden verminderd terwijl de prestaties vergelijkbaar blijven met gespecialiseerde expertmodellen.
Dit artikel introduceert de Deep Koopman Speech Disentanglement Autoencoder (DKSD-AE), een efficiënt en schaalbaar model dat zonder tekstuele supervisie of grote vooraf getrainde netwerken spreker- en inhoudsdynamica ontrafelt voor robuuste sprekerverificatie.
Dit artikel presenteert een embedding-gebaseerde methode voor het selecteren van relevante spraakdata uit een grote, heterogene dataset, waarmee specialistische ASR-modellen op specifieke domeinen tot 36,8% relatieve verbetering in woordfoutpercentage behalen door slechts 5% van de data te gebruiken.
Dit paper introduceert het meertalige ML-ITW-dataset om te demonstreren dat bestaande methoden voor het detecteren van spraakdeepfakes in de praktijk aanzienlijk minder goed presteren door diverse talen en compressie-effecten.
Dit paper introduceert TempoSyncDiff, een lichtgewicht latent diffusion-framework dat via kennisdistillatie en tijdsregulatie realistische, stabiele en spraakgestuurde praatkop-generatie mogelijk maakt met een zeer lage latentie, zelfs op randapparatuur.
Deze studie introduceert RAPTOR en toont aan dat voor audio-deepfake-detectie de pre-trainingsroute van compacte SSL-modellen (zoals multilinguaal HuBERT) belangrijker is dan modelgrootte, aangezien deze betere cross-domein-robustheid en betrouwbaardere kalibratie bieden dan grotere systemen.
Dit paper introduceert Whisper-CD, een trainingsvrij contrastief decoderingsframework dat hallucinaties en herhalingslussen in lange spraaktranscripties effectief reduceert door logit-vergelijkingen met meervoudige negatieve perturbaties toe te passen tijdens de inferentie.
Deze studie toont aan dat hoewel spraakmodellen met Low-Rank Adaptation (LoRA) aanvankelijk goed kunnen worden aangepast aan Pacific Indigenous-talen, ze worstelen met catastrofale vergeetachtigheid bij sequentieel leren, wat de noodzaak benadrukt van robuuste strategieën om het plasticiteit-stabiliteitsdilemma op te lossen.
Deze paper introduceert een post-trainingstrategie die LLM-gebaseerde TTS-modellen in staat stelt om natuurlijk klinkende spraak te genereren op basis van streaming tekst, door prosodische grenzen te benutten voor vroegtijdige stopzetting en een gleedschijfprompt voor een gebonden context, wat leidt tot aanzienlijk verbeterde woordfoutpercentages en stemgelijkheid in vergelijking met bestaande methoden.
Het paper introduceert RAMoEA-QA, een hiërarchisch gespecialiseerd generatief model dat via een twee-staps 'Mixture-of-Experts'-routing zowel audio-encodering als taalgeneratie aanpast aan diverse longgerelateerde opnames en vraagtypes, waardoor het aanzienlijk betere prestaties en generalisatie bereikt dan bestaande systemen.
Deze paper biedt het eerste systematische overzicht van Audio-Taalmodellen (ALM's) die op gekoppelde audio-tekstdata zijn getraind, en presenteert een uitgebreide taxonomie, een analyse van de onderzoekslandschap en een overzicht van de huidige ontwikkelingen, beperkingen en toekomstperspectieven voor toepassingen in spraak, muziek en geluid.
Deze paper introduceert een lichtgewicht methode voor tekst-only adaptatie van LLM-gebaseerde spraakherkenningssystemen die het probleem omzet in een tekstontstoorningsopdracht, waardoor de modelprestaties op nieuwe domeinen aanzienlijk verbeteren zonder de cruciale kruismodaal uitlijning te verstoren.