141 papers
Dit artikel presenteert een robuuste emotion-bewuste methode voor audio-visuele sprekerextractie die, door te trainen met een hoge mate van ontbrekende modaliteiten, stabiele prestaties behoudt bij testtijd-uitval van signalen en zo de uitdagingen van de cocktailparty-situatie effectief aanpakt.
Dit onderzoek toont aan dat de keuze van muzikale feature-encodings de structuur van netwerken fundamenteel beïnvloedt, waarbij een compromis bestaat tussen rijke, gedetailleerde representaties die de toestandruimte uitbreiden en eenvoudige, geperste weergaven die een hogere onzekerheid maar lagere modelfouten opleveren voor het modelleren van menselijke verwachtingen.
Het paper introduceert HyWA, een methode die hypernetwerken gebruikt om gepersonaliseerde gewichten voor een standaard spraakactiviteitsdetectiemodel te genereren, wat leidt tot betere prestaties en eenvoudigere implementatie dan bestaande technieken.
Dit artikel introduceert Multi-View Tensor Fusion (MVTF), een nieuw raamwerk dat gebruikmaakt van gesynchroniseerde lipvideo's uit meerdere perspectieven tijdens het trainen om cross-view correlaties te leren, waardoor de prestaties en robuustheid van Audio-Visuele Doelsprekerextractie aanzienlijk worden verbeterd, zelfs bij gebruik van slechts één beeldhoek tijdens de inferentie.
Deze paper introduceert een kalibratie-redeneringsframework dat een Audio Large Language Model middels een kalibratiefase en versterkingslering (GRPO) optimaliseert voor het nauwkeurig analyseren, lokaliseren en beschrijven van meerdimensionale spraakkwaliteit en artefacten.
Dit paper introduceert \texttt{nlm}, een open-source set Max-externals die real-time niet-lineaire modale synthesie voor snaren, membranen en platen mogelijk maakt en zo de drempel voor componisten en geluidsontwerpers verlaagt om deze expressieve techniek te verkennen.
Dit artikel analyseert dat bestaande spraaktokenizers voornamelijk fonetische in plaats van semantische informatie vastleggen, wat leidt tot praktische aanbevelingen voor het ontwerp van toekomstige tokenisatiemethoden.
Dit paper introduceert FireRedASR2S, een geavanceerd industriële 'all-in-one' spraakherkenningsysteem dat geïntegreerde modules voor spraakherkenning, spraakdetectie, taalidentificatie en leestekens voorspelling combineert en hiermee state-of-the-art prestaties bereikt op diverse benchmarks.
Het paper introduceert G-STAR, een end-to-end systeem dat een tijdbewuste spreker-trackingmodule koppelt aan een Speech-LLM-transcriptiebackbone om tijdgestempelde, spreker-gelabelde transcripties te genereren voor lange, multi-partij gesprekken met overlappingen, terwijl het de consistentie van sprekeridentiteiten op vergaderingsniveau behoudt.
Dit paper introduceert Geo-ATBench, een benchmark en het GeoFusion-AT-framework voor geospatiale audiotagging, die aantonen dat het integreren van geografische semantische context de nauwkeurigheid van geluherkenning verbetert, vooral bij akoestisch vergelijkbare gebeurtenissen.
Dit onderzoek onthult een systematische genderbias in de Mean Opinion Score (MOS) voor spraakkwaliteit, waarbij mannelijke luisteraars consequent hogere scores toekennen dan vrouwelijke luisteraars, en stelt een genderbewust model voor om deze vertekening te corrigeren en eerlijkere evaluaties mogelijk te maken.
Dit artikel introduceert CSP-FT, een efficiënte strategie voor gedeeltelijke fijne afstemming die door selectief slechts twee specifieke lagen van een LLM-gebaseerd TTS-model aan te passen, de spraakherkenning en emotionele expressie verbetert terwijl het trainingsproces twee keer sneller verloopt en het risico op catastrofaal vergeten aanzienlijk wordt verminderd.
Dit artikel introduceert de trajectoRIR-database, een uitgebreide collectie van zowel dynamische als stationaire akoestische opnamen langs een gecontroleerde L-vormige baan in een kamer, die wordt gebruikt voor diverse taken zoals geluidsbronlokalisatie, ruimtelijke reconstructie en auralisatie.
Dit paper introduceert ParaS2S, een nieuw versterkingsleerframework en bijbehorende benchmark die spraak-tot-spraakmodellen optimaliseren voor paralinguïstische cues zoals emotie en toon, waardoor ze significant beter presteren dan eerdere modellen met minder gekoppelde trainingsdata.
Dit paper introduceert een end-to-end framework voor audio-visuele spraakherkenning dat ruisbestendigheid bereikt door spraakverbetering en een Conformer-gebaseerde fusie te gebruiken zonder expliciete maskers, waardoor semantische informatie beter behouden blijft dan bij eerdere methoden.
Dit paper weerlegt het idee dat spraak-LLM's inherent beter zijn dan ASR-LLM-kaskaders door aan te tonen dat ze in de praktijk vaak inefficiënte kaskaders zijn die bij ruis slechter presteren dan hun tekstuele tegenhangers, aangezien de onderliggende tekstrepresentaties causaal noodzakelijk blijven voor hun redeneervermogen.
Dit paper presenteert een compact acoustisch kader dat MFCC-, STFT- en pitch-kenmerken combineert met een verbeterde Legendre Memory Unit (LMU) en een geposte ensemble-fusie om de cross-domein classificatie van babyhuilen te verbeteren, wat leidt tot betere generalisatie en efficiëntie voor draagbare gezondheidsmonitoring.
Dit paper introduceert Whisper-RIR-Mega, een nieuw benchmarkdataset met gekoppelde schone en reverberante spraak om de robuustheid van Whisper-spraakherkenningsmodellen tegen ruimteakoestiek te evalueren en vast te stellen dat reverberatie de prestaties consistent verslechtert.
Het paper introduceert Omni-C, een efficiënte, dichte Transformer-encoder die heterogene modaliteiten comprimeert tot gedeelde representaties zonder MoE-architecturen, waardoor de complexiteit en het geheugengebruik aanzienlijk worden verminderd terwijl de prestaties vergelijkbaar blijven met gespecialiseerde expertmodellen.
Dit artikel introduceert een parameterloze methode voor accentadaptatie in spraakmodellen door accentinformatie te identificeren als een interpreteerbare subruimte in de middelste encoderlagen, waardoor de woordfoutenratio voor diverse accenten aanzienlijk wordt verlaagd zonder de modelgewichten aan te passen.