140 papers
Dit paper introduceert LongAudio-RAG, een hybride raamwerk dat vraag-antwoordsystemen voor lange audio-opnames verbetert door Large Language Models te koppelen aan gestructureerde, tijdstempelgebonden geluidsgebeurtenissen in plaats van ruwe audio, wat resulteert in nauwkeurigere antwoorden met minder hallucinaties.
Dit rapport beschrijft het TCG CREST-systeem voor de DISPLACE-M-uitdaging, waarbij een hybride end-to-end neurale diarizatie-architectuur (Diarizen) met geavanceerde clusteringtechnieken een relatieve verbetering van 39% in de diarizatiefout (DER) oplevert ten opzichte van een SpeechBrain-baseline en de zesde plaats behaalt onder de deelnemende teams.
Deze paper introduceert een multimodaal dataset voor industriële foutanalyse, bestaande uit audio- en trillingssignalen van een kettingtransportband, dat is ontworpen om robuuste systemen voor foutdetectie en -classificatie onder diverse bedrijfsomstandigheden te ondersteunen.
Deze studie presenteert een geautomatiseerd systeem voor het segmenteren en classificeren van darmgeluiden met behulp van een draagbare sensor en een AI-model, wat leidt tot objectieve diagnostiek en een aanzienlijke reductie van de tijd voor handmatige annotatie.
Het onderzoek toont aan dat het opschalen van zelftoezichtende spraakmodellen naar 4.017 talen een niet-lineaire verschuiving teweegbrengt die diepgaande genealogische relaties en complexe taalcontacten blootlegt, met name door de vorming van een robuust macro-cluster in de Stille Oceaan dat gedeelde akoestische kenmerken vastlegt.
Dit paper introduceert VASR, een nieuw model voor contextbewuste spraakherkenning dat gebruikmaakt van Audio-Visual Chain-of-Thought om rijke visuele context te redeneren en zo de prestaties te verbeteren door het probleem van eenzijdige modale dominantie aan te pakken.
Dit paper introduceert een snelle en flexibele bandwidth extension-methode op basis van Vocos die ontbrekende hoge frequenties genereert om audio van 8-48 kHz te verbeteren, met een lichtgewicht refiner voor naadloze samenvoeging en uitzonderlijk hoge doorvoer op zowel GPU als CPU.
Deze paper introduceert een lichtgewicht raamwerk voor de aanpassing van spraakverbeteringsmodellen in realistische omgevingen, dat door middel van zelftoezicht opgeleerde low-rank adapters minder dan 1% van de parameters bijwerkt om met slechts 20 updates een robuustheid en geluidskwaliteit te bereiken die concurreren met geavanceerdere methoden.
Deze studie toont aan dat privacybehoud bij de detectie van de ziekte van Parkinson via spraak mogelijk is met de kNN-VC-anonimiseringsmethode, die pathologische informatie behoudt terwijl STT-TTS deze door het verwijderen van prosodie te sterk aantast.
Dit artikel introduceert een analyse-gedreven framework voor de procedurale generatie van een openbaar dataset met 19 uur aan motorgeluiden en nauwkeurige RPM- en koppelannotaties, die de industriële behoefte aan schaalbare, schone trainingsdata voor data-gedreven akoestische modellering en synthese adresseert.
SoundWeaver is een trainingsvrij en modelonafhankelijk serversysteem dat de latentie van tekst-naar-audio diffusiemodellen aanzienlijk verlaagt door het generatieproces warm te starten op basis van semantisch vergelijkbare, in cache opgeslagen audiofragmenten, zonder in te leveren op de perceptuele kwaliteit.
Dit paper introduceert WhispEar, een bidirectioneel framework dat schaalbare pseudo-parallelle fluisterdata genereert via een N2W-model om de conversie van fluister- naar normaal spraak te verbeteren, ondersteund door het grootste tweetalige corpus tot nu toe.
FoleyFlow introduceert een gecoördineerde video-naar-audio generatiemethode die via gemaskeerde audio-visuele uitlijning en dynamische conditionele flows zowel semantische als ritmische synchronisatie tussen video en gegenereerde audio verbetert.
DualTurn is een model dat door middel van generatieve pretraining op dubbelkanaals spraak natuurlijke wisselgesprekken leert en zo de onnatuurlijke stilte-tijdouten van traditionele spraakpijplijnen overbrugt door continue anticipatie op wisselpunten en het genereren van agent-acties.
Dit artikel introduceert een raamwerk voor grote audio-taalmodellen dat dubbelzinnige spraakemotieherkenning behandelt als een distributief redeneerprobleem door een ambiguiteitsbewust doel en gestructureerde chain-of-thought-supervisie te combineren, wat leidt tot consistente prestatieverbeteringen op benchmarkdatasets.
Deze studie introduceert de Cross-Lingual Transfer Matrix (CLTM) om systematisch te kwantificeren hoe donor-taaldata de prestaties van paralinguïstische taken, zoals geslachtsidentificatie en sprekerverificatie, beïnvloedt bij cross-linguale overdracht, waarbij blijkt dat deze effecten systematisch en taalspecifiek zijn.
Dit paper introduceert een framework voor audiovisuele spraakherkenning in talen zonder bestaande video-corpora door gebruik te maken van synthetische visuele data gegenereerd via lip-syncing, wat resulteert in een model dat presteert op het niveau van de state-of-the-art met aanzienlijk minder trainingsdata.
Dit artikel bespreekt hoe zelftoezicht en visueel verankerde computationele modellen, zonder sterke linguïstische aannames, steeds krachtiger worden in het leren van spraak en hoe ze een gedeelde set leerprincipes bieden om vroege taalontwikkeling te verklaren.
Dit artikel introduceert Trilobyte, een byte-level tokenisatiemethode die autoregressieve taalmodellen toepasbaar maakt voor verliesvrije compressie van volledige audiokwaliteit (tot 24-bit), hoewel de compressiewinst ten opzichte van bestaande codecs zoals FLAC afneemt naarmate de bitdiepte toeneemt.
Deze studie toont aan dat diepe spraakruisreductiemodellen kwetsbaar zijn voor psychoakoestisch verborgen adversariële ruis die de output onbegrijpelijk maakt zonder dat de ruis zelf waarneembaar is, wat dringende maatregelen vereist voordat deze systemen veilig in kritieke toepassingen kunnen worden ingezet.