163 papers
Dit onderzoek toont aan dat de keuze van muzikale feature-encodings de structuur van netwerken fundamenteel beïnvloedt, waarbij een compromis bestaat tussen rijke, gedetailleerde representaties die de toestandruimte uitbreiden en eenvoudige, geperste weergaven die een hogere onzekerheid maar lagere modelfouten opleveren voor het modelleren van menselijke verwachtingen.
Dit paper introduceert Dolphin, een efficiënt audio-visueel spraakscheidingssysteem dat door middel van een lichtgewicht lipcodering en multi-schaal globale-lokale aandacht niet alleen de staat-van-de-kunst prestaties overtreft, maar ook aanzienlijk minder parameters en rekentijd vereist.
Het paper introduceert HyWA, een methode die hypernetwerken gebruikt om gepersonaliseerde gewichten voor een standaard spraakactiviteitsdetectiemodel te genereren, wat leidt tot betere prestaties en eenvoudigere implementatie dan bestaande technieken.
Dit artikel bepleit dat gebruikers bij het kiezen van een audiocompressiecodec niet alleen naar compressie-efficiëntie moeten kijken, maar ook de perceptuele geluidskwaliteit moeten evalueren via metingen, visualisaties en PEAQ-scores.
Dit paper introduceert AMB-DSGDN, een adaptief netwerk dat multimodale emotionele herkenning verbetert door dynamische semantische grafdifferentiatie te gebruiken voor het filteren van ruis en een evenwichtsmechanisme om te voorkomen dat dominante modaliteiten de bijdrage van andere modaliteiten onderdrukken.
Dit paper introduceert \texttt{nlm}, een open-source set Max-externals die real-time niet-lineaire modale synthesie voor snaren, membranen en platen mogelijk maakt en zo de drempel voor componisten en geluidsontwerpers verlaagt om deze expressieve techniek te verkennen.
ID-LoRA is een baanbrekende methode die voor het eerst gezamenlijk de visuele verschijning en het stemgeluid van een onderwerp personaliseert in één generatieve stap, waarbij tekst, een referentieafbeelding en een korte audioclip worden gebruikt om zowel de visuele als auditieve modaliteit te synchroniseren en te sturen.
Dit artikel introduceert PRoADS, een bewezen veilig en robuust audiostreamsysteem dat geheime berichten via orthogonale projectie in de initiële ruis van diffusiemodellen verbergt en gebruikmaakt van latente optimalisatie en achterwaartse Euler-inversie om reconstructiefouten te minimaliseren en een uitzonderlijk lage bitfoutkans van 0,15% onder MP3-compressie te bereiken.
NasoVoce is een neusgemonteerd interface dat door het fusioneren van akoestische en trillingssignalen een robuuste, onopvallende en altijd beschikbare spraakinteractie met AI mogelijk maakt, zelfs bij fluisterende spraak in lawaaierige omgevingen.
Dit paper introduceert FireRedASR2S, een geavanceerd industriële 'all-in-one' spraakherkenningsysteem dat geïntegreerde modules voor spraakherkenning, spraakdetectie, taalidentificatie en leestekens voorspelling combineert en hiermee state-of-the-art prestaties bereikt op diverse benchmarks.
Het artikel introduceert MoXaRt, een real-time XR-systeem dat audio-visuele cues gebruikt om complexe geluidsmixen te scheiden, wat leidt tot een significante verbetering van spraakintelligibiliteit en een vermindering van de cognitieve belasting voor gebruikers.
Het paper introduceert G-STAR, een end-to-end systeem dat een tijdbewuste spreker-trackingmodule koppelt aan een Speech-LLM-transcriptiebackbone om tijdgestempelde, spreker-gelabelde transcripties te genereren voor lange, multi-partij gesprekken met overlappingen, terwijl het de consistentie van sprekeridentiteiten op vergaderingsniveau behoudt.
Deze paper presenteert een encoder-only MT-ASR-framework dat semantische priors van grote taalmodellen distilleert en een talker-aantal routing introduceert, waardoor prestaties bij meertalige spraakherkenning aanzienlijk worden verbeterd met een lage rekentijd.
Dit paper introduceert Geo-ATBench, een benchmark en het GeoFusion-AT-framework voor geospatiale audiotagging, die aantonen dat het integreren van geografische semantische context de nauwkeurigheid van geluherkenning verbetert, vooral bij akoestisch vergelijkbare gebeurtenissen.
AlphaFlowTSE is een nieuwe één-staps generatieve methode voor doel-sprekerextractie die gebruikmaakt van een voorwaartse AlphaFlow-objectief om de latentie te verminderen en de spraakherkenning te verbeteren zonder onbetrouwbare mengverhoudingsvoorspellingen.
Dit paper introduceert PV-VASM, een modelonafhankelijk probabilistisch raamwerk dat de robuustheid van stem-anti-spoofingmodellen verifieert door de misclassificatiekans onder diverse synthetische en perturbatie-scenario's te schatten en een theoretische bovengrens voor de foutkans af te leiden.
Dit paper introduceert HIR-SDD, een nieuw framework voor het detecteren van spraakdeepfakes dat Large Audio Language Models combineert met chain-of-thought-redenering op basis van een menselijk geannoteerde dataset om zowel de generalisatie als de interpretatie van detecties te verbeteren.
Dit paper introduceert een model-onafhankelijke evaluatieprotocol dat aantoont dat spraakbewuste LLM's een zwakke sprekerdiscriminatie hebben, en lost dit op met een lichtgewicht augmentatie die ECAPA-TDNN-embeddings via LoRA injecteert om een natuurlijke taalinterface te combineren met state-of-the-art sprekerverificatie.
Dit paper introduceert OSUM-Pangu, een volledig open-source foundation model voor multidimensionale spraakbegrip dat is gebouwd op de openPangu-7B LLM en volledig draait op Ascend NPUs zonder CUDA, waardoor een reproduceerbare, GPU-onafhankelijke baseline wordt geboden met prestaties vergelijkbaar met bestaande GPU-modellen.
Dit paper introduceert VoxCare, een schaalbaar draagbaar audiosysteem dat zonder opname van ruwe audio real-time communicatiepatronen van ziekenhuispersoneel analyseert om inzicht te krijgen in hun werklast en stressniveaus.